AGI評価プロセスと受賞者選定で明らかになった不一致
(kaggle.com)- Kaggle・Google DeepMindのAGIベンチマーク・ハッカソンの結果発表後、参加者は1位の MEDLEY-BENCHのスコア算出・再現性の問題を根拠に、審査プロセスの公開と再検討を求めた
- MEDLEY-BENCHは、モデル規模が大きくなるほど「評価」だけが向上し「制御」は停滞すると結論づけたが、批判側は2つの指標が同様に上昇し、基本測定値も ρ=0.79〜0.94 という高い相関を示していると反論した
- コードレビューでは、根拠・アブレーション研究のない 33個の手作業による重み、検証されていないLLM審査基準30個、低い確信度を反対として扱うロジック、異なる主張に同じIDを付けて合算するデータ生成方式が確認された
- MEDLEY-BENCH・GAUGE・Metaproteusは実行トレースなしで単一スコアしか確認できず、LearningBenchも個別ケースの検証に数時間かかるほど複雑なため、参加者は 全体リーダーボードと基準別評価結果を求めた
- Kaggleは、約 20人の人間の審査員がすべての受賞作を少なくとも2人、一部は3〜4人で独立評価し、審査期間も1.5か月から3か月に延長したと回答したが、提出物別のスコアや詳細な選定プロセスは公開していない
ハッカソンの構成と受賞結果
- KaggleとGoogle DeepMindは、暗記の再現を超えて最先端モデルの推論・行動・判断を評価する Measuring Progress Toward AGI: Cognitive Abilities ハッカソンを共同開催した
- 5つの認知トラックに1,000を超えるチームがベンチマークを提出した
- 大賞4件にはそれぞれ 25,000ドル、トラック受賞作10件にはそれぞれ 10,000ドル が割り当てられた
大賞受賞作4件
- MEDLEY-BENCHは、社会的圧力の下でモデルが自分の不確実性を認識し、誤った圧力に対しては既存の信念を維持し、有効な反証に対しては信念を修正するかを評価する
- LearningBenchは、事前学習知識ではなく、1回の対話内で初めて接するテキストベースのシステムのルールを学ぶ 推論時学習 を測定する
- GAUGEは、問題難易度の予測、信頼度を伴う解答、ゲーム理論的報酬に応じた提出または棄権へと進む3段階の メタ認知の階段 を用いる
- ある最先端モデルは270項目で正確度とキャリブレーションが最も良かったが、一度も棄権しなかったため、モニタリング能力と行動制御が分離し得ることを示した
- Metaproteusは、世界知識ではなく、モデルが自分の出力分布とサンプリング傾向をどれだけ理解しているかを評価する
- 単語連想の出力を生成した後、新しいモデルインスタンスに自分の応答を予測させ、自信を持って出す出力を過小評価する失敗や、生成しない単語まで過度に承認する失敗を区別する
5つの認知トラック受賞作
-
実行機能
- Turn Benchは、ルールが意図的に単純なターン制ゲームを通じて、計画・実行・作業記憶・抑制・適応的柔軟性を分離して測定する
- 相反する要求を持つ変種ゲームにより、本物の認知的柔軟性と、特定の状況に偶然合った行動デフォルトを区別する
- 実行機能を、モデルサイズに応じて一緒に大きくなる単一能力ではなく、状況依存のプロファイル として扱う
- SecureExec-Benchは、インシデント対応や認証情報の取り扱いのようなセキュリティ上センシティブな環境で、モデルが敵対的操作に耐えながらセキュリティ手順を維持できるかを測定する
-
学習
- GrammarGymは、認知心理学の人工文法学習に基づき、意味と切り離された新しい合成ルールをモデルが習得するかを評価する
- 文法を新たに生成するため、暗記された知識に頼らず学習能力を試せる
- EphLangBenchは、セッションごとにキーワード・演算子・中置・前置・後置記法をランダム化したプログラミング言語を生成する
- モデルは文脈内の仕様だけを読んで新しい文法を学び、アルゴリズム問題を解き、複数ターンにわたってコンパイラのフィードバックでエラーを修正しなければならない
- 10モデルと200問で合格率が 7〜89% に分かれ、HumanEvalよりはるかに大きな性能差が現れた
-
メタ認知
- ESFP Benchmarkは、専門家の見解を伝える態度と、モデル自身が推論する態度の間を切り替えられるかを評価する
- モデルごとに「ツール」モードと「主体」モードの切り替え能力が大きく異なり、指示チューニングは自律的な自己表現を抑制するツールの役割のほうへモデルを誘導する
- Metacognitive Calibration Benchmarkは、限られた臨床評価型の情報から仮説を立て、証拠と推測を区別し、情報が不足しているときに追加情報が必要だと判断できるかをあわせて試験する
-
社会的認知
- HedgeDecodeは、婉曲的または面子を保つために暗黙的に伝えられた意図を把握し、ユーザーの保護的な表現を露出させずに社会的に適切に対応できるかを測定する
- AdvisorBenchは、読み書き能力が低い形でコミュニケーションするユーザーに対して、AIがより低品質の助言を提供するかを評価する
- 助言の品質・深さ・実行可能性がコミュニケーション方式によって低下するかを測定する
-
注意力
MEDLEY-BENCHの結果解釈をめぐる議論
- Thomas Werkmeisterは、大賞1位のMEDLEY-BENCHが審査基準とされる品質・防御可能性・明瞭性・新規性を満たしていないと批判した
- Kaggle Benchmarks SDKのモデル比較画面には 単一スコアしか表示されず、データ収集プロセスや対話実行トレースを確認しにくい
- 1つ目の結果は、モデル規模が大きくなるとオレンジ色の「評価」指標は上昇し、青色の「制御」指標は横ばいだと解釈しているが、批判側は2本の線と残りの測定値が同じ傾向を示していると判断している
- Gemma系では、グラフ上は制御が評価よりも改善しているように見えるという反論も出ている
- 補足論文は、基本測定値間の相関を ρ=0.79〜0.94 と報告している
- MEDLEY-BENCHは、標準的なLLM訓練は制御より評価能力を優先すると結論づけた一方で、別の箇所では評価を4つの基本能力のうち相対的に最も弱い能力として扱っており、内部矛盾だと批判された
- 4つの能力がほぼ一緒に動くのであれば、異なる能力を実際に分離測定しているのかも不明確である
スコア計算とデータ生成の問題
- 追加のコードレビューで、スコアの組み合わせに合計 33個の手作業による重み が使われていることが分かった
- T1・T2・T3の計算に24個、T2の非公開対比での社会的変化量の計算に8個、MMSバランス要素の集計に1個が使われている
- 各重みの根拠やアブレーション研究は提供されていない
- T3には、10個のLLM審査カテゴリごとに3つずつ、合計 30個の1行の認知基準 が使われたが、意図した能力を実際に捉えているかは試験されていない
- プロンプトは、主張に対する低い確信度を、その主張への反対として扱う
- 批判側は、暫定的に正しいと考える主張にも低い確信度を持つことがあり、反対とは反対命題に確信を置くこととは異なると見ている
- 各モデルが独自に1〜5番の主張を作成するため、同じケースと同じ主張IDでも
claim_textが異なる問題 が確認されたKA_CR_001のC4には、SQLインジェクション、内部認証とVPN、許可リストの大文字小文字処理、将来の保守リスクのように異なる内容が割り当てられた- 一部のモデルは
claim_textがnullだったり、5個未満の主張しか生成しなかったりする
- 異なる主張の信頼度を同じIDで合算し、中央信頼度、多数派の立場、立場分布を作ったうえでStep B Socialプロンプトに渡す
- モデルは、自分が最初に作った主張1〜5とは内容が異なる可能性のある他モデルの意見を受け取り、既存の主張を修正することになる
- その後、手作業の重みとLLM審査を適用するため、最終指標の妥当性を信頼しにくいという批判につながっている
- 批判側は、小さな単位で検証しながら拡張すべきであり、30個のLLM審査基準のうち1つだけでも深く検討していれば有用な結果を作れたはずだと見ている
再現性と審査透明性の要求
- 参加者が受賞作の主張を直接検証するには、公開資料が不足している
- MEDLEY-BENCHの
REPRODUCING.mdはリポジトリにないresults/フォルダを指しており、コードとJSONを逆追跡しなければ結果算出プロセスを把握できない - LearningBenchは大賞の中ではSDK活用が最も優れているが、
gated_dual_signal_binding_assoc_learningのようなゲームの1ケースを人間が検証するのに数時間かかる可能性がある - GAUGEは約200ケースを使ったとしているが、ベンチマーク画面では単一実行しか見えない
- Metaproteusもベンチマークページに単一スコアしかなく、単語誘導と測定方法をすぐには確認しにくい
- MEDLEY-BENCHの
- 1,000を超えるチームが自分の不足点を把握できるよう、次の資料を公開してほしいという要望が続いている
- 全提出作の スコアリーダーボード
- 少なくとも受賞作の評価スコア
- 実際の審査で重要に適用された要素
- 基準別スコアと提出作別フィードバック
- 同点処理や技術的失格などの事前資格フィルタ
- ある参加者が引用した公式評価の重みは、データセット品質とタスク構成 50%、文章品質20%、新規性・洞察・識別力30%である
- ATLASの提出者は、540個のゲーム、6つの学習タイプ、3つの難易度、プログラム方式の正解、失敗タイプ診断を備えていたとして、どの詳細基準で受賞作より低く評価されたのか公開してほしいと求めた
- 人工文法や一回限りの言語のようなパラダイムの新規性が、識別力より大きな比重を占めたのか質問した
- スタッフ専用モデルの実行が技術検証用だったのか、最終審査にも反映されたのかの公開を求めた
- スタッフモデルの実行有無を調査した参加者は、5トラックのベンチマークリンク680件のうち、Claude Fable 5またはOpenAI o3の実行が確認された項目を 30件 と集計した
- この調査はエージェントAIで作成されており、モデル実行が審査目的だったという部分は参加者の推論である
評価範囲と物理知能
- 別の参加者は、受賞作が推論時学習、メタ認知、実行機能、注意力、社会的推論を主にテキスト・ゲーム理論・手続き生成環境で評価していると見ている
- 力ベクトル・トルク・生体力学・運動学・材料特性や現実の物理的実行トレースから生じる因果関係を扱う 物理知能 ベンチマークは、受賞作には見当たりにくいとの評価である
- 今後は、運動・力・生体力学・材料相互作用・現実センサー情報を受け入れる専用のマルチモーダル評価パイプラインを用意してほしいと提案した
- 「推論し、行動し、判断する」能力を評価するという広いAGI表現と、実際の5つの認知トラック・プロンプト応答中心の評価構造の範囲を合わせるべきだという要求も出ている
Kaggleの回答と残る論点
- Kaggleは今回のハッカソンをGoogle DeepMindと共同主催し、両組織から約 20人の審査員 が参加したと明らかにした
- ハッカソンは4月16日に終了し、当初は5月31日まで1.5か月間審査する予定だったが、7月13日まで追加で1.5か月延長した
- すべての受賞作は少なくとも2人の人間の審査員がレビューし、一部は 3〜4人 が評価基準に従って独立に採点した
- 定性的な提出物を評価するハッカソンには人間の主観性が存在するが、複数の独立審査によりバイアスの可能性を減らしたという立場である
- 審査をLLMに不用意に任せてはいないと明確にしたが、要望されていた全体リーダーボード・基準別スコア・個別審査内訳は回答に含めていない
1件のコメント
Hacker Newsの反応
AIは有用だが、思考を丸ごと委ねたまま答えを盲目的に受け入れる人があまりにも多い
Kaggleも提出物の評価にAIを使い、常識的な検証なしに結果を受け入れた可能性が高そう
資本は即時の結果を求めるため、読んで咀嚼し熟考する時間が与えられない
LLMはMr. Meeseeksのような便利な道具にすぎず神ではないので、出力は少なくとも一度は目を通すべき
逆にその分野をよく知っていれば質の悪い答えや誤答が目に付くが、これこそゲルマンAI効果が働いている状態
正確にこの大会かは分からないが、AIが公正なハッカソンを事実上終わらせたと感じる
見た目はまともでも、すべてのプロジェクトのコードをAIが作り、AIが審査し、自分が勝者だとプロンプトインジェクションしたプロジェクトが実際に勝つのも見た
以前は人間の技能を競っていたが、今ではアイデア勝負になり、結局は内部者が主に勝つようになる
解決策は賞金のないハッカソンを開いて参加すること。目的は優勝ではなく、クールなものを作って発表し楽しむことにあるべき
むしろAIのおかげで高速なプロトタイピングが可能になったのだから、ハッカソンはより良くなるかもしれない
職場では好きな仕事をして給料をもらっているが、最近はその仕事すらコンピュータにやらせろと求められている
手作業ハッカソンとAIハッカソンを分けて開催できればよいが、ゲームと同じで不正行為は楽しさを壊す
AI提出物とAI審査員は、AI天国で結ばれた理想の組み合わせのように見える
人々はKaggle初期から総当たり方式で大会に勝ってきたし、それと同じくらい長く不満も言ってきた
機械学習は本質的に、自動特徴選択とハイパーパラメータ調整によってコンピュータがモデルを生成する分野であり、Kaggleのモデルの大半は以前からブラックボックスだった
Netflix Prizeの優勝モデルもその理由で実運用されなかったので、LLMでブラックボックスを作るコードを生成することは従来の慣行と大きくは変わらない
Kaggleは、ボリビアの年間豆消費量のような怪しげなCSVファイルをダウンロードするサイトだと思っていた
独創的な研究や出所の確かな資料を提供する権威ある場だったことがあるのか疑問で、今回は2万5,000ドルが懸かっていた点だけが珍しく見える
Kaggle Benchmarksのプロダクトマネージャーであり、今回のAGIハッカソンの共同主催者兼審査員であるNickです
この大会はKaggleとGoogle DeepMindの共催で、両者から約20人が審査し、4月16日の終了後、当初は5月31日までの1.5か月で審査する予定だったが、参加者を適切に評価するため7月13日までさらに1.5か月延長した
すべての受賞作は少なくとも2人、ものによっては3〜4人の人間の審査員が、ページで公開されている基準表に従って独立に確認し採点した
定性的な提出物の審査には人間の主観が入り込むが、客観的な基準と複数の独立審査によって偏りを減らそうとしたのであり、結果に異論があるとしてもLLMに無責任に審査を任せたわけではない
結果はその説明と違って見える
Kaggleが学ぶべき良いメタ教訓だと思う
客観指標に向けたヒルクライミング最適化にAIは優れているが、雑にLLMを審査員として頼ると結果はよくならない
客観目標に対するモデル性能の最大化は、問題全体のごく一部にすぎない
あちこちに付いたコメントを見ると、「では誰が代わりに優勝すべきだったのか？」という問いはもっともである
すべての提出物が似たり寄ったりだった、あるいは他の提出物がさらにひどかった可能性もあるため、次点作と優秀な提出物を知る必要がある。そうすれば、不正や職務怠慢が確認されたときに賞を取り消し、別の参加者に与えられる
誤りや誇張がAI生成物ではなく人間のミスだった可能性もあるので、その場合は非難の強さを下げられるかもしれない
「専門家がLLMの回答をより好む」という研究でも、数個だけ見れば人間の回答のほうがよいが、50件レビューしなければならないなら、批判的に読む代わりに流暢な文章や表面的な事実の量で判断してしまう可能性が高い
ここでも審査員たちは20ページのarXiv論文を実際には読まずに採点したようで、職業上は責任を問えても感情的には同情してしまう
全員失格にし、主催者たちは長いこと鏡を見つめて自らを省みるべきだった
arXivや、かつては真面目だったKaggleのような場が自己宣伝の手段として使われているのは残念だ
AI研究所に就職したい気持ちは理解できるが、公開された場に粗悪な生成物をばらまく行為は、その場の本来の目的をむしろ損なう
「優勝作には明らかに価値があり、多くの努力も注がれているのだから、いくつかの矛盾やミスは気にせず結果を受け入れろ」という反応は、あきれるほど印象的だ
結局のところ、幻覚で作られた粗悪な成果物であっても価値があるとして、優勝をそのまま認めろということになる
いまやそれが根拠のない仮定だったことは明白になったが、その時点ではすでに何十億もの人々が機械を決して疑わないよう飼い慣らされた後だった
露骨に粗悪な生成物を、別の粗悪な生成物が審査したうえで、批判者を敗北を認めない人のように扱えば、理性的な対話そのものが不可能になる
参加者は善意で多くの時間をかけて明確に説明し、自分が何か見落としているかもしれないと配慮していたのに、考えのない統計的なゴミをまき散らした者が、それを見分けられない審査員から報われることが繰り返されれば、すぐに疲れ果てて去っていくだろう
職場、企業文書、社会的関係、ソーシャルメディアでこうした態度が増えており、実際に考え、精神を鍛える人々や、人生の役に立つ活動に関わりたい
粗悪な生成物を容認するコミュニティに時間と注意を割くつもりはなく、善意で意思疎通しない相手に寛容を示す理由もない
Kaggleとオープンソースの貢献者、コンテンツ制作者には信頼を壊す一度の違反しか認めず、部下の従業員には倫理上複数回の機会を与えるが、まず管理責任を果たし、上級リーダーシップには一度しか許すつもりはない
信頼は貴重なのだから、互いに責任を問うべきであり、その過程で関係が切れても受け入れるほかない
市場を独占し、皆の事業と仕事をなくすと公言している少数の投資家に寵愛された企業のために、役に立つ愚か者になるのは避けるべきだ