AGIの発展は止まっている。新しいアイデアが必要だ
ARC PRIZE発表
- ARC Prize: オープンAGIの発展に向けた100万ドル超の賞金付きコンペティション
- 目標: 新しいアイデアを通じてAGIの発展を促進し、ARC-AGI評価を解くこと
知能対暗記
- 現代AI: 主に高次元パターンを記憶し、それを類似した状況に適用する方式
- 問題点: 新しい状況で新しい推論を生み出せない
- 一般知能: 新しいスキルを効率的に習得する能力
- 必要性: 新しいアーキテクチャやアルゴリズムが必要
LLMの限界
- 既存のAIシステム: 特定のゲームでは人間に勝てるが、別のゲームへ切り替えることはできない
- 汎化の失敗: AIが新しい状況に適応できない
ARC-AGI
- 紹介: François Cholletの論文 "On the Measure of Intelligence" で紹介
- 目標: 新しいスキルを効率的に習得し、新しい問題を解決するシステムを評価すること
- 現状: 人間は85%〜100%のスコアを得る一方、AIは34%にとどまる
オープンソースAGIの発展
- 問題点: GPT-4以降、AGI研究は閉鎖的になった
- 歴史: LLMの発展は多くの研究者の協力の結果
- 必要性: 新しいアイデアを促進するためにオープンソースが必要
ARC PRIZEの目標
- 研究参加の増加: AGI研究に参加する人の数を増やす
- AGI発展の測定: 客観的なAGI発展の測定方法を普及させる
- ARC-AGIの解決: ARC-AGI評価を解き、知能の本質について新しいことを学ぶ
始め方
- 参加方法: 誰でも参加可能で、新しいアイデアはどこからでも生まれうる
- 情報提供: ARC Prize 2024の形式と賞金の詳細を提供
GN⁺の意見
- オープンソースの重要性: オープンソースはイノベーションを促進し、小規模なAI企業と大規模なAI企業の格差を縮めるうえで重要
- 新しいアイデアの必要性: 現在のAI研究には新しいアイデアが不足しており、これはAGIの発展を妨げている
- 規制の問題: 誤った思い込みにより、AI研究への規制が強化される可能性がある
- 競争の利点: ARC Prizeのような大会は研究者に動機を与え、新しいアイデアを促進できる
1件のコメント
Hacker Newsの意見
Simon StrandgaardはARCathon 2022と2023に参加し、それぞれ3問と8問の課題を解決した。人間がARC課題を解く方法をデータとして収集しており、現在4,100件のインタラクション記録を集めている。さまざまなARC類似データセットも提供している。
現在のデータ中心学習パラダイムは汎化せず、持続可能でもないという意見。人間は数千の例がなくても猫と犬を見分けられるが、コンピュータには数百万の例が必要だ。データが希少な分野では知識移転が難しい可能性がある。
ARCの問題には多くの空間的な世界知識が必要で、抽象的推論というより人間の視覚処理にとって直感的な要素が多い。視覚的パターン認識が重要な役割を果たす。
ARCテストは人間にとっても難しいという主張。ConceptARCテストでは、人間の25〜30%が簡単な質問を解けない。これはARCの有用性を制限する可能性がある。
制限のないバージョンの大会についてリーダーボードがあるのか気にする意見。GPT-4の成績を見たがっている。
AGI研究に対する100万ドルの賞金は低すぎるという意見。AGIの影響は少なくとも数兆ドル規模で測られるはずで、現在の賞金では最新の公開LLMリリースをファインチューニングする程度にとどまるかもしれない。
特定のパズルには複数の有効な答えがあり得るという意見。例で期待される距離を正確に知ることはできない。
ARC課題は視覚的パターン認識を目標としているが、これは知能の唯一の定義にはなり得ないという意見。人間とAIの協調知能が重要であり、問題は多属性目標の最適化として再構成されるべきだ。
François Cholletの論文は非常に洞察に富んでおり、一般知能の定義について最良の答えを与えている。学習効率で知能を定義することは、人間の知能がなぜ印象的なのかを理解する助けになる。
ARC問題セットは既存のML問題セットよりはるかに難しいが、AGIを代表するものではないという意見。新しいデータセットにすぎず、アプローチは既存のものと似ている。AGIはこの問題を解けるかもしれないが、問題を解けたことはAGIを保証する指標ではない。