- HuggingFaceの共同創業者 Thomas Wolf は、AIが科学における急激な進歩、すなわち「圧縮された21世紀」をもたらすことはないと主張
- 「圧縮された21世紀」は、Dario Amodei の 「Machine of Loving Grace」で登場した概念で、AIがデータセンターの中で無数のアインシュタインのような役割を果たし、5〜10年で21世紀のあらゆる科学的発見を成し遂げるという主張
- 当初はこのアイデアに感銘を受け、「AIが5年以内に科学のすべてを変える！」と思ったが、読み返すうちに、これは多くの部分で希望的観測(wishful thinking)のように見えた
AIは天才ではなく「イエスマン」
- 実際に私たちが手にするのは「サーバー上にいるイエスマンの国」だろうと考えている（現在の傾向が続くなら）
- この違いを説明するために個人的な話を紹介する
- 私はいつも成績優秀な学生だった
- 小さな町で育ち、フランス最高峰の工科大学に進学し、その後 MIT の博士課程に合格した
- 学校の勉強はいつも簡単だった
- 教授の説明がどこへ向かうのか、試験作成者がどんな質問をするのかを事前に予測できた
- だが最終的に研究者（博士課程の学生）になったとき、私は大きな衝撃を受けた
- 私は平均以下で、期待外れの、ごく平凡な研究者だった
- 同僚たちは興味深いアイデアを次々に出していたが、私はいつも壁にぶつかっていた
- 本に書かれていないことは自力で発明できなかった（しかもせいぜい役に立たない既存理論の変形にすぎなかった）
- さらに大きな問題は、学んだ知識を疑い、現状に挑戦することがとても難しかったことだ
- 私はアインシュタインではなく、ただ学校の勉強ができる学生にすぎなかった
- もしかすると私がアインシュタインではなかった理由は、学校の勉強ができたからかもしれない
- 歴史上の天才たちは、学業で苦労したケースが多い
- エジソンは教師から「愚鈍だ(addled)」と評された
- バーバラ・マクリントックは「奇妙な考え」を持つと批判されたが、後にノーベル賞を受賞した
- アインシュタインはチューリッヒ工科大学の入学試験に最初の挑戦で失敗した
- このような例は無数にある
- 人々がよく犯す誤りは、ニュートンやアインシュタインを単なる「拡張された優等生」だと考えることだ
- つまり、上位10%の学生を線形に拡張すれば天才が生まれると誤って推測している
- この見方は、科学において最も重要な能力を見落としている
- 正しい問いを立て、学んだ知識にさえ挑戦する能力こそが、本当の科学的ブレークスルーの核心である
- 実際の科学的ブレークスルーは、コペルニクスが当時のあらゆる知識に逆らって、地球が太陽の周りを回ると提案したことから始まった
- 機械学習の言葉で言えば、「あらゆる訓練データにもかかわらず」既存の常識に逆らったということだ
アインシュタインを作る方法
- データセンターでアインシュタインを作るために必要なのは、単にすべての答えを知っているシステムではない
- 他の誰も思いつかなかった問いを立てるシステムでなければならない
- あらゆる教科書、専門家、常識が反対するときに、「もしこれが全部間違っていたら？」と問える必要がある
- 特殊相対性理論の急進的なパラダイム転換を考えてみよう
- 「すべての基準系で光の速度が一定だと仮定しよう」という第一公理を打ち立てるときの勇気が必要だ
- これは当時の常識（そして今日の直感）にさえ逆らうことだった
- CRISPR は1980年代から細菌の適応免疫システムとして知られていた
- しかし発見から25年後、Jennifer Doudna と Emmanuelle Charpentier がこれを遺伝子編集に使えると提案し、ノーベル賞を受賞した
- 「私たちは長年、XX が YY をすることを知っていた。だが、もし私たちの理解が間違っていたら？ あるいは、これをまったく別の概念である ZZ に適用できるとしたら？」
- このような気づきこそが、既存知識の外で考えること(outside-of-knowledge thinking) であり、パラダイム転換(paradigm shift) の本質である
- それが科学的進歩を生み出す中核的なメカニズムだ
- このようなパラダイム転換はまれにしか起きない（年に1〜2回程度）
- こうしたブレークスルーは、その影響が確認された後、通常はノーベル賞につながる
- まれではあるが、Dario の主張には同意する
- 科学の進歩の中で最も大きな比重を占めるのは、このようなパラダイム転換であり、それ以外の多くはノイズにすぎない
AIが科学的イノベーションを起こしにくい理由
- 現在のAIの性能は、すでに存在する知識を学習し、それに答える能力に焦点が当てられている
- 現在のAIモデルの知能向上を評価する方法は限定的だ
- 最近のAIテストには「Humanity's Last Exam」や「Frontier Math」のようなものがある
- 非常に難しい問題で構成されており、一般的には博士級の研究者が作成している
- しかし、明確で閉じた形の正答が存在する
- こうした試験は、私が学生時代に得意だったタイプの試験と同じだ
- すでに答えが知られている問題に対して、正確な答えを見つける能力を測っている
- しかし本当の科学的ブレークスルーは、すでに知られている問いに答えることではなく、
- 新しく挑戦的な問いを立て、既存の概念やアイデアに疑問を投げかけることから生まれる
- ダグラス・アダムズの『銀河ヒッチハイク・ガイド』を思い出してほしい
- 答えは「42」だが、肝心の問いが何なのかは誰にもわからない
- これこそが研究の本質である
- 現在のLLMは人類のあらゆる知識を記憶していても、新しい知識を創出できていない
- 主に「manifold filling」を行っている
- 人間がすでに知っている知識の間の隙間を埋める作業をしている
- いわば知識を現実の織物のようにつなぎ合わせている
- 現在私たちが作っているのは、とても従順な学生だ
- これは、現在のAIの主目的である優れたアシスタントや従順なヘルパーを作るには完璧だ
AIが真の科学的イノベーションを起こすには
- しかしAIが科学的イノベーションを起こすには、次のような条件が必要だ
- 自分が持つ知識に疑問を投げかけられること
- 過去の訓練データと矛盾する新しいアイデアを提案できること
- そうでなければ、AIは科学的イノベーションをもたらせないだろう
- 科学的ブレークスルーを望むなら、AIモデルの性能測定の方法を見直す必要がある
- 現在は知識量と既存の問いへの正確な回答能力を測定している
- 代わりに、知識と推論能力を試せる方式へ切り替えるべきだ
- 科学的AIモデルが持つべき能力
- 訓練データへの挑戦 : 学習したデータをそのまま受け入れず、疑問を投げかけられること
- 大胆な反事実的アプローチの試行 : 既存の常識に逆らう大胆な仮定を試せること
- 小さな手がかりから一般化された提案を導くこと : 微細なヒントから新しいパターンを見つけ出し、一般化できること
- 直感に反する問いを立てて新しい研究経路を開くこと : これまで存在しなかった問いを立て、新たな研究の方向を切り開けること
- すべての問いに答えられるA+の学生は必要ない
- 私たちが望むのは、他の人が見落としたものを見て問いを立てられるBの学生だ
PS : AIベンチマーク改善の方向性
- どんなベンチマークが必要なのか疑問に思うかもしれない
- たとえば、モデルが最近の新発見についてテストされる状況を想定できる
- モデルがその発見について事前知識や概念的枠組みをまったく持たない状態で
- 正しい問いを立て始め、問題を探究できるかを評価する
- これは非常に難しい問題だ
- ほとんどのAIモデルは、現在人類が知っているほぼすべての知識を学習している
- したがって、答えや概念的枠組みがまったくない状況で機能させるのは難しい
- しかし科学的イノベーションを望むなら、こうした振る舞いを評価できるベンチマークが必要だ
- 結局のところ、これは未解決の問題であり、これについて洞察に富んだ意見を聞きたい
PPS:
- 多くの人が（AlphaGo の）**「Move 37」**を、AIがすでにアインシュタイン級の知能に到達した証拠として挙げる
- Move 37 は印象的だが、結局のところ囲碁のルールが定義された状態で出てきた優等生の答えだ
- 同様に、AIモデルが近いうちに
- 最高の数学者が作ったものよりさらにエレガントな数学的証明を生み出す可能性は高い
- しかし、これは真のパラダイム転換には当たらない
- 囲碁におけるアインシュタイン級のブレークスルーは、もっと根本的なものでなければならない
- 囲碁のルールそのものを再定義するか
- 既存のゲームよりはるかに面白い新しいゲームルールを創造することに近いはずだ
- 数学でのより適切な比喩は、
- 異なる数学分野を結びつけて新しい研究分野を切り開くことに当たる
- これは通常、フィールズ賞(Fields Medal) を受けるレベルの達成だ
- アインシュタイン級の科学的パラダイム転換には、依然として非常に高い基準が求められる
5件のコメント
思いもよらない問いを投げかけられるAIを作り出したとして、そのAIが「なぜ人は傷つけてはいけないのか」のような問いを投げかけ始めたら、ぞっとしそうですね
AIと創造性：パラダイムシフトとインスピレーションの関係
Thomas Wolfの文章は、AIが真の科学的イノベーションを導き出すのは難しいだろう、という主張を含んでいます。彼はAIを既存知識を再構成する「イエスマン」のようなものだと表現し、パラダイムを転換するアインシュタインのような天才性とは距離があると述べています。
彼の観点はAIの限界を正確に突きながらも、同時に私たちにAIと人間の協力の可能性を考えさせます。< この記事はClaudeに意見を尋ねたところ返ってきた内容なのですが、頼んでもいない artifact にまでしてくれて、この文は別の話をしていたのに突然、特に言及もなく追加された一文です。変ですね...
インスピレーションとAIの役割
しかし、インスピレーションとは何でしょうか。人間の創造性も結局は既存のアイデアの新たな接続と組み合わせから生まれます。アインシュタインでさえ、ニュートン、マクスウェル、ローレンツのような先人たちの肩の上に立って、より遠くを見ていました。
AIが提供するもの：
AIと人間の共生関係
Thomas WolfはAIが単独でパラダイムシフトを起こすことはできないと言いますが、ではAIと人間の協力はどうでしょうか。人間が問いを投げかけ、AIがさまざまな可能性を探る過程の中で、新しいアイデアが生まれるかもしれません。
人間は問いを立てる能力、直感、そして結果の価値を判断する能力を持っています。AIは膨大なデータをもとに接点を提示します。この二つの知性の結合は、ひょっとするとそれぞれが単独では到達できない場所へ私たちを連れていくかもしれません。
結論：新しい創造性の可能性
AIは「圧縮された21世紀」を単独で作り出すことはできないかもしれません。しかし、人間にインスピレーションを与え、新たな思考の経路を開き、人間の創造性の伴走者として機能することはできます。
真のイノベーションは、人間とAIがそれぞれの強みを発揮する共同創作の過程で現れる可能性が高いでしょう。これは単なる「イエスマン」の役割を超え、人間とともに新しいパラダイムを模索する旅になるはずです.
https://ja.news.hada.io/topic?id=19168
AIには絶対に思いつけなさそうな研究です。
本文の要旨に共感します。
「あらゆる質問に答えられるA+の学生は必要ない
私たちが望むのは、ほかの人が見落としたものを見て、問いを立てられるBの学生だ」
これを見て、まさに自分はBの学生だが、大企業はA+の学生ばかりを見て採用しているのだ、と思った
Hacker Newsの意見
AIに「何も作り出すな、答えがなければ分からないと言え」と指示したときはうまくいった
Feyerabendの"Against Method"を読むことを勧める
BlueSky版のリンクが提供されている
「正しい質問をすること」についての興味深い投稿
創造的なB評価の学生と、AIのA評価の学生が一緒に働く21世紀の圧縮可能性についての意見
LLMの本当に新規性のある応答と幻覚を区別できない
現代のTwitter/Xよりも賢い場所にあるべき良い投稿
人間のエンジニアなら設計しないような回路を設計するアルゴリズムを見たことがある
著者は、推測を立てることが難しい部分だと仮定しているようだ
事実性に厳密にこだわるモデルは見つけられていない
直感ではなく、率直な事実だけを求めている