AIが「考える」という論拠

(newyorker.com)

40 ポイント投稿者 GN⁺ 2025-11-05 | 7件のコメント | WhatsAppで共有

大規模言語モデル（LLM） が単なる単語予測を超えて、実際の 理解や思考の形態 を示しているという議論が広がっている
神経科学者 ドリス・ツァオ（Doris Tsao） は、機械学習がこの100年間の神経科学よりも 知能の本質をより多く明らかにした と評価している
ディープラーニングとニューラルネットワーク構造 は人間の脳の動作原理を模倣しており、「理解＝圧縮」 という概念で説明される
ダグラス・ホフスタッター（Douglas Hofstadter） と ペンッティ・カネルヴァ（Pentti Kanerva） の研究は、LLMの 「seeing as」認知構造 と結びつけられている
人間に類似した学習効率、経験、意識の欠如など、AIの限界と倫理的リスク は依然として中核的な課題として残っている

AI性能の二極化現象

Anthropic CEOのDario Amodeiは、2027年までに生物学、数学、工学、ライティング分野で ノーベル賞受賞者より賢いAI が登場すると予測
- データセンター内で「天才たちの国」のように数百万個のモデル複製がそれぞれ研究を行うというビジョンを提示
OpenAIのSam Altmanは、業界が「デジタル超知能」の構築直前にあり、2030年代はそれ以前と完全に異なる時代 になると主張
現在、ほとんどの人が日常で使っているAIツールは、かつてのMicrosoft OfficeのClippyのように限定的
- Zoom AIは「会議のアイスブレーカーは？」のような単純な提案しか提供しない
- Siriはリマインダー設定以外の機能が乏しい
- GmailのAIは、ユーザーが行ったこともないトルコ旅行の話をでっち上げる
拙速で不均一なAIリリースによって、単なる過大宣伝にすぎないという霧 が生まれたが、実際にはかなりの進展がある

プログラミング分野におけるAI革新

当初はAIが本物の知能や理解とは無関係だと考えていたが、プログラマーとして働きながらAIを使う ようになって視点が変わった
コードを書くことはAIが最も得意とする作業で、散文より構造が明確で、自動検証も可能
最初は情報検索の代わりにAIを参照していたが、やがて小さく独立した問題を任せ、最終的には 生涯かけて訓練してきた実務 をAIに任せるようになった
- AIモデルは 数千行に及ぶコードの複雑な詳細を数秒で把握 する
- 微妙なバグを見つけ、複雑な新機能を調整する
AIツールをよりうまく活用するため、急成長中のチームへ移った
AIエージェントは休暇予約や納税申告には失敗するが、同僚たちはコードの大半をAIで書き、ときには複数のコーディングエージェントを同時実行している
効果的な使い方を身につけたことで、今では 1か月かかっていた作業を夕方の時間で終えられる
- iOSアプリの作り方を知らないまま、iOSアプリを2本制作

大規模言語モデルの強みと弱み

上司が「面接では弱みの不在ではなく強みを探すべきだ」と言ったように、LLMにも多くの弱点がある
- もっともらしい誤情報を生成するハルシネーション現象
- ユーザーが間違っていても従順すぎる
- 単純なパズルにだまされる
かつて 流暢さ、柔軟性、会話内容の把握能力は聖杯のような強みと見なされていた
- こうした強みを実際に体験すると、「理解の幻想がどれほど説得力を持てば、もはや幻想ではないのか？」という疑問が生じる
Maxの事例: 遊び場のスプリンクラー修理
- 顔を真っ赤にした子どもたちの前で、ユーティリティ倉庫の中に複雑な配管とバルブの迷路を発見
- ChatGPT-4oに写真と問題の説明を入力
- AIはそれを灌漑システムの 逆流防止システム だと判断し、下側の黄色いボールバルブを操作するよう提案
- うまく水が出ると、遊び場から歓声が上がった

神経科学とAIの収束

UC Berkeleyの神経科学教授Doris Tsao: 「機械学習の進歩は、この100年の神経科学が発見したものよりも、知能の本質について多くを教えてくれる」
- サルが顔を認識する仕組みを解読した研究で有名
- サルが特定の顔を見るとき、どのニューロンが発火するかを予測
- 発火するニューロンのパターンだけで顔をレンダリング可能
- AIモデル内部で顔が表現される方式の研究に基づく
Tsaoの問い: 「ChatGPTから得られた最も深い洞察は？」
- 自身の答え: 「思考を根本的に脱神秘化する ことだと思う」

ディープラーニングの歴史と発展

1980年代、認知心理学者とコンピューター科学者のチーム（David Rumelhart, Geoffrey Hinton, James McClelland）が機械で思考をシミュレートしようと試みた
- UC San Diegoで研究グループを形成
脳を ニューロンがパターンとして発火し、別のニューロン群を発火させる巨大なネットワーク と見なした
- このパターンの舞いこそが思考
- ニューロン間の接続強度の変化を通じて学習
人工ニューラルネットワークを作り、勾配降下法（gradient descent） アルゴリズムを適用して予測精度を向上
- 山頂から谷へ下る登山者にたとえられる: 一歩ごとに下り方向へ進めば、やがて到達する
他のAI研究者たちは、ニューラルネットワークは実際の作業に十分な精巧さがないと懐疑的だったが、ネットワークが大規模化するにつれて、以前は解決不可能だった問題を解けるようになった
- 手書き数字の識別や画像中の顔認識のために論文全体を投入していたような問題を、ディープラーニングのアルゴリズムが解決
ディープラーニングは音声認識、翻訳、画像キャプション、ボードゲーム、タンパク質折りたたみ予測に至る問題まで制覇した

Next-Token予測と学習メカニズム

現在の主要なAIモデルは、インターネットのかなりの部分を学習しながら next-token 予測手法 を使っている
モデルは次に読む内容を推測し、実際に現れる内容と比較しながら学習する
- 誤った推測はニューロン間の接続強度の変化を引き起こす（勾配降下法）
その結果、モデルは テキスト予測に非常に長け、知識を持ち理解しているかのように 見える
考えるべき点: 脳の仕組みの秘密を探していた人々が、モデルを脳サイズまで拡大したところ、脳のような知能を必要とする仕事を始めた
- 探していたものを見つけたのではないか？

AI懐疑論への反論

Ted Chiangは2023年のNew Yorker記事「ChatGPT Is a Blurry JPEG of the Web」で懐疑的な主張を提示
- ChatGPTは単に インターネット全体をプログラムに入力し、不完全な形で逆流させている にすぎない
- コピーのコピーのようにぼやけているが、知的であるかのように見せかけるには十分な能力を持つ
Emily M. Bender（言語学者）とAlex Hanna（社会学者）の著書「The AI Con」も同様の主張
- BenderはLLMを「確率的オウム（stochastic parrots）」と表現
The AtlanticのTyler Austin Harper: 「大規模言語モデルは何も理解しておらず、理解できず、理解することもない」
- モデルは「思考ではなく、統計的に情報に基づいた推測 によって文章を生成する」
こうした技術的論争とともに、道徳的な論争も提起されている
- AIは権力者をさらに裕福にし、気候変動を加速させるほどのエネルギーを消費し、労働者を疎外する
- Harperの結論: 「AI産業の土台は詐欺だ」

神経科学者たちによる再評価

Harvardの認知科学者Samuel J. Gershman: 「『確率的オウム』という主張は、どこかで終わらせなければならない」
- 「最も頑固な懐疑論者だけが、これらのシステムが、私たちの大半が実現するとは思っていなかったことをやっている事実を否定できる」
Princetonの認知神経科学者Jonathan CohenはAIの限界を強調しつつも、LLMが人間の脳の最も大きく重要な部分を反映している と主張
- 「一次近似として、新皮質はディープラーニングのメカニズムだ」
- 人間は他の動物に比べ、体格に対してはるかに大きな新皮質を持つ
- 最も大きな新皮質を持つ種（ゾウ、イルカ、ゴリラ、チンパンジー、イヌ）が最も知的である

理解は圧縮であり、圧縮は理解

機械学習研究者 Eric B. Baum の2003年の著書 "What Is Thought?" の中核的主張
- 理解は圧縮であり、圧縮は理解である
統計学の線形回帰: グラフ上の点群に「最適直線(line of best fit)」を引くこと
- データに根本的な規則性があれば（靴のサイズと身長）、最適直線はそれを効率的に表現し、新しい点を予測できる
新皮質は 生の経験の海（音、視覚、その他の感覚）を「最適直線」へと蒸留し、予測に用いる
- 赤ん坊はおもちゃの味や、食べ物が床に落ちたときにどこへ行くかを推測する
- 予測が外れると、ニューロン間の結合が調整される
- 時間がたつにつれ、その結合がデータの規則性を捉える
- 世界の圧縮されたモデルが形成される

AIモデルの圧縮と知能

人工ニューラルネットワークも、実際の神経回路のように経験を圧縮する
最高クラスのオープンソースAIモデル DeepSeek
- 小説を書き、医療診断を提案し、数十の言語でネイティブのように話すことができる
- 数テラバイトのデータで次トークン予測を学習している
- ダウンロードすると元データの 600分の1のサイズ
- インターネットの蒸留物であり、ノートPCに収まるよう圧縮されている
Ted Chiang が初期の ChatGPT をウェブのぼやけた JPEG と呼んだのは的を射ているが、筆者は それこそがモデルをますます知的にした理由 だと見る
Chiang 自身も指摘しているように、数百万件の算術例を含むテキストファイルを圧縮するには、zipファイルではなく 計算機プログラムを書く 必要がある
- 「最良の圧縮は、テキストを理解することで達成できる」
- LLM はその段階に入り始めている可能性がある

思考のさまざまな種類

コンピュータプログラムが本当に理解し、思考していると想像することは、不自然で嫌悪感すら伴うことがある
私たちは思考をたいてい意識的なものとして概念化する
- Joyce 的な内的独白
- Proust 的な夢想の感覚記憶の流れ
- 推論: 問題を段階的に解くこと
AIとの対話では、こうした異なる種類の思考を混同しがちで、そのため判断が表面的になる
- ChatGPT は Proust 的な夢想をしないのだから、明らかに思考していないという主張
- ChatGPT は論理パズルをよりうまく解けるのだから、明らかに思考しているという主張
実際には、もっと微妙なことが起きている。ChatGPT に内面的な生があるとは思わないが、自分の言っていることを分かっているかのように 見える

Douglas Hofstadter の認知理論

Indiana University の認知科学・比較文学教授
「認知とは認識である(cognition is recognition)」
1980年に Pulitzer Prize を受賞した "Gödel, Escher, Bach: An Eternal Golden Braid" で有名
数十年の研究を通じて発展させた理論: 「〜として見る(seeing as) ことが思考の本質」
- ある色のパッチを自動車として、別のものをキーホルダーとして認識する
- どんなフォントや崩れた手書きであっても文字「A」と認識する
同じプロセスが、より抽象的な認識の基盤にもなっている
- チェスの名人が盤面を見たとき、長年の訓練が見方に凝縮される: 白のビショップは弱い、エンドゲームはおそらく引き分けだ
- 激流の渦を、渡るのが危険だという信号として認識する
- 出席した会議を「裸の王様」の状況として認識する
- 筆者の2歳の息子は、午前遅くのベビーカー散歩がクロワッサンを得る機会かもしれないと認識し、要求する
Hofstadter にとって、これこそが 知能の核心 である

Pentti Kanerva の高次元空間理論

Hofstadter はもともと AI 評価切り下げ論者の一人だった
- AI研究の大半は本当の思考とは無関係だと書いており、2000年代の大学時代の筆者もそれに同意していた
例外として、UC San Diego のグループに関心を持ち、あまり知られていないフィンランド系アメリカ人の認知科学者 Pentti Kanerva の研究を高く評価していた
Kanerva は 高次元空間の数学における特異な性質 を見いだした
- 高次元空間では、任意の2点は非常に遠く離れていることがありうる
- 逆説的に、各点は周囲に大きな近傍の雲を持つため、「十分に近づけ」ば容易に見つけられる
- これは記憶の働き方を思わせる
1988年の著書 "Sparse Distributed Memory" で、思考・感覚・想起は高次元空間の座標として表現できる と主張した
- 脳はそうしたものを保存するための理想的なハードウェアである
- あらゆる記憶には一種のアドレスがあり、想起時に活性化されるニューロンによって定義される
- 新しい経験は新しいニューロン集合を発火させ、新たなアドレス表現となる
- 2つのアドレスは多くの面で異なりうるが、別の面では似ている
- ある知覚や記憶が、近くにある別の記憶を引き起こす
例: 干し草の匂いが夏のキャンプの記憶を呼び起こし、ベートーヴェン第5の最初の3音が4音目を予期させ、見たことのないチェス局面が昔の対局を連想させる

Hofstadter の転向

Hofstadter は、Kanerva が「seeing as マシン」を描いているのだと気づいた
Kanerva 本の序文: 「Pentti Kanerva の記憶モデルは私にとって啓示だった。脳が全体としてどのように機能するかを理解するという遠大な目標を初めて垣間見せてくれた研究 だった」
あらゆる種類の思考（Joyce 的、Proust 的、論理的）は、適切なものが適切なタイミングで思い浮かぶこと に依存している
- それが、自分たちがどのような状況にあるのかを把握する方法だ
Kanerva の本は視界から消え、Hofstadter 自身の名声も色あせていった
- ときおり新しい AI システムへの批判者として登場するだけになった
2018年、Google Translate などについて: 「understanding という言葉が含意するものが、このアプローチには依然として深く欠けている」
GPT-4 が2023年に公開されると、Hofstadter の転向の瞬間 が訪れた
- 「システムがやっていることの一部に当惑している。10年前なら想像もできなかっただろう」
- どれほど頑固な評価切り下げ論者でも、もはや切り下げられなくなった
- 専門家並みに翻訳し、類推し、即興し、一般化できるプログラム
- 理解していないとは言えない
「思考に非常によく似たこと をしている。やや異質な仕方ではあるが、思考していると言ってよい」

LLM の高次元ベクトル空間

LLM は中核に「seeing as マシン」を備えている
各単語を、高次元空間の座標（ベクトル）を表す一連の数値として表現する
GPT-4 では単語ベクトルは 数千の次元 を持ち、他のあらゆる単語との類似性と差異の濃淡を描き出す
学習中、モデルは予測誤差が生じるたびに単語の座標を調整する
- テキストの中で共起する単語どうしは、空間内でより近くへ移動する
用法と意味の驚くほど高密度な表現が生まれ、類推が幾何学の問題 になる
古典的な例: 「Paris」の単語ベクトルから「France」を引き、「Italy」を足すと、最も近い別のベクトルは「Rome」になる
LLM は画像も「ベクトル化」して、その内容、雰囲気、顔の表情まで符号化する
- 特定のスタイルで描き直したり、段落を書いたりするのに十分な詳細を含む
Max が遊び場のスプリンクラーについて助けを求めたとき、モデルは単にテキストを吐き出していたわけではない
- 配管の写真が Max のプロンプトとともに 最も重要な特徴を捉えたベクトルへと圧縮 された
- そのベクトルは、近くの単語や概念を呼び出すためのアドレスとして機能する
- アイデアが次々と別のアイデアを呼び出し、モデルが状況の感覚を構築する
- それらのアイデアを「念頭に置いて」応答を書く

Anthropic の内部探索研究

著者がAnthropicの研究員Trenton Brickenのインタビューを読んだ
- 同僚たちとともにClaude（AnthropicのAIモデルシリーズ）の内部を探る作業を行っている
- この研究は査読も学術誌掲載もされていない
チームは、Claudeが特定の内容を語ろうとするときに活性化する人工ニューロンのアンサンブル、あるいは「特徴（features）」を特定した
特徴は概念のボリュームノブのように機能する
- 上げると、モデルはそればかり話す
- 思考制御実験では、Golden Gate Bridgeを表す特徴を増幅すると、チョコレートケーキのレシピを求められた際に「1/4カップの乾いた霧」「1カップの温かい海水」のような材料を提案した
BrickenはGoogleのTransformerアーキテクチャに言及した
- 主要なAIモデルの土台となるニューラルネットワークの構成レシピだ
- ChatGPTの「T」は「Transformer」を意味する
Brickenの主張では、Transformerアーキテクチャの中核にある数学は、数十年前にPentti Kanervaが「Sparse Distributed Memory」で提案したモデルと非常によく近似している

神経科学とAIの相互作用

AIと人間の脳の対応に驚くべきだろうか？
- LLMは、心理学者や神経科学者が開発を助けた人工ニューラルネットワークだ
さらに驚くべきなのは、モデルが単純なこと（単語予測）を練習したとき、脳に似たやり方で振る舞い始めたことだ
近ごろ神経科学とAIの分野は絡み合っている
- 脳の専門家たちはAIを一種のモデル生物として使っている
MITの神経科学者Evelina Fedorenkoは、LLMを使って脳が言語を処理する仕組みを研究している
- 「こういう種類のことについて一生考えられるようになるとは思っていませんでした。十分に良いモデルを持てるようになるとも思っていませんでした」
AIはブラックボックスだと言われがちだが、実際には逆かもしれない
- 科学者は個々の人工ニューロンの活動を調べ、さらには変更することさえできる
Princetonの神経科学者Kenneth Normanは、「人間知能の理論を実装した動作するシステムを持つことは、認知神経科学の夢だ」と語る
- 彼は海馬（エピソード記憶を保存する脳領域）のコンピュータモデルを作ってきたが、以前は単純すぎて、人間の心に入りうるものの粗い近似しか入力できなかった
- 「今では、人に与えるのとまったく同じ刺激を記憶モデルに与えられる」

ライト兄弟の比喩

ライト兄弟は初期の飛行機づくりの過程で鳥を研究した
- 鳥が風に向かって離陸することを発見した（理屈で考えれば、風は背中から受けたほうがよいと思いそうだ）
- バランスを取るために翼端をねじっていた
これらの発見は初歩的なグライダー設計に影響を与えた
その後、長さ6フィートの風洞を作り、精密に制御された条件下で人工の翼セットをテストした
次のグライダー飛行ははるかに成功した
奇妙なことに、動く飛行機械を作って初めて、鳥が正確にどう飛んでいるのか理解できるようになった

思考そのものの風洞実験

AIによって、科学者たちは思考そのものを風洞に入れられるようになった
Anthropic研究者たちの論文「On the Biology of a Large Language Model」（挑発的なタイトル）
- Claudeがクエリに応答する様子を観察し、**複雑な計算をともに実行する特徴の連鎖である「回路」**を描写している
- 正しい記憶の呼び出しは、思考に向かう一歩だ
- 回路の中で記憶を結び付け、操作することは、さらに別の一歩だ
LLMに対する古くからの批判として、応答を1トークンずつ生成しなければならないため、計画や推論はできないというものがある
Claudeが詩の中で韻を踏む連を完成させるよう求められると、その回路は新しい行の最後の単語を先に考えて韻を保証する
- その後、逆向きに作業して行全体を書く
Anthropicの研究者たちは、これをモデルが実際に計画に関与している証拠とみなしている
少し目を細めて見れば、心の内部動作が初めて視界に入ってきたように感じられるかもしれない

中程度の懐疑の必要性

Princetonの神経科学者Normanは、「私が心配しているのは、人々が『これには本当に懐疑的だ』という状態から、防御を完全に解いてしまう方向へ一気に振れていることだ」と語る
- 「まだ解決しなければならないことがたくさんある」
著者は、Normanの言うそうした人々の一人だ（Sparse Distributed MemoryとAnthropicのモデルの収束に、あまりに簡単に感動してしまったのかもしれない）
この1〜2年で、著者はGeoffrey Hintonの「ディープラーニングはあらゆることをできるようになるだろう」という言葉を信じ始めていた（Hintonは最近、AI研究でノーベル賞を受賞した）
しかし、より大きなモデルが常により良いモデルとは限らない
- モデルの規模に対する性能を描いた曲線は平坦化し始めている
- モデルがまだ消化していない高品質データを見つけるのは難しくなり、計算資源もますます高価になっている
GPT-5が8月にリリースされたとき、それは単なる漸進的な改善にとどまった
- AI投資バブルを崩壊させかねないほど深刻な失望だった
今この瞬間に必要なのは、中程度の懐疑だ
- 今日のAIモデルを真剣に受け止めつつも、難しい問題がもう残っていないと信じないこと

人間のように効率的に学習するモデルの設計

最も重要な問題は、人間と同じくらい効率的に学習するモデルをどう設計するかだ
GPT-4は訓練中に数兆語の単語にさらされたと推定されている
- 子どもは流暢になるのに数百万語だけで足りる
認知科学者によれば、新生児の脳には学習を加速させる特定の「帰納バイアス（inductive biases）」がある
- もちろん脳は何百万年もの進化の結果であり（それ自体が一種の訓練データだ）
人間の赤ん坊は、世界が物体で構成され、ほかの存在が信念や意図を持つという期待を備えている
- 母親が「バナナ」と言うと、幼児はその単語を端や皮ではなく、彼女が見ている黄色い物体全体に結び付ける
幼児は小さな実験を行う。これは食べられるのか？あれはどれくらい遠くまで投げられるのか？
欲望、好奇心、フラストレーションのような感情に動機づけられている
子どもは常に、自分の能力を少し超えたことをしようとする
学習が効率的なのは、身体性があり（embodied）、適応的で、意図的で、継続的だからだ
世界を本当に理解するには、その中に参加しなければならないのかもしれない

AIの貧弱な経験

AIの経験はあまりに貧弱で、実際には「経験」と呼べるかどうかも怪しい
大規模言語モデルは、すでに非常に高度に精製されたデータで訓練されている
UC Berkeleyの神経科学者Tsaoは、「それが機能しているのは、**言語に乗っかっている（piggybacking）**からだ」と述べる
- 言語はあらかじめ咀嚼された経験のようなものだ
- 他の種類のデータは意味密度が低い
Harvardの認知科学者Gershmanは、「なぜビデオデータについて、推論の面で同じような革命が起きていないのか？」と問う
- 私たちが持っている種類のビジョンモデルは、物理に関する常識的推論にいまだ苦労している
DeepMindの最近のモデルは、絵の具が正しく混ざり、迷路が解かれる動画を生成できる
- しかし、ガラスが割れる代わりに跳ね上がったり、ロープが物理法則を無視して結び目へとぐしゃっと潰れたりする様子も描いてしまう
Microsoft Researchの認知神経科学者Ida Momennejadは、LLMに建物のバーチャル案内を与えたあと、経路や近道について質問する実験を行った
- これは人間には簡単な空間推論だ
- ごく基本的な設定を除けば、AIは失敗するか、存在しない経路を幻覚する傾向があった
- 「本当に計画しているのか？それほどでもない」

AI産業の無思慮な疾走

神経科学者たちとの対話の中で、著者はAI産業がやや無思慮に暴走していることへの懸念を感じ取った
プリンストン大学の認知科学者 Brenden M. Lake: 目標が人間の心と同じくらい有能な人工の心を作ることなら、「私たちはシステムを正しいやり方で訓練していない」
AIは訓練を終えると、ニューラルネットワークの「脳」が凍結される
- モデルに自身に関する事実を伝えても、ニューロンを再接続するわけではない
- 代わりに粗雑な代用品を使う。少量のテキストを書き留めておく（「ユーザーには幼い子どもがいて、フランス語を勉強中」）
- 別の指示を出す前にこれを考慮する
人間の脳は継続的に自己更新している
その方法の1つに関する美しい理論として、眠っている間にエピソード記憶から選ばれたスナップショットが新皮質を訓練するために再生される
- 高次元の思考空間が再生された記憶によってくぼみをつけられる
- 少し新しい見方をもって目覚める

AIコミュニティの問題点

AIコミュニティは猛烈な進歩に中毒し、かつ財政的にも深く関与しているため、ときに進歩は不可避で、もはややるべき科学は残っていないかのように振る舞う
科学には、ときに停滞するという厄介な性質がある
Silicon ValleyはAI企業を「labs」と呼び、一部の社員を「研究者」と呼ぶが、根本的には動くものなら何でもやるエンジニアリング文化だ
Cohen: 「機械学習コミュニティが、それ以前の歴史や認知科学を見たり尊重したりすることにどれほど無頓着なのか、本当に驚かされる」

脳との根本的な違い

今日のAIモデルは、数十年前の脳に関する発見のおかげで成功したが、それでもなお脳とは深く異なる
どの違いが付随的で、どれが根本的なのか？
- どの神経科学者グループにも独自の理論がある
- こうした理論は、以前には不可能だった方法で検証できるようになっている
しかし、簡単な答えを期待している人はいない
AIモデルを悩ませ続ける問題は、「モデルが私たちの望むほど知的に振る舞わない仕方を注意深く特定し、それを解決することで解決される」
- 「それでもなお、人間の科学者がループの中にいるプロセスだ」

Human Genome Projectとの比較

1990年代には、数十億ドルがHuman Genome Projectに投入された
- DNAシーケンシングが、医学における最も厄介な問題（がん、遺伝性疾患、さらには老化まで）を解決できるという前提があった
大言壮語と自信の時代だった
- クローン羊 Dolly と「Jurassic Park」の時代
- バイオテクノロジーが優勢で、評論家たちは人間が神の役割を果たすべきかどうかを論じていた
生物学者たちはすぐに、現実はもっと複雑だと発見した
- がんを治療することも、アルツハイマー病や自閉症の原因を見つけることもできなかった
- DNAは生命の物語の一部分しか語らないことを学んだ
実際、生物学は一種の遺伝子ブームに巻き込まれたと主張することもできる
- DNAを研究し理解する手段があったため、DNAに執着した
しかし、1953年に Francis Crick がDNA構造の解明を助けたその日にケンブリッジのパブに入り、「生命の秘密を発見した」と語ったことが間違いだったと主張する人はいない
- 彼と同僚たちは、ほぼ誰よりも生命を脱神秘化することに貢献した
- 彼らの発見後の数十年は、科学史上もっとも生産的で刺激的な時期の1つだった
- DNAは日常的な言葉となり、すべての高校生が二重らせんについて学ぶようになった

AI時代の展望と懸念

AIでも、再び大言壮語と自信の瞬間にある
Sam Altman は、米国にAIデータセンターの新たなクラスターである Stargate を構築するため、5,000億ドルの調達を語っている
人々は、根拠がなく、時には滑稽にさえ見えるような重大さと緊急性をもって超知能競争を論じている
著者の疑念: Amodei や Altman のような人々がメシア的な宣言をする理由は、知能の基本的な図式がすでに解決されたと信じているからだ
- 残りは単なる細部にすぎない

神経科学者たちの食い違う反応

一部の神経科学者たちも、重要な閾値がすでに越えられたと信じている
プリンストン大学の Uri Hasson: 「ニューラルネットワークは認知の正しいモデルかもしれないと本気で思っている」
- それは彼を興奮させると同時に腹立たせもする
Hasson: 「私は大半の人とは逆の心配をしている」
- 「私の心配は、これらのモデルが私たちに似ていることではない。私たちの方がこれらのモデルに似ていることだ」
単純な訓練技術によってプログラムを人間のように振る舞わせられるのなら、人間は私たちが思っていたほど特別ではないのかもしれない
それはまた、AIが知識だけでなく、判断力、独創性、狡猾さにおいても私たちを上回り、その結果として権力においても上回る可能性を意味する
Hasson: 「最近は、脳がどう機能するのかを理解することに成功してしまうのではないかと心配している」
- 「この問いを追求することは、人類にとって途方もない過ちだったのかもしれない」
AI研究者たちを1930年代の核科学者になぞらえる
- 「これは、この人たちの人生で最も刺激的な時期だ。同時に、自分たちが取り組んでいることが人類に重大な含意を持つと分かっている。しかし、学ぼうとする好奇心のために止まれない」

Hofstadterの複雑な感情

著者が好きな Hofstadter の本: 「Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought」
- 大学時代の著者を震え上がらせた
- 前提は、「思考とは何か？」のような問いが単なる哲学的問題ではなく、実際の答えを持つということだった
- 1995年の出版当時、Hofstadter とその研究グループは、その答えが何であるかを示唆することしかできなかった
著者は、AI研究者たちが Hofstadter が渇望していたもの、つまり思考の基礎に対する機械的説明を達成したのかもしれないという点で、Hofstadter が興奮するのではないかと思っていた
しかし対話の中で、Hofstadter は深く失望し、恐れているように聞こえた
現在のAI研究は「私の多くの考えを裏づけるが、人類とは何かという美しさを奪っていく」
「もっと若かったころ、創造性の基礎、創造性のメカニズムを知りたかった。それが私にとっての聖杯だった。でも今は、それが謎のままであってほしい」
思考の秘密は、誰もが予想していたよりもずっと単純なのかもしれない
- 高校生や、あるいは機械でさえ理解できるような類いのものかもしれない

7件のコメント

conanoc 2025-11-06

これは私がいちばん関心を持っている分野なので、興味深いですね。

理解を説明する部分でベクトル埋め込みに言及していたのは、私と同じ考えです。理解とはすなわち類似性であり、この類似性はベクトル類似性として実装できます。私たちは新しい対象が、すでに知っているものとどれだけ似ているかを通してのみ、その対象を「理解」できます。

思考は理解を基盤としていますが、性質は異なります。思考は「頭で行う行動」に近く、LLMのnext token generationも一種の「行動」と見なせるので、LLMもまた思考していると言えます。問題はLLMが思考できるかどうかではなく、「人間と同じくらいうまく」思考できるかどうかであり、現時点ではかなり不足しています。

ndrgrd 2025-11-06

満足できるコーディングエージェントはまだないですね……。ほとんどの作業は自分でやらなければならず、自動補完やスニペット程度を超える作業をさせると失敗することが多いです。
本文の事例では何を使っているのか気になります。