Andrej Karpathy – AGIはまだ10年先

• Andrej Karpathyは、**「エージェントの年」ではなく「エージェントの10年」**になると主張し、AI業界の過度な予測に反論しつつ、およそ10年にわたる段階的な改善が必要だと見ている
• 現在のLLMは、継続学習、マルチモーダル機能、コンピュータ利用能力などの中核的な認知機能が不足しており、これらの問題の解決には約10年かかると予想される
• 進化が動物に与えた内蔵ハードウェアとは異なり、LLMはインターネット上のデータ模倣を通じて生まれた「魂のような存在」であり、別種の知能であるため、動物との直接比較は不適切
• RL（強化学習）はかなり非効率だが、代替手法も十分には発展していない状況。LLMのモデル崩壊や忘却の問題により、人間の脳のように自然に知識を継続的に吸収・発展させるには限界がある
• **事前学習は「ひどい進化」**であり、15兆トークンを数十億パラメータへと劇的に圧縮し、インターネット文書のかすかな記憶だけを残す過程
• AGIは最終的に、平時と変わらない2%のGDP成長軌道の中に含まれるものであり、計算資源の段階的拡張として見るべきで、不連続な飛躍は期待していない（超知能論争を含む）

---

AGIの到来時期とAI発展の速度

• Andrej Karpathyは、**「AIエージェントの時代は今年ではなく、10年規模のプロセスだ」**と強調する。
• 現在、ClaudeやCodexなど複数のAIエージェントが有用に使われているが、継続学習、マルチモーダル処理、複雑なコンピュータ活用などの面では依然として不十分である
• AGIが実質的に人間の従業員やインターンのように機能するには、知能向上、継続的記憶、多面的な能力の獲得といった難題が解決されなければならない
• AI業界の発展予測について、Karpathyは15年以上にわたる現場経験を踏まえ、難題は克服可能だが相当に難しいため、10年ほど必要だと見積もっている

初期AI研究の方向転換

• AlexNet以前のディープラーニングはニッチなテーマだったが、2012年のAlexNetが分野全体をニューラルネットワーク訓練へと再指向させた最初の劇的な地殻変動だった
• 2013年ごろのAtariディープ強化学習は誤った方向であり、OpenAI初期のゲーム中心アプローチも失策だった
  • ゲームがAGIにつながるという考えには懐疑的で、現実世界との相互作用が必要だと判断していた
  • OpenAIのUniverseプロジェクトは早すぎたうえ、報酬があまりに疎で学習不可能だった
• LLMの上にエージェントを構築することが正しい経路であり、まず表現力を獲得してからエージェントを作るべきだ
  • 大規模言語モデルの上でコンピュータ操作エージェントを訓練する現在のアプローチは妥当である
  • 事前学習とLLMの作業を通じて先に表現を獲得してこそ、エージェントの作業が可能になる
• 全体として、AI分野はパーセプトロン／ニューラルネット → エージェント（RL） → LLM／表現学習の強化という流れで進化してきた

人間の学習と動物の進化の違い

• 動物（例: シマウマ）は進化によって複雑な行動が遺伝的に内在化されている。一方AI研究は実際の進化過程を模倣せず、インターネット資料による模倣学習（pre-training）を主に用いている
• 現在のLLMは、進化によって発現する有機体とは構造的に異なる。生命体はハードウェア（神経回路）を生得的に持つが、AIはソフトウェア的な「亡霊」に近いと表現される
• 人間の脳とAIの類似性は限定的にのみ参考にすべきであり、実用的な目的（有用性）を中心に考える方が現実的である

文脈内学習 vs 事前学習

• 事前学習はインターネット上の膨大な情報を圧縮した結果であり、モデルが記憶する知識はぼんやりとして部分的である
  • 実際の質問に関する情報は、コンテキストウィンドウ内で「作業記憶」のように、より直接的に活用される
• 文脈内学習は作業記憶、事前学習は長期記憶のぼんやりした形だといえる
  • KVキャッシュ内のすべては、ニューラルネットワークが直接アクセス可能な作業記憶である
  • 重みの中にあるものは、1年前に読んだ内容のかすかな記憶に近い
• 文脈内学習が勾配降下法を内部的に実装している可能性
  • 線形回帰研究では、ニューラルネットワークの重みが勾配降下法のメカニズムと似ていることが見いだされている
  • パターン補完を学習することで、ニューラルネットワーク内部に小さな回路やアルゴリズムが立ち上がる
• 事前学習では1トークンあたり0.07ビット、文脈内学習では1トークンあたり320キロバイト
  • 文脈内学習は、1トークンあたりの情報同化量において3,500万倍高い
  • 圧縮率の劇的な差が、学習方式の根本的な違いを反映している

人間とLLMの認知的な違い

• 海馬、扁桃体などの脳部位の不在
  • Transformerは皮質組織に相当し、前頭前皮質のような推論能力を持つ
  • 海馬（記憶）や扁桃体（感情）などの中核的な脳部位は再現されていない
• 継続学習メカニズムの欠如
  • 人間は、1日の文脈情報（context window）が睡眠などの過程を通じて内部重みに蒸留（distillation）されるプロセスを持つ
  • LLMは各セッションごとに0トークンから再開し、蒸留段階がない。つまり、これに相当する長期記憶／継続学習メカニズムが存在しない
• 強化学習は「ひどい」
  • 正答を得たロールアウト内の全トークンを上方重み付けする（ノイズだらけ）
  • 「ストローで監督を吸い上げる」ようなやり方で、最終報酬だけで軌跡全体を評価する
  • 人間は複雑なレビュー過程で各部分を評価するが、LLMにはそれに相当するものがない

プロセスベース監督の限界

• LLM審判はゲーム化されうる
  • 報酬割り当てのためにLLMを使うと、敵対的サンプルが見つかることはほぼ避けられない
  • dhdhdhdhのような意味不明の出力でも100%の報酬を獲得した事例がある
• サンプル外一般化領域の脆弱性
  • 訓練中に見たことのない入力に対して、LLM審判が極端なスコアを与える
  • 反復訓練で改善は可能だが、1兆個のパラメータには無限の敵対的サンプルが存在する
• 合成データとレビューの必要性
  • 解答レビューと合成サンプル生成を通じてメタ学習するアプローチが試みられている
  • フロンティアLLM研究所の規模において、完全な汎用性で機能する説得力ある方法はまだない

人間の学習 vs LLMの学習

• 人間は強化学習をほとんど使わない
  • 強化学習の大半は、バスケットボールのシュートのような運動課題に限られる
  • 問題解決のような知的作業にはRLを使わない
• 読書は合成データ生成のためのプロンプト
  • 人間は本を読み、情報を操作しながら知識を獲得する
  • LLMはテキスト列を展開するだけで、次トークン予測によって学習する
• モデル崩壊の問題
  • LLMのサンプルは個々には妥当に見えても、分布が静かに崩壊する
  • ChatGPTは3つのジョークばかり繰り返しうる（可能なジョーク全体の幅がない）
  • 人間も時間とともに崩壊するが、まだ過学習していない子どもは衝撃的な発言をすることがある

暗記 vs 汎化のバランス

• LLMは暗記に極めて強い
  • 完全にランダムな列でも、1〜2回の反復で全体を暗唱できる
  • 人間はランダムな数字列を暗唱できない
• 暗記能力はバグではなく特徴
  • 人間は汎化可能な構成要素だけを学ぶよう強いられている
  • LLMは事前学習文書の記憶によって注意が散らされる
• 認知コアから知識を取り除く必要
  • 10億パラメータ程度の認知コアが想定される
  • 知識を取り除き、アルゴリズムと戦略だけを残す
  • 事前学習セットの精製と蒸留によって、より小さなモデルで解決できる可能性がある

今後の改善方向と技術的展望

• 今後10年以内には、アーキテクチャ、最適化（optimizer）、損失関数、データ、ソフトウェア、ハードウェアなど、あらゆる分野が同時に進歩してこそ意味のある成果が出ると見ている
• 現在のTransformer構造やディープラーニングの方式は一部継続するだろうが、スパースアテンション（sparse attention）、拡張された計算能力、大規模データが加わると予想される
• これまでの発展においても、特定の単一要因より複数要素の並行的な改善が重要だったことを実感している

LLMの認知的欠陥とコーディングツール活用

• LLMはコーディング支援によく使われるが、独自の設計や方式が必要な集中的なコード記述には限界が多い
• 主に (1) 完全手動記述、(2) 自動補完活用、(3) 「エージェント」方式の3つが混用される
• ベースコードは反復的で好例が多いほどLLMと相性が良いが、独創的で構造化が重要なコードでは、LLMが既存スタイルに固執し、不必要な複雑さを増し、規約を誤解するなどの問題が目立つ
• 実例として、PyTorch DDPコンテナの使用を望んでいないにもかかわらず、LLMがそれを繰り返し推奨し、コードスタイルや実装方針を守る妨げになった

nanochatの開発経験

• LLMは独特なコードベースには不向き
  • 定型コードやインターネットでよく見かけるものにしか有用ではない
  • nanochatは知的集約度が高く、正確な配列が必要なため、モデルが繰り返し誤解する
• オートコンプリートが最適な使い方
  • バイブコーディングは特定の設定でのみ機能する
  • オートコンプリートは最初の数文字で高い情報帯域幅を提供する
• Rustのような新しい言語の学習に有用
  • Pythonの参照実装とテストを持っていれば、安全にバイブコーディングできる
  • 慣れていない言語やパラダイムへのアクセス性を高める

AIエンジニアリング自動化の現実

• 現在のモデルはAI研究の自動化には不十分
  • コーディングはテキストベースなので、LLMにとって完璧な最初の適合領域
  • これまで書かれたことのないコードにはあまり強くない
• デモと製品のギャップ
  • 1980年代から自動運転のデモは存在したが、製品化には長い時間がかかった
  • 「9の行進」— 各9は一定の作業量を意味し、90%から99.999%まで継続的な改善が必要
• 知能爆発はGDP曲線には現れないだろう
  • コンピュータやiPhoneのような変革的技術もGDPからは見つけられない
  • あらゆるものに広く浸透し、ゆっくり拡散するため、同じ2%の指数に平均化される

自動運転の教訓

• 自動運転はまだ終わっていない
  • Waymoでさえ車両数は非常に少なく、運用も不経済
  • リモート操作センターの人間がループ内にいる
• 安全閾値ドメインの共通点
  • ソフトウェアエンジニアリングもミスのコストが高い（セキュリティ脆弱性など）
  • 自動運転と似た「9の行進」が必要
• テスラのスケーラブルなアプローチ
  • Waymoは多くのセンサーで初期スタートを切った
  • テスラの方が、よりスケーラブルな戦略により長期的に有利

自動運転 vs 知識労働AIの比較

• ビット領域は物理世界より100万倍容易
  • ビットは変更可能で、素早く再配置できる
  • 産業の適応ははるかに速いと予想される
• 設備投資の違い
  • 自動運転はコピーごとにまったく新しい車が必要
  • AIモデルは推論コストだけで追加インスタンスを提供できる
• 社会的受容の複雑さ
  • 法的、保険、規制の側面を解決する必要がある
  • Waymoの車にコーンを載せる人に相当する存在が、AIにも現れるだろう

Eureka Labsのビジョン

• スターフリート・アカデミーの構築
  • フロンティア技術のためのエリート教育機関
  • AIを含む最新技術の知識を提供
• AGI以後の教育は娯楽になる
  • AGI以前: お金を稼ぐための実用的な教育
  • AGI以後: ジムに通うように学校へ行く娯楽的な教育
• 完璧なAIチューターを待っている
  • 韓国語の個人チューター経験が基準を設定した
  • 学生の理解度を把握し、適切な挑戦を与え、完璧に情報を伝える
  • 現在の能力では不可能だが、将来は可能になるだろう

教材設計の原則

• 物理学的な考え方
  • 1次、2次、3次の項でシステムを理解する
  • モデルと抽象化を作る
  • 「球形の牛」仮定の価値
• 苦痛を提示してから解決策を示す
  • 学生にまず試す機会を与える
  • 解決策を与える前にプロンプトで動機づける
• microgradの例
  • 100行で逆伝播の核心を示す
  • 残りはすべて効率性にすぎない
  • 連鎖律の再帰的適用がすべて

効果的な学習戦略

• 深さ優先、必要に応じて学ぶ
  • 特定のプロジェクトで報酬を得ながら学ぶ
  • 幅優先の学習（学校式）と交互に行う
• 他人に説明する
  • 理解のギャップを発見し、それを埋めることを強いる
  • 知識を操作しながら深く理解する
• 昼食時の会話 > 論文
  • カンファレンスでビールを飲みながら聞く3つの文が論文より明快だ

私は何かを言い直して説明するのが好きなんですが、他の人たちもそうすべきです。そうすると知識を操作しなければならないし、説明するときに自分が何を話しているのかを確実に理解しなければならないからです。

---

# [全文スクリプト]

00:00:00 – AGIはまだ10年先です

Dwarkesh Patel 00:00:00

今日はAndrej Karpathyと話します。Andrej、なぜ「エージェントの年」ではなく「エージェントの10年」になるとおっしゃるのですか？

Andrej Karpathy 00:00:07

まず、お招きいただきありがとうございます。ここに来られてうれしいです。

今おっしゃった「エージェントの10年」という表現は、実は以前に出てきた言い方への反応なんです。正確に誰が言ったのかは分かりませんが、LLMの進化に関連して、今年が「エージェントの年」になることを示唆する表現がありました。私はその言葉に刺激を受けました。というのも、この業界では過剰な予測があふれていると思っているからです。私としては、「エージェントの10年」と言う方がずっと正確です。

私たちはすでに初期段階ながら非常に印象的なエージェントを持っていて、私自身もClaudeやCodexのようなものを毎日使っています。しかし、まだやるべきことが膨大にあると感じています。私たちはこれらと今後10年は付き合っていくことになると思います。徐々に良くなり、素晴らしいものになるでしょう。私はただ、その暗黙の時間計画に反応しているだけです。

Dwarkesh Patel 00:00:58

10年かかると考えるのはなぜですか？ ボトルネックはどこにありますか？

Andrej Karpathy 00:01:02

実際に機能するようにすることです。エージェントについて話すとき、AI研究所が念頭に置いているもの、そしておそらく私が考えているものも同じですが、一緒に働くために雇う従業員やインターンのような存在であるべきです。たとえば、あなたもここでスタッフと一緒に働いていますよね。ClaudeやCodexのようなエージェントにその仕事をしてほしいと思うのは、いつになるでしょうか？

現時点では、もちろん不可能です。可能にするには何が必要でしょうか？ 今日それを使わない理由は何でしょうか？ 理由は簡単です。きちんと機能しないからです。十分な知能がなく、マルチモーダル機能も十分ではなく、コンピュータの利用のようなこともできません。

先ほど挙げた多くのことができません。継続学習能力もありません。何かを教えたら覚えていてくれると期待することはできません。認知面で不足している点が多く、きちんと機能していないのです。こうしたすべての問題を解決するのに、約10年はかかるでしょう。

Dwarkesh Patel 00:01:44

興味深いですね。プロのポッドキャスターであり、遠くからAIを観察している人間として、何が足りないのかを把握するのは簡単です。継続学習が足りないとか、マルチモーダル機能が足りないとか、そういうことです。でも、それに時間軸を与えるうまい方法がありません。もし誰かに継続学習にどれくらいかかるかと聞かれても、これが5年、10年、50年かかるプロジェクトなのか、まったく見当がつかないんです。なぜ10年なのですか？ なぜ1年でも50年でもないのですか？

Andrej Karpathy 00:02:16

ここでは私個人の直感の話になり、現場での経験に基づいて推論していることになります。私はAI分野にほぼ20年いました。15年くらいでしょうか。そこまで長くはありませんね。以前ここに出演されたRichard Suttonは、もっと長くこの分野にいます。私は約15年の経験があり、その間に人々の予測を見て、それがどう実現していったかを見てきました。また、私はしばらく産業界にいて、研究にもいて、また産業界に戻りました。そうした経験から残っている、一般的な直感があるんです。

私の感覚では、問題は解決可能で、乗り越えられるものですが、それでもなお難しい。平均的に考えると、私にはただ10年くらいに感じられるのです。

Dwarkesh Patel 00:02:57

とても興味深いです。歴史だけでなく、さまざまなブレークスルーがあった瞬間にその場にいた人たちが、何が起こると感じていたのかを聞いてみたいです。彼らの予測は、どういう点で過度に悲観的だったり、過度に楽観的だったりしたのでしょうか？ 一つずつ見ていきましょう。

Andrej Karpathy 00:03:16

それはものすごく大きな問いですね。15年間に起きたことについて話しているわけですから。AIは本当に驚くべき分野です。分野全体が突然まったく違って見えるようになる、地殻変動のような変化が何度かありました。私はそのうち2、3回は直接経験したと思います。そして、これからも起こり続けると思います。ほとんど驚くほど規則的にやって来るので。

私のキャリアが始まったころ、ディープラーニングに取り組み始めたころ、ディープラーニングに関心を持ったのは、トロント大学で Geoff Hinton のすぐそばにいられるという偶然のおかげでした。Geoff Hinton は言うまでもなく、AIのゴッドファーザーのような存在です。彼はこうしたニューラルネットワークを訓練していて、私はそれが驚くべきことであり興味深いと思いました。でも、当時のAIでそれは決して誰もがやっている主流ではありませんでした。ただ片隅にある小さなニッチなテーマだったんです。それが、おそらく AlexNet とともに訪れた最初の劇的な地殻変動だったのでしょう。

AlexNet はみんなの方向性を変え、誰もがニューラルネットワークを訓練し始めました。しかし、それでもなおタスクごと、つまり具体的な個別タスクごとのアプローチでした。画像分類器を持っていたり、ニューラル機械翻訳器を持っていたり、という具合です。人々はエージェントに対してごくゆっくりと関心を持ち始めました。「よし、視覚皮質のようなものにはチェックを入れた。でも脳のほかの部分はどうだろう。世界と相互作用できる完全なエージェント、あるいは完全な存在をどうやって手に入れるのだろう」と考え始めたのです。

2013年ごろの Atari ディープ強化学習の変化は、私の考えでは、エージェントに関する初期の取り組みの一部でした。単に世界を認識するだけでなく、行動を取り、相互作用し、環境から報酬を得るエージェントを作ろうとする試みだったからです。当時は Atari ゲームでした。

私はそれが間違った方向だったと感じています。私が関わっていた初期の OpenAI でさえ採用していた、間違った方向でした。なぜなら、当時の時代精神は強化学習環境、ゲーム、ゲームプレイ、ゲームに勝つこと、さまざまな種類のゲームを手に入れることにあり、OpenAI もそういうことをたくさんやっていたからです。それは全体として少し誤りでした。おそらく2年、3年、4年のあいだ、誰もがゲームに強化学習を適用していましたが、全部が少し間違った方向だったのです。

OpenAI で私がやろうとしていたことは――私は昔から、ゲームが AGI につながるという考えにはやや懐疑的でした。私としては、会計士のようなもの、現実世界と相互作用する何かを求めていたからです。ゲームがどうやってそこにつながるのか理解できませんでした。たとえば OpenAI での私のプロジェクトは、Universe プロジェクトの範囲内で、キーボードとマウスを使ってウェブページを操作するエージェントに関するものでした。私は本当に、実際のデジタル世界と相互作用できて、知識労働を行える何かを作りたかったのです。

ところが、ふたを開けてみると、これはあまりにも早すぎる試みで、私たちが取り組むべきではないほど早すぎるものだったのです。というのも、ただ手探りでキーボードをたたきまくり、マウスをクリックしながら、こうした環境で報酬を得ようとしても、報酬があまりに疎で学習が進まないからです。莫大な計算資源を燃やしますが、決して成果は出ません。欠けていたのは、ニューラルネットワークにおける表現力でした。

たとえば今日では、人々はコンピュータ使用エージェントを訓練していますが、それは大規模言語モデルの上で行っています。まず言語モデルを手に入れなければならず、まず表現を手に入れなければならず、そのためには事前学習や LLM に関するあらゆる作業を通る必要があるのです。

私の感覚では、大ざっぱに言えば、人々は完全なものをあまりにも早く手に入れようとする試みを何度も繰り返してきた、ということです。人々はエージェントをあまりに早く追求しようとしていた、と言いたいですね。Atari も Universe も、そして私自身の経験でさえそうでした。実際にエージェントへ到達する前に、先にやるべきことがあったのです。今ではエージェントはずっと有能になりましたが、おそらく私たちはまだそのスタックの一部を欠いているのでしょう。

この3つが、人々が取り組んでいた主要なカテゴリだったと言いたいです。タスクごとにニューラルネットワークを訓練すること、第一ラウンドのエージェントを試すこと、そしてその後、LLM やそのほかあらゆるものを上に積み上げる前に、ニューラルネットワークの表現力を追求することです。

Dwarkesh Patel 00:07:02

興味深いですね。Sutton の見方をもう少し強く擁護してみると、人間は一度にすべてを受け入れられるじゃないですか。あるいは動物でさえ、一度にすべてを受け入れられます。むしろ動物のほうがより良い例かもしれません。言語という骨組みすらないのですから。ただ世界に放り込まれて、何のラベルもなく、すべてを理解しなければなりません。

だとすると、AGI のビジョンは、感覚データを見て、コンピュータ画面を見て、ゼロから何が起きているのかを把握することであるべきではないでしょうか。もし人間が似たような状況に置かれて、ゼロから訓練されるとしたら……それは人間が成長したり、動物が成長したりするのと同じです。何百万年もの訓練を行う代わりに、なぜそれが AI のビジョンになってはいけないのでしょうか。

Andrej Karpathy 00:07:41

本当に良い質問です。Sutton があなたのポッドキャストに出ていて、私もそのポッドキャストを見ましたし、私がどう考えているかについての文章も書きました。私は動物との類推をすることには非常に慎重です。というのも、動物はまったく異なる最適化プロセスを経てきたからです。動物は進化してきたのであり、膨大な量のハードウェアを内蔵した状態でやって来ます。

たとえば、私の文章での例はシマウマでした。シマウマは生まれて、数分後には走り回り、母親についていきます。これはものすごく複雑なことです。これは強化学習ではありません。組み込まれているのです。進化は明らかに、私たちのニューラルネットワークの重みを ATCG にエンコードする方法を持っていて、それがどう機能しているのか私は知りませんが、明らかに機能しているのです。

脳はまったく異なるプロセスから生まれてきたものであり、私はそこからインスピレーションを得ることには非常にためらいがあります。私たちは実際にはそのプロセスを実行していないからです。私の文章では、私たちは動物を作っているのではない、と書きました。私たちは幽霊や魂のようなものを作っているのです。人々が何と呼ぼうと、私たちは進化による訓練をしているわけではありません。私たちは人間を模倣し、彼らがインターネットに上げたデータを通じて訓練しているのです。

最終的には、こうした霊的な存在のようなものになるわけです。完全にデジタルで、人間を模倣しているのですから。別種の知能です。知能の空間を想像するなら、私たちはほとんど別の地点から出発しています。私たちは実際には動物を作っているのではありません。ただ、時間がたてば彼らをもう少し動物らしくしていくことは可能ですし、そうすべきだとも思います。

もう1つ付け加えると、Sutton は非常に……彼のフレームワークは「私たちは動物を作りたい」というものです。もしそれを機能させられるなら、私はそれは素晴らしいことだと思います。本当に驚異的でしょう。インターネット上で動かせる単一のアルゴリズムがあって、すべてを学習するとしたら、それは驚くべきことです。そういうものが存在するのか、私は確信が持てませんし、少なくとも動物がやっているのは間違いなくそれではありません。動物には進化という外側のループがあるからです。

学習のように見えることの多くは、学習というより脳の成熟に近いものです。私は、動物における強化学習は非常に少ないと思っています。強化学習の大半は、運動タスクのようなものです。知的タスクではありません。ですから実際のところ、人間は RL をほとんど使っていないと思います。大ざっぱに言えば、ですが。

Dwarkesh Patel 00:09:52

最後の文をもう一度言ってもらえますか。知能の多くの部分が運動タスクではない、というのは……何でしたっけ。

Andrej Karpathy 00:09:54

私の見方では、強化学習の多くは、もっと運動寄りのもの、たとえばバスケットボールのゴールにボールを投げ入れるような単純なタスクに向いています。でも、人間が問題解決のような多くの知的タスクで強化学習を使っているとは思いません。それは研究のためにそうしてはいけない、という意味ではありませんが、動物がやっているかどうかという点では、まさにそういうことだと思います。

Dwarkesh Patel 00:10:17

消化するのに少し時間がかかりますね。多くのアイデアが詰まっているので。あなたの見方を理解するために、はっきりさせる質問を1つさせてください。進化が事前学習と同じようなことをしている、とあなたは示唆しましたよね。つまり、世界を理解できる何かを構築するという意味で。

違いは、進化は人間の場合、3ギガバイトのDNAを通じて制御されなければならないということです。これはモデルの重みとは大きく異なります。文字どおりモデルの重みは脳そのものですが、これは精子や卵子の中には明らかに存在しません。したがって、成長しなければならないのです。また、脳のすべてのシナプスに関する情報は、DNAにある3ギガバイトの中に単純に収まりません。

進化は、生涯学習を行うアルゴリズムを見つけることにより近いように思えます。もちろん、生涯学習はあなたが指摘したようにRLと似ていないかもしれませんが。これはあなたのおっしゃったことと両立しますか、それとも同意されませんか？

Andrej Karpathy 00:11:17

そうだと思います。明らかに驚くべき圧縮が起きている、という点には同意します。神経ネットワークの重みがATCGに保存されているわけではないのは明らかですから。劇的な圧縮があります。オンラインで学習の一部を引き受ける学習アルゴリズムがエンコードされているのです。その点では確かに同意します。私はもっとずっと実用的なマインドだと言いたいです。私は動物を作ろうという観点では取り組んでいません。役に立つものを作ろうという観点で取り組んでいます。私は安全ヘルメットをかぶっていて、私たちが進化をやらないだろうと観察しているだけです。やり方が分からないので。

しかし、インターネット文書を模倣することによって、この幽霊のような、魂のような存在を作れることが分かりました。これは機能します。進化がしたこととある意味で似たように、多くの組み込みの知識と知能を持つ何かへとあなたを引き上げる、実用的に可能なバージョンです。だから私は事前学習をこの粗末な進化と呼んでいるのです。私たちの技術と、私たちが使えるもので実用的に可能なバージョンであり、強化学習のようなことができる出発点に到達するわけです。

Dwarkesh Patel 00:12:15

別の見方を擁護してみると、このSuttonインタビューをして、それについて考えたあと、彼にはここで重要なポイントがあると思うんです。進化は実際には私たちに知識を与えません。知識を見つけるアルゴリズムを与えるのです。そしてそれは事前学習とは違うように思えます。

おそらく見方としては、事前学習は、よりうまく学習できる種類の存在を構築するのに役立つ、ということです。メタ学習を教えるので、アルゴリズムを見つけることに似ています。でも、もし「進化は私たちに知識を与える、事前学習は私たちに知識を与える」と言うなら、その比喩は崩れてしまう気がします。

Andrej Karpathy 00:12:42

微妙なところで、あなたがそれに反論するのは正しいと思いますが、基本的に事前学習がしているのは、インターネットについての次トークン予測器を作り、それを神経ネットワークとして訓練することです。そこで無関係な二つのことをやっています。第一に、私が知識と呼ぶこのすべてを獲得しています。第二に、実際に知的にもなっています。

インターネット上のアルゴリズム的パターンを観察することで、神経ネットワーク内部にこうした小さな回路やアルゴリズムをすべて立ち上げて、インコンテキスト学習(in-context learning)のようなことを行います。知識は必要でもなければ、望ましいものでもありません。私の考えでは、それはおそらく全体として神経ネットワークの邪魔にさえなっているでしょう。ときに知識に頼りすぎるようにしてしまうからです。

たとえば、エージェントがうまくできないことの一つは、インターネット上に存在するデータのマニフォールドから外れることです。もし彼らの知識や記憶がもっと少なければ、おそらくより良かったでしょう。今後やるべきことだと思うのは、そしてこれは研究パラダイムの一部になるでしょうが、知識の一部を取り除きつつ、私が認知コア(cognitive core)と呼ぶものを維持する方法を見つけることです。それは知識から切り離された、この知的な存在ですが、アルゴリズムや知能や問題解決の魔法、そしてその戦略は含んでいます。

Dwarkesh Patel 00:13:50

そこにはとても興味深いことがたくさんありますね。インコンテキスト学習から始めましょう。これは明白な点ですが、明示的に言って熟考する価値があると思います。これらのモデルが最も知的に見える状況、つまり私が彼らと対話していて「うわ、本当に向こう側に何かがいて、私に応答しているんだ」と感じる瞬間、ミスをすると「ちょっと待って、それは間違った考え方だ。戻ろう」となる、そのすべてがコンテキスト内で起きています。そこが、目で見て分かる本物の知能がある場所です。

インコンテキスト学習のプロセスは、事前学習に対する勾配降下法によって発達します。自発的にインコンテキスト学習をメタ学習しているのですが、インコンテキスト学習そのものは勾配降下法ではありません。人間として、私たちの生涯にわたる知能が仕事をこなせる能力は進化によって条件づけられているけれど、私たちの生涯における学習そのものは別のプロセスを通じて起こるのと同じです。

Andrej Karpathy 00:14:42

完全には同意しませんが、あなたの考えを続けてみてください。

Dwarkesh Patel 00:14:44

ええと、その比喩がどう崩れるのかを理解したいんです。

Andrej Karpathy 00:14:48

インコンテキスト学習が勾配降下法をしていない、と言うのにはためらいがあります。明示的な勾配降下法をしていない、ということです。インコンテキスト学習はトークンウィンドウ内でのパターン補完です。インターネットには膨大な量のパターンがあることが分かっているからです。あなたの言うとおりです。モデルはパターンを補完することを学び、それは重みの中にあります。神経ネットワークの重みはパターンを見つけ、パターンを補完しようとします。神経ネットワーク内部で起きている適応があり、それは魔法のようで、インターネットからそのまま出てきます。パターンが多いからです。

インコンテキスト学習の背後にあるメカニズムを見る興味深い論文があることは言っておきます。インコンテキスト学習が神経ネットワークのレイヤー内部で小さな勾配降下法ループを実行している可能性があると思います。私が特に覚えている論文の一つでは、インコンテキスト学習を使って線形回帰を行っていました。神経ネットワークへの入力はXYペアです。XY、XY、XYが一直線上にある。次にXを与えるとYが期待されます。神経ネットワークはこのように訓練されると線形回帰を行います。

通常、線形回帰を実行するときは、XYを見て、誤差を見て、重みの勾配を計算し、何回か更新を行う小さな勾配降下法オプティマイザがあります。そのインコンテキスト学習アルゴリズムの重みを見ると、勾配降下法メカニズムとのいくつかの類似性が見つかったことが分かりました。実際、論文はもっと強い主張をしていたと思いますが、神経ネットワークの重みをハードコードして、アテンションや神経ネットワークのすべての内部を通じて勾配降下法を行うようにしていました。

それが私の唯一の反論です。インコンテキスト学習がどう動作しているのか、誰にも分かっていませんが、おそらく内部では少し奇妙な勾配降下法をやっているのでしょう。それはあり得ると思います。私はただ、あなたがインコンテキスト学習はそれをしていないと言った点に反論しているだけです。何をしているのかは誰にも分かりませんが、おそらくそれに似たことをしているのでしょう。でも私たちには分かりません。

Dwarkesh Patel 00:16:39

だとすると、もしインコンテキスト学習と事前学習の両方が勾配降下法に似たものを実装しているのなら、なぜインコンテキスト学習では、このような継続的学習や本物の知能のようなものに到達しているように感じられるのでしょうか？ 一方で、事前学習だけでは似たような感覚は得られませんよね。そう主張することはできます。

同じアルゴリズムだとしたら、何が違いになり得るのでしょうか。考え方の一つは、モデルが学習で受け取る情報あたり、どれだけ多くの情報を保存するかです。事前学習を見ると、たとえば Llama 3 は15兆トークンで訓練されたと考えています。70Bモデルを見ると、それは事前学習で見るトークンあたり0.07ビットに相当するはずです。モデルの重みにある情報を、読み込むトークンとの比較で見た場合です。一方で KVキャッシュ を見て、それがインコンテキスト学習で追加トークンごとにどれだけ増えるかを見ると、約320キロバイトです。つまり、トークンあたりにモデルが同化する情報量には3,500万倍の差があるわけです。これが関係しているのか気になります。

Andrej Karpathy 00:17:46

ある程度は同意します。私が一般にこれを表現するやり方は、ニューラルネットワークの訓練中に起きることはすべて、学習時に起きたことのぼんやりした記憶にすぎない、というものです。圧縮が劇的だからです。15兆トークンを持ってきて、それを数十億パラメータの最終的なニューラルネットワークに圧縮している。明らかに膨大な圧縮が起きています。だから私はそれを、インターネット文書のぼんやりした記憶と呼ぶのです。

一方で、ニューラルネットワークのコンテキストウィンドウで起きること、つまりすべてのトークンを入れてすべてのKVキャッシュ表現を構築することは、ニューラルネットワークが非常に直接的にアクセスできます。だから私は、KVキャッシュとテスト時に起きることを、作業記憶により近いものとして比較しています。コンテキストウィンドウ内にあるものはすべて、ニューラルネットワークが非常に直接的にアクセスできるからです。

LLMと人間のあいだには、いつもこうしたほとんど驚くべき類似点があります。私はそれらを驚くべきものだと思っています。というのも、私たちは人間の脳を直接作ろうとしているわけではないからです。単に、これが機能することを見つけてやっているだけです。でも私は、重みにあるものはすべて、1年前に読んだことのぼんやりした記憶のように感じます。テスト時にコンテキストとして与えるものはすべて、直接的な作業記憶の中にあります。これは、物事を考えるうえで非常に強力な比喩です。

たとえばLLMに、ある本について、その中で何が起きたのかを尋ねると、Nick Laneの本 のようなものでも、LLMはしばしばだいたい正しい答えを返してくれるでしょう。でも章全体を与えてから質問すると、ずっと良い結果が得られるはずです。なぜなら、それがいまやモデルの作業記憶にロードされているからです。だから、同意すると言うのに長い説明になりましたが、それが理由です。

Dwarkesh Patel 00:19:11

一歩引いて見ると、私たちがこうしたモデルで再現するのに最も失敗している人間の知能の部分は何ですか。

Andrej Karpathy 00:19:20

単純に、たくさんあります。だから一つの考え方としては、これが最善の考え方かは分かりませんが、私はほとんど――繰り返しますが、こういう比喩は不完全ですが――私たちがトランスフォーマー型ニューラルネットワークで偶然発見したものは、極めて強力で、非常に汎用的だと感じています。音声、動画、テキスト、何であれ、望むものに対してトランスフォーマーを訓練できるし、パターンを学習し、とても強力で、本当によく機能します。これは私には、ある種の皮質組織の一部を示しているように思えます。そう思えるのは、皮質が非常に可塑性が高いことで知られているからです。脳の一部をつなぎ替えることができるんです。視覚皮質を聴覚皮質につなぎ替える 少し不気味な実験 がありましたが、その動物はうまく学習しました。

だから私は、これは皮質組織（cortical tissue）だと思っています。ニューラルネットワーク内で推論や計画を行うとき、思考モデルのための推論トレースを行うとき、それは少し 前頭前野 に似ています。たぶんそれらは小さなチェックマークのようなものですが、それでも私は、まだ未踏の脳の部位や核がたくさんあると思っています。たとえば、モデルを強化学習で微調整するときに少し強化学習をしている 大脳基底核 があります。でも 海馬 はどこにあるのでしょうか。それが何に当たるのかは明確ではありません。いくつかの部分は、おそらく重要ではないでしょう。たとえば 小脳 は認知や思考に重要ではないので、たぶん一部は飛ばせるかもしれません。でもそれでも、たとえば 扁桃体 のように、あらゆる感情や本能を担う部分があると思います。おそらく、私たちが実際には再現していない、脳のもっと古い別の核がまだたくさんあるのでしょう。

私たちが人間の脳のアナロジーを作ることを目指すべきだとは思っていません。私は根本的には主にエンジニアです。たぶん質問に答える別の方法は、私はこれをインターンとして雇わない、ということです。まだ多くのものが欠けています。私たち全員がモデルと話すときに直感的に感じるような、多くの認知的欠陥もあります。だから、まだ完全にはそこに達していません。脳のすべての部位にまだチェックが付いたわけではない、と言えるでしょう。

Dwarkesh Patel 00:21:16

これは、問題がどれだけ早く解決されるかを考える質問にも関係しているかもしれません。ときどき人々は継続学習について、「ほら、この能力は簡単に再現できる。インコンテキスト学習が事前学習の結果として自発的に現れたように、より長い時間軸にわたる継続学習も、モデルが1回のセッションより長い時間軸で情報を記憶するようインセンティブを与えられれば、自発的に現れるだろう」と言います。だから、もしその外側のループの中に多くのセッションを含む外側ループのRLがあれば、自分自身を微調整したり外部メモリに書き込んだりするようなこの継続学習は、ただ自発的に現れるだろう、と。そういうことはもっともらしいと思いますか。私はそれがどれくらいもっともらしいのかについて事前の見立てがありません。どのくらいあり得るのでしょうか。

Andrej Karpathy 00:22:07

私はそれには完全には共感できません。これらのモデルは、起動時にウィンドウ内のトークン数が0のとき、常にいた場所から最初からやり直します。だから、その世界観の中でそれがどう見えるのか分かりません。人間との少しのアナロジーを作ると――これはかなり具体的で、考えるうえで興味深いと思うのですが――私が起きているとき、1日のあいだに起きる出来事のコンテキストウィンドウを構築しているように感じます。でも眠っているときには、何か魔法のようなことが起きて、そのコンテキストウィンドウは残っていないのだと思います。脳の重みに蒸留する何らかのプロセスがある。これは睡眠中に起きることで、そういう類のものです。

大規模言語モデルには、それに相当するものがありません。私にとっては、それが継続学習について語るときに欠けているものにより近いです。これらのモデルには、起きたことを取り込み、それを強迫的に分析し、それについて考え、少し合成データ生成のプロセスを行って、それを重みに戻して再蒸留するような蒸留段階が実際にはありません。そして、おそらく人ごとに固有のニューラルネットワークを持っているのでしょう。たぶん LoRA のようなものです。重み全体を持つニューラルネットワークではなく、変化する重みのごく小さな疎な部分集合にすぎないのです。

ただ、私たちは非常に長いコンテキストを持つこうした個体を作る方法を作りたいのです。コンテキストウィンドウが非常に、非常に長く伸びるので、コンテキストウィンドウ内にとどまるだけではありません。おそらく私たちは、それに対して非常に洗練された疎アテンションも持つことになるでしょう。でも私は、それでも人間には、その知識の一部を重みに蒸留する何らかのプロセスが明らかにあると思っています。私たちはそれを欠いています。さらに私は、人間は非常に洗練された疎アテンションの仕組みも持っていると思っていて、その初期のヒントを私たちは見始めているのだと思います。DeepSeek v3.2 がちょうど出て、彼らが 疎アテンション を持っているのを見ました。たとえば、これは非常に、非常に長いコンテキストウィンドウを持つための一つの方法です。だから私は、進化が非常に異なるプロセスを通じて考え出した多くの認知的トリックを、私たちがやり直しているように感じます。でも、私たちは認知的に似たアーキテクチャへと収束していくでしょう。

Dwarkesh Patel 00:24:02

10年後も、依然としてトランスフォーマーのようなものだと思いますか？ ただし、はるかに修正されたアテンションや、より疎なMLPなどを備えたもの、という意味で。

Andrej Karpathy 00:24:10

私の考え方は、時間的な並進不変性です。10年前、私たちはどこにいたでしょうか？ 2015年です。2015年には、主に畳み込みニューラルネットワークがあり、残差ネットワークが出たばかりでした。驚くほど似ていますが、それでもかなり違います。トランスフォーマーはまだありませんでしたし、トランスフォーマーに関するこうしたより現代的な調整もありませんでした。おそらく私たちが賭けられることの一つは、私の考えでは、並進等変性の観点から10年後も、依然として順伝播と逆伝播と勾配降下による更新によって巨大なニューラルネットワークを訓練しているだろう、ということです。ただし、おそらく見た目は少し違っていて、すべてがはるかに大きくなっているでしょう。

最近、私は数年前に1989年までさかのぼったのですが、私にとっては面白い演習でした。Yann LeCunの1989年の畳み込みネットワークを再現していたんです。それは、私の知る限り、勾配降下法で訓練された最初のニューラルネットワークでした。数字認識のための現代的なニューラルネットワークが、勾配降下法で訓練されていたわけです。私は、これをどう現代化できるかに興味がありました。このうちどれだけがアルゴリズムなのか？ どれだけがデータなのか？ この進歩のうちどれだけが計算資源やシステムによるものなのか？ 私はかなり短時間で、33年のタイムトラベルによって学習を半分にできました。

つまり、アルゴリズム面で33年分タイムトラベルすると、1989年にYann LeCunがやったことを調整して、誤差を半分にできたんです。でも、さらに大きな改善を得るには、はるかに多くのデータを追加する必要があり、訓練セットを10倍に増やし、より多くの計算最適化を加える必要がありました。ドロップアウトやほかの正則化技術を使って、ずっと長く訓練する必要もありました。

ですから、これらすべてが同時に改善される必要があります。おそらく私たちは、はるかに多くのデータを持ち、はるかに優れたハードウェアを持ち、そのハードウェアを動かし、ハードウェアから得られるものを最大化するための、はるかに優れたカーネルやソフトウェアを持ち、さらに優れたアルゴリズムも持つことになるでしょう。これらはすべて、そのどれか一つだけが大きく勝っているようには見えません。驚くほど均等なんです。これはしばらく続いている傾向です。

質問に答えるなら、10年後には今日起きていることとはアルゴリズム的に違っているだろうと予想します。ただ同時に、非常に長い間続いてきたもののいくつかは、おそらく依然としてそこにあるだろうとも思います。たぶん、相変わらず勾配降下法で訓練された巨大なニューラルネットワークでしょう。それが私の予想です。

Dwarkesh Patel 00:26:16

すべてを合わせても誤差を半分にしか減らせなかったというのは驚きです。30年の進歩で……半分は大きいのかもしれません。というのも、誤差を半分に減らすというのは、実際には……

Andrej Karpathy 00:26:30

半分は大きいです。でも、私にとって衝撃的だったのは、すべてが全体的に改善されなければならないということです。アーキテクチャ、オプティマイザ、損失関数。そして、それらはずっと全体的に改善され続けてきました。だから私は、それらすべての変化が今後も生き続け、健在であり続けるだろうと予想しています。

Dwarkesh Patel 00:26:43

ええ。nanochatについても、とても似た質問をしたいと思っていました。最近コードを書いたばかりなので、チャットボットを作るプロセスのあらゆる段階があなたのRAMに新鮮に残っているはずです。GPT-2からnanochatに至るまでで、「ああ、関係しているものは何一つ失われていなかったんだな」というような、似た感想を持ったのか気になります。その経験から得た驚くべき教訓は何でしたか？

Andrej Karpathy 00:27:08

nanochatを作ることについてですか？ nanochatは私が公開したリポジトリです。昨日でしたっけ、それとも一昨日でしたっけ？ 覚えていませんね。

Dwarkesh Patel 00:27:15

睡眠不足がどんな結果をもたらしたのかが分かる気がしますね……

Andrej Karpathy 00:27:18

最初から最後まで、ChatGPTクローンを作る全パイプラインを扱う、最もシンプルで完全なリポジトリにしようとしています。だから、個々のステップだけでなく、すべてのステップを含んでいて、その数はかなり多いです。私は過去に、個々のステップそれぞれについて取り組み、アルゴリズム的な意味で、シンプルなコードでどうやるかを示す小さなコード片を公開してきました。でも、これは全パイプラインを扱っています。学びという点では、そこから何かを新たに学んだとは必ずしも言えないと思います。どう作るかは、すでに頭の中にありました。これは単に機械的に作り、人々が学べて役に立つと思える程度に十分きれいに整えるプロセスだったんです。

Dwarkesh Patel 00:28:04

誰かがそれから学ぶ最良の方法は何でしょうか？ すべてのコードを削除して最初から再実装しようとすることですか、それとも変更を加えようとすることですか？

Andrej Karpathy 00:28:10

いい質問ですね。基本的には、最初から最後まで全パイプラインをたどる約8,000行のコードです。たぶん右のモニターに置くでしょう。モニターが2台あるなら、右側に置いてください。最初から作りたいなら、最初から始めることです。コピー＆ペーストは禁止で、参照は許可、でもコピー＆ペーストは禁止です。たぶん私ならそうします。

ただ、リポジトリ自体がかなり大きな怪物だとも思っています。このコードを書くとき、私は上から下へ進むのではなく、塊から始めてその塊を育てていくのですが、その情報はありません。どこから始めればいいのか分からないでしょう。だから必要なのは最終的なリポジトリだけではなく、リポジトリを作っていく過程なんです。それは複雑な塊の成長プロセスです。だからその部分はまだありません。たぶん今週後半に追加したいですね。動画か何かになるかもしれません。大まかには、それが私のやろうとしていることです。自分で作ること。ただし、コピー＆ペーストはさせないことです。

私は、知識にはほぼ2種類あると思っています。高レベルの表面的な知識がありますが、何かをゼロから作るときには、自分が理解していないもの、自分が理解していないとすら気づいていなかったものに直面することになります。

それは常に、より深い理解につながります。それが作ることの唯一の方法です。作れないなら、理解していないということです。それはFeynmanの引用だったと信じています。私はこれをいつも非常に強く信じてきました。きちんと整列していないこうした細かなものがあるのは、実際には知識を持っていないからです。知識を持っていると思い込んでいるだけなんです。だからブログ記事を書かないでください。スライドも作らないでください。そういうことはしないでください。コードを書き、整え、動くようにしてください。それが前に進む唯一の方法です。そうでなければ、知識が欠けているのです。

00:29:45 – LLM認知障害

Dwarkesh Patel 00:29:45

このリポジトリを組み立てるのに、コーディングモデルがほとんど役に立たなかったとツイートしていましたね。なぜそうだったのか気になります。

Andrej Karpathy 00:29:53

このリポジトリを1か月ちょっとかけて作ったと言っておきたいです。そして、現在人々がコードとやり取りする方法には、大きく3つの主要なクラスがあると言いたいですね。LLMを完全に拒否して、ただ最初から書く人たちがいます。これはおそらく、もはや正しいやり方ではありません。

中間の部分が私のいるところで、今でも多くのものをゼロから書いていますが、今はこれらのモデルによる実用的なオートコンプリートを使っています。小さな断片を書き始めると、自動で補完してくれて、Tabで先に進めます。ほとんどの場合は合っていますが、ときには間違っていて、その場合は編集します。とはいえ、依然としてあなたは自分が書いているものの設計者です。そして次にバイブコーディングがあります。「こんにちは、これかあれを実装して」と入力してEnterを押し、あとはモデルにやらせる。これがエージェントです。

私は、エージェントは非常に特定の設定で動作し、特定の設定で使うものだと感じています。ですが、これらはすべて使える道具であって、それぞれが何を得意とし、何を苦手とし、いつ使うべきかを学ばなければなりません。たとえばエージェントは、定型的な作業をするときにはかなり優秀です。単にコピー＆ペーストするような定型コード、そういうものにはとても向いています。インターネット上で非常によく出てくるものにも強いです。なぜなら、こうしたモデルの訓練セットにはその種の例が大量にあるからです。モデルが非常にうまくやれるものには、そうした特徴があります。

nanochatはそうした例ではない、と言いたいです。なぜなら、あれはかなり独特なリポジトリだからです。私が構造化したやり方のコードはそれほど多くありません。定型コードではありません。知的負荷の高いコードで、すべてが非常に正確に配置されていなければなりません。モデルには認知的な欠陥が多すぎます。一例を挙げると、私が採用していないインターネット上の一般的なやり方を大量に記憶しているので、コードをずっと誤解していました。たとえばモデルは——細部まで入りたいかはわかりませんが——私が一般的なコードを書いていると思い込み続けていましたが、実際はそうではありませんでした。

Dwarkesh Patel 00:31:49

たぶん何か一つ例を？

Andrej Karpathy 00:31:51

8個のGPUがあり、それぞれが順伝播と逆伝播を行っています。それらの間で勾配を同期する方法としては、PyTorchのDistributed Data Parallelコンテナを使うのが一般的で、逆伝播をしながら自動的に通信を始めて勾配を同期します。私はDDPを使いませんでした。使いたくなかったからです。必要ないので。私はそれを捨てて、オプティマイザのステップ内部に自前の同期ルーチンを書きました。モデルは私にDDPコンテナを使わせようとしてきました。かなり強くそうしてきました。これは技術的すぎる話ですが、私はそのコンテナを使っていません。必要ないし、それに近いものをカスタム実装しているからです。

Dwarkesh Patel 00:32:26

あなたが自前のものを持っていることを、彼らは内面化できなかったんですね。

Andrej Karpathy 00:32:28

そこを乗り越えられなかったんです。私のスタイルを壊そうとし続けました。過剰に防御的すぎるんです。あらゆる try-catch 文を作ります。プロダクションコードベースを作ろうとし続けるのですが、私のコードには多くの前提があり、それで問題ありません。そこにそうした余計なものは全部必要ありません。だから私は、彼らがコードベースを膨らませ、複雑さを膨らませ、ずっと誤解し続け、しかも何度も廃止されたAPIを使っていると感じます。完全に混乱しています。まったく純粋に役に立たない。入って整理することはできますが、それでも純粋には役に立ちません。

それに、自分が欲しいものを英語でタイプしなければならないのは面倒だとも感じます。タイピング量が多すぎるからです。欲しいコードの箇所に移動し、コードが現れるべき場所に行って、最初の数文字を入力し始めると、オートコンプリートが理解してコードを出してくれます。これは、欲しいものを指定する非常に高い情報帯域幅です。欲しいコードを指し示し、最初の数片を入力すると、モデルが補完するのです。

つまり、これらのモデルはスタックの特定の部分では優秀なんです。私がモデルを使った例が2つあって、典型例だと思います。1つはレポートを生成したときです。あれはより定型的だったので、一部は部分的にバイブコーディングしました。ミッションクリティカルではないので問題なく、うまく機能します。

もう1つは、トークナイザをRustで書き直したときです。私はRustがあまり得意ではありません。Rustはかなり新しいからです。なので、Rustのコードを書くときには少しバイブコーディングがありました。ただ、私は完全に理解しているPython実装を持っていて、より効率的なバージョンを作っていることを確認していましたし、テストもあったので、そういうことをするのはより安全だと感じました。彼らは、あなたがあまり慣れていない言語やパラダイムへのアクセス性を高めてくれます。そこでも非常に有用だと思います。Rustのコードはたくさんあるし、モデルもうまくやれます。私はそれについてあまり知らないので、そこでモデルはとても役に立ちます。

Dwarkesh Patel 00:34:23

この質問がとても興味深い理由は、人々がAIの爆発的進歩と超知能への非常に急速な到達について語る際の主要な物語が、AIがAIエンジニアリングとAI研究を自動化する、というものだからです。彼らはClaude Codeを見て、ゼロからアプリケーション全体、CRUDアプリケーションを作れる事実を見て、「もしOpenAIやDeepMindの内部で同じ能力を持っていたら、ちょっとしたアーキテクチャ調整を探す何千人ものあなた、あるいは100万人のあなたが並列にいるところを想像してみてくれ」と考えます。

まさにそこが非対称的にかなり弱いのだとあなたが言うのを聞くのは非常に興味深いです。AI 2027型の爆発が近いうちに起こりうるかを予測する上でも、かなり重要です。

Andrej Karpathy 00:35:05

それはうまい言い方ですね。そして、私のタイムラインが少し長めな理由もそこにあります。おっしゃる通りです。彼らは、これまでに書かれたことのないコードはあまり得意ではありません。たぶん、それが一つの表現の仕方でしょうし、私たちがこうしたモデルを作るときに達成しようとしていることでもあります。

Dwarkesh Patel 00:35:19

すごく素朴な質問ですが、nanochatに追加しているアーキテクチャ調整は、どこかの論文には載っていますよね？ あるいは、どこかのリポジトリにすらあるかもしれない。「RoPE埋め込みを追加して」と言ったら、彼らがそれを間違ったやり方でやるのは驚くべきことではないですか？

Andrej Karpathy 00:35:42

難しいんです。彼らは知ってはいるけれど、完全にはわかっていません。リポジトリと、あなたのスタイルと、あなたのコードと、あなたの環境、そしてあなたが行っているいくつかのカスタムなこと、それがリポジトリ内のあらゆる前提とどう噛み合うかに、完全に統合する方法を知らないのです。多少の知識は持っていますが、それを統合して理解できるところまでは到達していません。

多くのことは今も改善し続けています。現在私が使っている最先端モデルはGPT-5 Proで、非常に強力なモデルです。20分あるなら、リポジトリ全体をコピペして、GPT-5 Pro、つまりオラクルのところへ持っていって、いくつか質問します。しばしばそれほど悪くなく、1年前に存在していたものと比べれば驚くほど良くなっています。

全体として、モデルはまだそこには達していません。業界はあまりに大きな飛躍が起きていて、これがすごいことだと装おうとしているように感じますが、そうではありません。雑です。彼らはその現実に向き合っておらず、たぶん資金調達をしようとしているとか、そういうことなのかもしれません。何が起きているのかはわかりませんが、私たちはこの中間段階にいます。モデルは驚くべきものです。それでもまだ多くの作業が必要です。今のところ、オートコンプリートが私のスイートスポットです。ただし、ときには、ある種のコードについては、LLMエージェントを使います。

Dwarkesh Patel 00:36:53

これが本当に興味深いもう1つの理由があります。プログラミングの歴史を通じて、生産性向上は数多くありました——コンパイラ、リンティング、より良いプログラミング言語——それらはプログラマーの生産性を高めましたが、爆発にはつながりませんでした。今の話はTabによるオートコンプリートにとても近く聞こえますし、もう一方のカテゴリは単にプログラマーの自動化です。あなたが、より良いコンパイラやそうしたものの歴史的アナロジーの範疇で、より強く見ているというのは興味深いですね。

Andrej Karpathy 00:37:26

おそらく、これは別の一つの考え方につながります。私には、AIがどこで始まりどこで終わるのかを区別するのが難しいんです。というのも、私はAIを、根本的にはかなり本質的な意味でコンピューティングの拡張として見ているからです。私はこれを連続体として見ています。再帰的な自己改善や、プログラマーを加速するものの最初からの連続体です。コードエディタ、シンタックスハイライト、あるいは型チェック、データ型チェックのようなものまで含めて、私たちが互いのために作ってきたあらゆるツールです。

検索エンジンでさえそうです。なぜ検索エンジンはAIの一部ではないのでしょうか？ ランキングはAIです。ある時点では、Googleも創業初期には、自分たちをGoogle検索エンジンを作るAI企業だと考えていました。それは完全に妥当です。

私はそれを、他の人たちよりもずっと連続体として見ています。私にとっては、そこに線を引くのが難しい。今では、はるかに優れたオートコンプリートを手にしていますし、反復的な処理を行うエージェントのようなものも手にしていますが、ときには道を外れます。起きていることは、人間が低レベルなことを少しずつやらなくなっている、ということです。私たちはアセンブリコードを書きません。なぜならコンパイラがあるからです。コンパイラがCのような高水準言語を受け取り、アセンブリコードを書いてくれます。

私たちは非常に、非常にゆっくりと、自分たちを抽象化しているんです。私が「自律性スライダー」と呼んでいるものがあって、ますます多くのことが自動化されていきます――そして、いずれ自動化できることのうち、人間は少しずつやる量を減らし、自動化の上にある抽象化レイヤーへと自分たちを引き上げているのです。

00:40:05 – RLはひどい

Dwarkesh Patel 00:40:05

RLについて少し話しましょう。あなたはこれについてとても興味深いことをツイートしていました。概念的に、人間が環境と相互作用するだけで豊かな世界モデルを構築できるあり方を、どう考えればいいのでしょうか？ しかもそれは、エピソードの最後にある最終報酬とはほとんど無関係に見える形で起きています。

誰かが事業を始めて、10年後にその事業が成功したか失敗したかを知るとしたら、私たちはその人が多くの知恵と経験を得たと言います。しかしそれは、過去10年間に起きたあらゆる個別の出来事の対数確率が上方または下方に重み付けされたからではありません。もっと意図的で豊かな何かが起きているわけです。機械学習でのアナロジーは何で、今LLMでやっていることとどう比較できますか？

Andrej Karpathy 00:40:47

おそらく私の言い方をすると、人間は強化学習を使っていない、ということです。さっき言ったように。人間は別のことをしているのだと思います。強化学習は、平均的な人が思っているよりずっとひどい。強化学習はひどいんです。それが使われるようになったのは、それ以前に持っていたものがもっとずっと悪かったからにすぎません。以前はただ人間を模倣していただけで、だからこそいろいろな問題があったんです。

強化学習では、たとえば数学の問題を解くとしましょう。とても単純な例なので。数学の問題が与えられて、その解答を見つけようとする。強化学習では、まず並列にたくさんのことを試します。問題が与えられたら、何百通りもの異なる試行をする。これらの試行は複雑なものにもなりえます。「これを試してみよう、あれを試してみよう、これはうまくいかなかった、あれもうまくいかなかった」といった具合です。そしておそらく答えにたどり着く。そこで本の巻末を確認して、「よし、正解はこれだ」となる。この試行、あの試行、その試行は正解に到達したが、ほかの97個はそうではなかった、と分かります。文字通り、強化学習がやっているのは、うまくいったものへ行って、その過程で行われたあらゆる個々のこと、あらゆるトークンを「これをもっとやれ」という形で上方に重み付けすることなんです。

その問題点は、人々はあなたの推定量の分散が高いと言うでしょうが、単にノイズなんです。ノイズなんです。ほぼ正解に到達した解答のあらゆる小さな断片が、やるべき正しいことだったと仮定してしまう。でもそれは事実ではありません。正解にたどり着くまでに、間違った脇道に入っていたかもしれない。正解さえ得られれば、自分がやったあらゆる間違ったことまで「これをもっとやれ」として上方に重み付けされてしまう。ひどいでしょう。ノイズなんです。

こうした作業を全部やって、最後に得るのは「お、合ってた」という単一の数値です。それを基に、軌跡全体を上方または下方に重み付けする。私の好きな言い方をすると、ストローを通して教師信号を吸い上げているんです。1分間のロールアウトにもなりうるこの膨大な作業をしておいて、最終報酬信号からの監督ビットをストロー越しに吸い上げ、それを軌跡全体にブロードキャストして、その軌跡を上方または下方に重み付けするために使っている。ただただ愚かで狂っています。

人間は決してこんなことはしません。第一に、人間は決して何百ものロールアウトをしません。第二に、人が解答を見つけたときには、「よし、この部分はうまくやれたと思うし、この部分はあまりよくなかった。たぶんここはこうすべきだったし、あそこはああすべきだった」といった、かなり複雑なレビューのプロセスがあります。人は物事を考えるんです。現在のLLMにはこれをやるものがありません。それに相当するものがない。でも、この方向を試みる論文が出てきているのは見ています。なぜなら、それはこの分野の誰にとっても明白だからです。

最初の模倣学習は、ところで、極めて驚異的で、奇跡的で、驚くべきものでした。人間の模倣に対してファインチューニングできる、ということです。あれは驚異的でした。というのも、最初の時点で私たちが持っていたのはベースモデルだけだったからです。ベースモデルはオートコンプリートです。当時の私にはそれが明白ではなくて、私はそれを学ばなければなりませんでした。私の度肝を抜いた論文はInstructGPTでした。なぜなら、事前学習済みモデル、つまりオートコンプリートを、会話のように見えるテキストでファインチューニングすると、モデルは非常に素早く適応してとても会話的になり、しかも事前学習で得た知識をすべて保持する、ということを指摘していたからです。これは本当に衝撃でした。というのも、文体的な面で、あれほど素早く調整でき、そういう種類のデータに対して数回ファインチューニングを回すだけで、ユーザーにとってアシスタントになれるということを理解していなかったからです。それが機能すること自体が、私にはとても奇跡的でした。本当に驚くべきことでした。それが2〜3年の仕事だったわけです。

そして今、RLが来た。RLによって、単純な模倣学習より少しだけうまくできるようになります。なぜなら、こうした報酬関数を持つことができて、その報酬関数に対して山登り法を行えるからです。問題によっては、単に正解があり、専門家の軌跡を模倣しなくても、それに対して山登りできるものがあります。だからそれは素晴らしい。モデルは、人間なら決して思いつかないかもしれない解答を発見することもできます。これは素晴らしいことです。でも、それでもなお愚かなんです。

もっと必要です。昨日Googleから、この反省とレビューのアイデアを念頭に置こうとした論文を見ました。メモリバンクの論文だったでしょうか？ わかりません。そういう方向の論文をいくつか見ました。だから私は、LLMに対してアルゴリズムをどう作るかという大きなアップデートは、その領域から来るだろうと予想しています。あと3つか4つか5つくらい必要だと思います、そういうものが。

Dwarkesh Patel 00:44:54

あなたは印象的な言い回しを作るのが本当にうまいですね。「ストローを通して教師信号を吸い上げる」、すごく好きです。

結果ベースの報酬の問題は、巨大な軌跡があって、最後にあるその一つの最終ビットから、何をすべきかや世界について学ぶべきあらゆる可能なことを学ぼうとしている点にある、ということですね。これが明白であることを踏まえると、プロセスベースの監督が、代替案としてモデルをより有能にする成功した方法になっていないのはなぜですか？ この代替パラダイムの採用を妨げているものは何でしょうか？

Andrej Karpathy 00:45:29

プロセスベースの監督とは、単に最後の最後にしか報酬関数を持たないわけではない、ということです。10分間作業したあとで、うまくできたかどうかだけを告げるのではありません。各ステップごとに、どれだけうまく進んでいるかを伝えるわけです。私たちがそれを持っていないのは、きちんとやるのが厄介だからです。部分的な解答はあっても、どうクレジットを割り当てればいいのか分からないのです。正解が得られた場合、それは単なる答えとの等価性マッチです。実装はとても簡単です。プロセス監督をやるなら、部分点の割り当てを自動化可能な形でどう行うのでしょうか？ どうやるのか明確ではありません。

多くの研究所が、この種のLLMジャッジでそれをやろうとしています。LLMにそれをやらせようとしているのです。LLMにプロンプトを与えて、「ほら、この学生の部分的な解答を見て。答えがこれだとしたら、どれくらいうまくできていると思う？」と聞くわけです。そして彼らはそのプロンプトを調整しようとします。

これが厄介なのは、かなり微妙な問題だからです。報酬の割り当てにLLMを使うたびに、そのLLMは数十億のパラメータを持つ巨大なもので、攻略可能です。それに対して強化学習をしているなら、ほぼ確実にLLMジャッジに対する敵対的サンプルを見つけることになります。だから、これをあまり長くは続けられません。たぶん10ステップや20ステップなら機能するかもしれませんが、100や1,000は無理です。直感的には分かりにくいですが、要するにモデルは小さな亀裂を見つけるのです。巨大なモデルの隅々にあるこうした偽のパターンを見つけ出し、それをだます方法を発見します。

私の頭の中で際立っている一例があります。これはたぶん公開されていた話です。報酬のためにLLMジャッジを使っているとすると、学生から解答を受け取って、その学生がうまくできたかどうかを尋ねます。私たちはその報酬関数に対して強化学習で訓練していたのですが、最初は本当にうまく機能していました。ところが突然、報酬が極端に大きくなったのです。ものすごいジャンプで、完璧でした。それを見ると、「わあ、これは学生がこれらすべての問題を完璧に解けたという意味だ。数学を完全に解決したんだ」と思ってしまうわけです。

でも、モデルから得られている出力を見ると、まったくのでたらめなんです。最初はそれなりに始まるのに、そのあとで「dhdhdhdh」に変わってしまう。ただ「よし、2たす3を取ってこれをしてあれをして、それからdhdhdhdh」というだけです。それを見ていると、これはおかしい。どうして1、つまり100%の報酬を得ているんだ？となる。LLMジャッジを調べると、「dhdhdhdh」がそのモデルに対する敵対的サンプルになっていて、100%の確率を割り当てていることが分かるのです。

単に、これはLLMにとっての分布外サンプルだからです。訓練中にそんなものは見たことがなく、純粋な汎化領域にあるのです。訓練中に見たことがなく、純粋な汎化領域にいると、こういう壊し方をするサンプルを見つけられてしまうのです。

Dwarkesh Patel 00:47:52

要するに、LLMをプロンプトインジェクションに弱いモデルにしてしまうような訓練をしているわけですね。

Andrej Karpathy 00:47:56

それですらありません。プロンプトインジェクションというのは、むしろ凝りすぎた言い方です。彼らの言うところの敵対的サンプルを探しているんです。これは明らかに間違った、でたらめな解答なのに、モデルはそれを素晴らしいものだと思ってしまう。

Dwarkesh Patel 00:48:07

RLをもっと実用的にするボトルネックがそこにあるのだとすれば、自動化された形でやるにはLLMをより優れたジャッジにする必要がありますよね。モデルをより頑健にするために、GANのようなアプローチを取る必要があるのでしょうか？

Andrej Karpathy 00:48:22

研究所はたぶん、その手のことは全部やっているでしょう。明らかなのは、「dhdhdhdh」が100%の報酬を受け取ってはいけない、ということです。では「dhdhdhdh」を持ってきて、LLMジャッジの訓練セットに入れ、これは100%ではなく0%だと言う。そういうことはできます。でも、それをやるたびに新しいLLMができて、それでもなお敵対的サンプルは残っています。敵対的サンプルは無限にあるからです。

たぶんこれを何度か繰り返せば、敵対的サンプルを見つけるのはだんだん難しくなるでしょう。でも、私は100%の確信は持てません。なぜなら、これは1兆個のパラメータとか、そういう規模のものだからです。研究所が試していることは間違いないと思います。それでも、別のアイデアが必要だと思います。

Dwarkesh Patel 00:48:57

興味深いですね。別のアイデアとは、どんな形になり得ると考えていますか？

Andrej Karpathy 00:49:02

解答をレビューして合成サンプルを含める、というアイデアがあります。そうしたものについて訓練すると改善し、ある意味でメタ学習するわけです。出始めている論文はいくつかあると思います。私はまだアブストラクトだけ読んでいる段階です。というのも、こうした論文の多くはまだ単なるアイデアだからです。誰かがそれをフロンティアLLM研究所の規模で、完全な一般性を持って機能させなければなりません。こうした論文を見ると、出てきてはいるものの、少しノイジーなんです。クールなアイデアではありますが、これが可能だと説得力をもって示した人はまだ見たことがありません。とはいえ、LLM研究所はかなり閉鎖的なので、彼らが今何をやっているのか誰にも分からないのですが。

00:49:38 – 人間はどのように学習するのか？

Dwarkesh Patel 00:49:38

合成サンプルや、自分で作った合成問題について訓練できる方法は概念化できます。でも、人間には別のことも起きている気がします。たとえば睡眠がそれかもしれないし、白昼夢がそれかもしれない。必ずしも偽の問題を作り出しているわけではなく、ただ内省しているのです。

白昼夢や睡眠、あるいは単なる内省に対するML的なアナロジーが何なのか、私にはよく分かりません。私は新しい問題を作っているわけではありません。もちろん、とても初歩的なアナロジーとしては、内省ビットについてファインチューニングすることになるのでしょうが、実際にはそれほどうまくはいかない気がします。これに対応するアナロジーが何なのか、何か考えはありますか？

Andrej Karpathy 00:50:17

私たちはそこで何らかの側面を見落としているのだと思います。たとえば、本を読むことを見てみましょう。現在、LLMが本を読むというのは、テキストのシーケンスを展開し、モデルが次のトークンを予測し、そこから何らかの知識を得る、という意味です。でも、それは実際には人間がしていることではありません。本を読んでいるとき、それが注意を向けて訓練すべき説明文だとは感じません。本というのは、合成データ生成を行うためのプロンプトの集合だったり、あるいは読書会に行って友人たちとその本について話すためのものだったりするわけです。そうやって情報を操作することで、実際にその知識を得ているのです。LLMにはそれに相当するものがありません。彼らは実際にはそれをしていません。事前学習のあいだに、素材について考え、それをすでに知っていることと整合させようとするような段階があってほしいし、そのことについてしばらく考えて、それを機能させる時間が必要です。こうしたことには、どれにも相当物がありません。これはすべて研究領域です。

なぜそれが自明でないのかについては、とても微妙で——私の考えでは理解するのが非常に難しい——理由があります。その一つを説明すると、なぜ合成的に生成して、それについて訓練できないのか、という話です。モデルに本について考えた合成生成を与えると、それを見て「これはすごく良さそうだ。なぜこれについて訓練できないんだろう？」と思います。試すことはできますが、やり続けるとモデルはどんどん悪くなっていきます。なぜなら、モデルから得られるサンプルはすべて静かに崩壊しているからです。静かに——個々のサンプルを見ても明白ではありません——それらは可能な思考空間のごく小さな多様体しか占めていません。LLMは出力されるとき、私たちが「崩壊した」と呼ぶ状態になっています。崩壊したデータ分布を持っているのです。それを簡単に確かめる方法の一つは、ChatGPTに行って「ジョークを言って」と頼むことです。3つくらいのジョークしか持っていません。可能なジョークの全幅を出してくれるわけではないのです。知っているジョークが3つあって、それらは静かに崩壊しています。

これらのモデルからは、人間から得られるような豊かさや多様性、エントロピーが得られていません。人間のほうがはるかにノイズは多いですが、少なくとも統計的な意味では偏っていません。静かに崩壊してはいません。膨大な量のエントロピーを維持しています。では、崩壊にもかかわらず合成データ生成を機能させつつ、どうやってエントロピーを維持するのか。それは研究課題です。

Dwarkesh Patel 00:52:20

きちんと理解できているか確認したいのですが、崩壊が合成データ生成に関係するのは、既存のデータ分布にはないような合成的な問題や内省を生み出せるようにしたいから、ということですか？

Andrej Karpathy 00:52:32

つまり、本のある章があって、それについて考えてくれとLLMに頼むと、非常にもっともらしく見える何かを返してくるでしょう。でも10回聞けば、全部同じだと気づくはずです。

Dwarkesh Patel 00:52:44

同じ量のプロンプト情報に対して「内省」をひたすらスケールさせて、そこからリターンを得続けることはできない、ということですね。

Andrej Karpathy 00:52:54

個々のサンプルは問題なさそうに見えますが、その分布はかなりひどいんです。自分自身の出力で訓練し続けると、実際に崩壊してしまうという意味で、かなりひどい。

これには根本的な解決策が存在しない可能性もあると思っています。そして人間もまた、時間とともに崩壊していくと思うんです。こういう類推は驚くほどよく当てはまります。人間は人生のあいだに崩壊していく。だから子どもは、まだ過学習していないんです。子どもたちは、あなたをハッとさせるようなことを言うことがあります。どこから出てきたのかはわかるけれど、それは単に人々がいつも言っていることではないからです。まだ崩壊していないからです。でも私たちは崩壊しています。同じ考えを何度も訪れるようになる。ますます同じことを言うようになり、学習率は下がり、崩壊はさらに悪化し、そしてすべてが悪くなっていく。

Dwarkesh Patel 00:53:39

夢がこの種の過学習や崩壊を防ぐ方法だというとても興味深い論文を見たことはありますか？ 夢が進化的に適応的である理由は、日常の現実とは大きく異なる奇妙な状況にあなたを置くからで、こうした過学習を防ぐためだ、という話です。

Andrej Karpathy 00:53:55

面白いアイデアですね。頭の中で何かを生成し、それに注意を向けるとき、自分の合成データで訓練しているのだと思います。それを長くやりすぎると、軌道を外れて、崩壊しすぎてしまう。だから人生では常にエントロピーを探さないといけない。他人と話すことは素晴らしいエントロピー源ですし、そういうものです。だからおそらく脳も、その過程でエントロピーの量を増やすための内部メカニズムを作り上げてきたのでしょう。興味深いアイデアです。

Dwarkesh Patel 00:54:25

これはまだまったく整理できていない考えなので、ただ言って反応をもらいたいだけなのですが。私たちが知る限り最高の学習者である子どもたちは、情報を思い出すのがものすごく苦手です。実際、幼少期のごく早い段階では、すべてを忘れてしまうでしょう。ある年齢以前に起きたことについては、ただの健忘状態です。でも、新しい言語を獲得したり、世界から学んだりすることにはものすごく長けています。おそらく、木ではなく森を見ることができるようにする要素があるのかもしれません。

一方でスペクトラムの反対側を見ると、LLMの事前学習があります。これらのモデルは文字通りWikipediaのページで次に来るものを単語単位で繰り返せるかもしれない。でも、子どもができるような形で抽象概念を本当に素早く学ぶ能力は、ずっと限定的です。そして大人はその中間のどこかにいて、幼少期の学習の柔軟性はないけれど、子どもにはもっと難しいやり方で事実や情報を暗記できます。そのスペクトラムには何か興味深いものがあるのかもしれないと思うんです。

Andrej Karpathy 00:55:19

そこにはとても興味深い何かがあると思います、間違いなく。人間はLLMと比べて、木ではなく森を見る要素をはるかに多く持っていると思います。私たちは実際、暗記がそれほど得意ではなくて、それはむしろ特徴なんです。暗記が得意でないからこそ、より一般的な意味でパターンを見つけるよう強いられるわけです。

LLMはそれに比べて暗記が極端に得意です。こうした訓練ソースから文章をそのまま暗唱してしまうでしょう。完全に意味のないデータだって与えられます。何らかの量のテキストをハッシュ化するとかして、完全にランダムなシーケンスを得ることもできます。それで訓練すれば、1回か2回の反復だけで、突然それ全体を繰り返せるようになる。暗記してしまうんです。人間がランダムな数字列を一度読んで、それをあなたに暗唱できるようになるなんてありえません。

それはバグではなく特徴です。なぜなら、一般化可能な構成要素だけを学ぶことを強いられるからです。一方のLLMは、事前学習文書のあらゆる記憶のせいで気が散らされていて、ある意味ではそれがかなり大きなノイズになっているのでしょう。だから私が認知コアについて話すとき、私たちが話していたその記憶を取り除きたいんです。記憶はもっと少なくして、必要なときには調べるようにし、思考のためのアルゴリズムや実験のアイデア、そして行動のためのあらゆる認知的な接着剤だけを保持していてほしい。

Dwarkesh Patel 00:56:36

これはモデル崩壊を防ぐことにも関係しているんですか？

Andrej Karpathy 00:56:41

考えてみます。はっきりとはわかりません。ほとんど別の軸の話のように思えます。モデルは暗記がうますぎるので、何とかしてそれを取り除く必要がある。人間はそれがずっと苦手ですが、それは良いことなんです。

Dwarkesh Patel 00:56:57

モデル崩壊に対する解決策は何ですか？ 試せる非常にナイーブなものはいろいろありますよね。ロジットの分布をもっと広くすべきだとか、そういうものです。試せるナイーブなことはたくさんある。そのナイーブなアプローチの問題は、結局のところ何なんでしょう？

Andrej Karpathy 00:57:11

いい質問です。エントロピーに対する正則化を入れることは想像できますし、そういうことですね。ただ、それらは経験的にはあまりうまく機能していないようです。なぜなら、今のモデルは崩壊しているからです。でも、私たちがモデルに望んでいる作業の大半は、実際には多様性を必要としていないとも言えるでしょう。おそらくそれが、何が起きているのかに対する答えです。

フロンティア研究所はモデルを有用にしようとしています。出力の多様性はそれほど……第一に、それを扱ったり評価したりするのがずっと難しいというのもありますが、おそらく価値の大部分を捉えているわけでもないのでしょう。

Dwarkesh Patel 00:57:42

実際、それは積極的にペナルティを受けますよね。RLであまりに創造的だと、よくない。

Andrej Karpathy 00:57:48

ええ。あるいは、もしLLMの文章作成支援をたくさん受けているなら、それはたぶんよくないでしょう。なぜなら、モデルは静かにみんなに同じものを返してくるからです。質問に答えるためのいろいろな方法を探ろうとはしない。

おそらくこの多様性は、多くのアプリケーションがそれを必要としていないから、モデルに備わっていないんです。でも合成データ生成の段階などでは問題になります。だから私たちは、モデルの中にあるこのエントロピーを維持させないことで、自分で自分の足を撃っているのかもしれません。おそらく研究所はもっと真剣に取り組むべきです。

Dwarkesh Patel 00:58:17

それは非常に根本的な問題で、簡単には解決できないものだと示唆していたように思うのですが。その点についてのあなたの直感は何ですか？

Andrej Karpathy 00:58:24

それが非常に根本的だとは確信していません。そう言うつもりだったのかもよくわかりません。こういう実験はしていませんが、たぶんエントロピーをもっと高く正則化できるとは思います。つまり、モデルがますます多くの答えを出すように促しつつ、訓練データからあまりに逸脱するのは望まない。そうすると独自の言語を作り始めてしまうでしょう。極端にまれな単語を使い始めて、分布からあまりにも流れ出てしまうはずです。

だから分布を制御するのは、単純にかなり厄介なんだと思います。そういう意味では、些細な問題ではないでしょう。

Dwarkesh Patel 00:58:58

推測するとして、最適な知能のコアは何ビットくらいであるべきでしょうか？ フォン・ノイマン探査機に載せるとしたら、どれくらいの大きさになるのでしょう？

Andrej Karpathy 00:59:10

この分野の歴史を見ると本当に興味深いのですが、というのも、ある時点ではすべてがスケーリング中毒のような状態だったからです。"ああ、もっとずっと大きなモデルを作るんだ、兆単位パラメータのモデルを。" モデルは一度サイズが大きくなりましたが、今は逆に小さくなっています。最先端のモデルはより小さいです。それでも、彼らはあまりに多くを記憶しすぎていると思います。だから私は少し前に予測したのですが、10億パラメータ程度でも非常に優れた認知コアが得られると感じています。

10億パラメータのモデルと会話するなら、20年後には非常に生産的な対話ができると思います。考えることができて、人間にもずっと近い。でも事実に関する質問をしたら、調べる必要があるかもしれないし、自分が知らないことを知っていて、調べる必要があることも分かっていて、そうした理にかなったことは全部できるでしょう。

Dwarkesh Patel 00:59:54

10億パラメータが必要だと考えているのは意外です。というのも、すでに10億パラメータや数十億パラメータのモデルがあって、それらは非常に知的だからです。

Andrej Karpathy 01:00:02

うーん、最先端モデルは兆単位パラメータ級だと思います。でも彼らはあまりに多くのことを覚えすぎています。

Dwarkesh Patel 01:00:06

ええ、でも10年後の進歩のスピードを考えると意外です……。gpt-oss-20bがありますよね。あれは、もともと兆単位以上のパラメータだったGPT-4よりもずっと優れています。そのトレンドを考えると、10年後でも認知コアがまだ10億パラメータだと考えているのは意外です。私はあなたが"ああ、それは数千万とか数百万になるだろう"と言うのかと思っていました。

Andrej Karpathy 01:00:30

ここに問題があります。訓練データはインターネットですが、それが本当にひどいんです。インターネットがひどいからこそ得られる大きな利得がある。インターネットと聞いてあなたや私が思い浮かべるのは、ウォール・ストリート・ジャーナルのようなものかもしれません。でも実際はそうではないんです。フロンティア研究所で事前学習データセットを見て、ランダムなインターネット文書を見ると、完全にゴミです。これがどうやって機能しているのかまったく分からないくらいです。株式ティッカーや記号のようなもの、インターネットのあらゆる片隅から集まった膨大な量のスロップとゴミです。ウォール・ストリート・ジャーナルの記事のようなものではなくて、そういうのは極めてまれです。だからインターネットがあまりにひどいので、それをすべて圧縮するために本当に大きなモデルを作らなければならない。その圧縮の大半は、認知の仕事ではなく記憶の仕事なんです。

でも私たちが本当に欲しいのは認知の部分であって、記憶を削ぎ落とすことです。つまり、事前学習セットを精製して認知的な構成要素だけに絞り込むのを助けるために、知的なモデルが必要だということです。そうなればデータセットはずっと良くなり、それについて訓練できるので、もっとずっと小さなモデルで実現できると思います。ただ、おそらくそれに直接訓練されるわけではなく、やはりはるかに優れたモデルから蒸留されるのだと思います。

Dwarkesh Patel 01:01:35

でも、蒸留版がなぜそれでも10億なんですか？

Andrej Karpathy 01:01:39

私は単に、蒸留がものすごくうまく機能すると感じているんです。だからほとんどすべての小型モデルは、小型モデルであるなら、ほぼ確実に蒸留されています。

Dwarkesh Patel 01:01:46

そうですね。でも、10年後の蒸留がなぜ10億未満まで下がらないんですか？

Andrej Karpathy 01:01:50

ああ、あなたは10億より小さくあるべきだと思うんですね？ つまり、そうかもしれませんよね。分かりません。ある時点で面白いことをするには、少なくとも10億個のノブが必要なんじゃないでしょうか。あなたはもっと小さいべきだと思いますか？

Dwarkesh Patel 01:02:01

はい。この数年の、取りやすい果実を拾っていくように、兆単位以上のモデルから、文字どおり2倍小さいモデルへ、それでいて2年で性能は向上しているというトレンドを見ると、知能のコアはもっと、もっと小さいかもしれないと思わされます。ファインマンの言葉を借りれば、底にはまだ十分な空間があります。

Andrej Karpathy 01:02:22

私は10億パラメータの認知コアについて話しているだけでも、すでに主流から外れていると感じているのに、あなたはさらに先を行っていますね。たぶんもう少し小さくなるかもしれません。実際、モデルにはある程度の知識を持っていてほしいと思っています。何でもかんでも調べるようにはしたくない。そうなると頭の中で考えられなくなるからです。常にあまりに多くのことを調べていることになる。知識のための基本的なカリキュラムのようなものは必要ですが、難解な知識を持っている必要はありません。

Dwarkesh Patel 01:02:48

私たちは認知コアがどれくらいになり得るかを議論していますよね。一方で、フロンティアモデルのサイズが時間とともにどうなるかという別の問いもあります。GPT 4.5まではスケールが増大していて、今は縮小または停滞しているように見えます。これにはいろいろな理由があるのかもしれません。今後について何か予測はありますか？ 最大のモデルはさらに大きくなるのか、小さくなるのか、同じくらいなのか。

Andrej Karpathy 01:03:14

とても強い予測はありません。研究所は単に実務的なんです。FLOP予算とコスト予算があります。そして、事前学習はFLOPやコストの大半を投入したい場所ではないことが分かってきました。それがモデルが小さくなった理由です。少しだけ小さくなっていて、事前学習段階は小さいのですが、そのぶんを強化学習や中間訓練、そしてそれに続くさまざまな工程で補っている。彼らはただ、各段階でどうすれば最大の効果を得られるかという点で実務的なんです。

そのトレンドを予測するのはかなり難しいです。私はまだ、取りやすい果実がたくさん残っていると予想しています。それが私の基本的な見立てです。この点については、かなり幅広い分布を持っています。

Dwarkesh Patel 01:03:51

その取りやすい果実というのは、この2～5年で起きていたことと似た種類のものだと予想していますか？ nanochat と nanoGPT、そしてあなたが行ったアーキテクチャ調整を見ると、それが今後も続くと見ている改善の方向性ですか？ 巨大なパラダイムシフトは予想していないと。

Andrej Karpathy 01:04:11

大部分は、はい。データセットはもっと、もっと良くなると予想しています。平均的なデータセットを見ると、ものすごくひどいです。ひどすぎて、どうして何かが機能しているのかまったく分からないくらいです。訓練セットの平均的なサンプルを見てください。事実誤認、エラー、ナンセンス。どういうわけか、スケールを大きくするとノイズが洗い流されて、一部のシグナルだけが残る。データセットは劇的に改善されるでしょう。

すべてが良くなります。私たちのハードウェア、ハードウェアを動かし、そこから得られるものを最大化するためのあらゆるカーネル。Nvidiaはゆっくりとハードウェア自体を調整していて、Tensor Coreもそうですが、そうしたことはすべて必要であり、今後も続いていくでしょう。あらゆるカーネルが改善され、チップを限界まで活用するようになる。あらゆるアルゴリズムも、最適化、アーキテクチャ、そしてすべてがどう構成されているか、私たちが訓練しているアルゴリズムが何であるかという、あらゆるモデリング要素において改善されるでしょう。何か一つが支配的になるとは思っていません。全部がプラス20%。だいたい私にはそう見えています。

01:06:25 – AGIは2%のGDP成長に含まれるでしょう。

Dwarkesh Patel 01:06:25

人々は、完全なAGIに向けて私たちがどれほど進歩したかをグラフ化するさまざまな方法を提案してきました。何らかの線を引けるなら、その線がAGIと交差する地点、そしてそれがx軸上のどこで起きるのかを見ることができます。人々はそれが教育水準だと提案しました。私たちは高校生レベルに到達し、その後RLで大学レベルに進み、やがて博士号を取るだろう、というわけです。

Andrej Karpathy 01:06:44

私はそれは好きではありません。

Dwarkesh Patel 01:06:45

あるいは彼らは地平線長を提案するでしょう。おそらく今は1分で終わる作業を自律的にこなせる。そして次に、人間なら1時間かかる作業、人間なら1週間かかる作業を自律的にこなせるようになる。ここで、関連するy軸についてどう考えますか？ AIがどのように進歩しているかについて、どう捉えるべきでしょうか？

Andrej Karpathy 01:07:05

それには2つの答えがあります。第一に、私はほとんどその問い自体を退けたいです。というのも、私はこれをコンピューティングの拡張として見ているからです。私たちはコンピューティングの進歩をどうグラフ化するかについて話してきたでしょうか、あるいは1970年代以降のコンピューティングの進歩をどうグラフ化するかについて？ そのときy軸は何ですか？ その観点からすると、問い全体に少し滑稽なところがあります。

人々がAIや元来のAGI、そしてOpenAIが始まった当時に私たちがそれについてどう語っていたかを話すとき、AGIとは、人間の水準、あるいはそれを超える水準で、経済的価値のあるあらゆる仕事をこなせるシステムのことでした。それが定義でした。私は当時その定義にかなり満足していましたし、ずっとその定義を守ってきました。その後、人々はありとあらゆる別の定義を作り出しました。でも私はその定義が好きです。

人々がいつも行う最初の譲歩は、物理的なものを全部除外してしまうことです。なぜなら、私たちは単にデジタルな知識労働について話しているだけだからです。これは元の定義に比べるとかなり大きな譲歩です。元の定義は、人間ができるあらゆる仕事でした。私は物を持ち上げられますし、その他いろいろできます。AIにはそれができません。明らかです。でも、それは受け入れましょう。「ああ、知識労働だけだ」と言うことで、経済のどれだけの部分を除外しているのでしょうか。数字は分かりません。感覚的には、もし推測するなら、知識労働だけ、つまり誰かが家で働いて仕事をこなせるようなものは、およそ10%から20%くらいだと思います。それでも本当に大きな市場です。経済の規模がどれほどで、その10%や20%が何を意味するのか？ それでもなお、米国だけでも数兆ドル規模の市場シェアや仕事について話していることになります。だから依然として非常に巨大なカテゴリーです。

定義に戻ると、私が見たいのは、その定義がどれほど現実になっているかです。仕事はあるのか、あるいは多数のタスクはあるのか。仕事ではなくタスクとして考えるなら。難しいです。なぜなら問題は、社会が自動化可能なものとそうでないものに基づいて、仕事を構成するタスクを再編成していくからです。今日、AIで代替可能な仕事とは何でしょうか？ 最近の良い例はGeoff Hintonの予測です。放射線科医はもはや職業として成り立たなくなる、というものでしたが、これは多くの点で大きく外れたことが判明しました。 放射線科医は健在ですし、成長すらしています。コンピュータビジョンが、画像の中で彼らが認識しなければならないさまざまなものを認識するのが本当に、本当に得意であるにもかかわらずです。それは単に、患者対応や、それらすべての文脈の中で多くの側面を持つ複雑な仕事だからです。

その定義では、AIがまだ大きな影響を与えたとは思いません。私が見ている仕事の中には、他のものよりも早く自動化に非常に適するような特徴を持つものがあります。たとえば、コールセンターの担当者がよく挙げられますが、私はそれは正しいと思います。コールセンター担当者には、今日自動化可能なものに関して多くの単純化要因があります。彼らの仕事はかなり単純です。タスクのシーケンスであり、どのタスクも似たような形をしています。人と電話で話し、10分間のやり取りをする、あるいは何であれ、たぶんもう少し長いでしょう。私の経験では、ずっと長いですが。何らかのシステムで作業を完了し、いくつかのデータベース項目を変更したり、そういうことをします。つまり、同じようなことを何度も繰り返し、それがあなたの仕事なのです。

タスクの地平線――作業を完了するのにどれくらい時間がかかるか――を持ち込みたいです。そして次に、文脈を取り除きたい。会社のサービスや他の顧客の別の部分を扱っているわけではない。ただデータベースと、あなたと、あなたが対応している相手がいるだけです。より閉じていて、より理解しやすく、純粋にデジタルです。だから私はそういうものを探すでしょう。

しかし、そこでもなお、私はまだ完全自動化を探しているわけではありません。自律性のスライダーを見ています。人をただちに置き換えることになるとは予想していません。業務量の80%をこなすAIが置き換わるのです。彼らは残り20%を人間に委ね、人間は、より定型的なコールセンター業務を行う5つのAIチームを監督する。私は、こうしたAIの一部を管理できるようにする階層を提供する新しいインターフェースや新しい会社を探すでしょう。そうしたものはまだ完璧ではありません。そして、そのようなことが経済全体で起こると予想します。多くの仕事は、コールセンター担当者よりはるかに難しいです。

Dwarkesh Patel 01:11:02

放射線科医についてですが、私は完全に推測で話していて、放射線科医の実際のワークフローに何が含まれているのか全く知りません。ただ、当てはまるかもしれない1つの類推は、Waymoが最初に展開されたとき、前席に人が座っていて、本当に何かがまずければそこにいる必要があった、ということです。今でも、人々は物事がうまく進んでいるか確認するために見守っています。配備されたばかりのロボタクシーにも、なお人が乗っています。

さて、仕事の99%を自動化したとしても、人間が担わなければならない最後の1%が、それ以外のすべてのボトルネックになるため、非常に高い価値を持つという似た状況がありえます。放射線科医の場合で言えば、Waymoの前に座っている人が、その最後の1%を担うために何年も特別な訓練を受けなければならないなら、その賃金は大幅に上がるはずです。なぜなら、広範な展開をボトルネックしている唯一の要因だからです。放射線科医についても、私の考えでは、似たような理由で彼らの賃金は上がりました。もしあなたが最後のボトルネックで、代替不可能なら、そうなるわけです。Waymoのドライバーは他の人と代替可能かもしれません。だから、99%に達するまで賃金が上がり、その後最後の1%が消えれば、一気に下がる、そういうものが見られるかもしれません。そして、放射線科やコールセンター担当者の給与などで、そうした類似の動きが見えているのか気になります。

Andrej Karpathy 01:12:17

興味深い質問です。放射線科で今それが起きているとは思いません。放射線科は良い例だとは思いません。Geoff Hintonがなぜ放射線科を選んだのか分かりません。というのも、あれは極めて複雑な職業だと思うからです。

たとえば、私は今日コールセンター担当者に何が起きているのかのほうに、はるかに関心があります。なぜなら、定型的な部分の多くは今日でも自動化可能だと予想するからです。それについて一次情報は持っていませんが、コールセンター担当者に何が起きているのかというトレンドを探すでしょう。また、私が予想することの一部として、彼らがおそらくAIに置き換えているのだとしても、それでもなお私は1年か2年は待つでしょう。なぜなら、彼らが撤回して一部の人を再雇用する可能性もあると見ているからです。

Dwarkesh Patel 01:13:00

AIを導入してきた企業では、一般論として、それはすでに起きているという証拠がありました。私にはかなり驚くべきことだと思います。

そして、私が本当に意外だと感じたこともありました。AGI、ですよね？ すべてをやるはずです。物理的作業は除くとしても、あらゆる知識労働をこなせるはずです。素朴に予想していたのは、この進行が起きるやり方として、コンサルタントがやっている小さなタスクを取り出して、そのカテゴリーから除外することでした。会計士がやっている小さなタスクを取り出して、そのカテゴリーから除外する。そして次に、あらゆる知識労働にわたってそれをやっていく、というものです。

しかし一方で、現在のパラダイムのままでAGIへ向かう道にあると信じるなら、進展はまったくそうは見えません。コンサルタントや会計士がものすごい生産性向上を得ているようには見えません。プログラマーが自分たちの仕事の中で少しずつ削られていくのと非常によく似ています。これらの企業の収益を見ると、一般的なチャット収益を割り引けば――それは Google のようなものに近いですが――API収益だけを見ると、コーディングが支配的です。つまり、あらゆる知的労働をこなせるはずのこの「汎用的」なものが、圧倒的にコーディングばかりしているわけです。これは、AGIが展開されると予想される姿としては驚くべきものです。

Andrej Karpathy 01:14:13

ここで興味深い点があります。コーディングは、このLLMやエージェントにとって完璧な最初の対象だと私は思っています。というのも、コーディングは本質的にずっとテキストを中心に動いてきたからです。コンピュータ端末とテキストで成り立っていて、すべてがテキストベースです。LLMはインターネットで訓練されるという性質上、テキストを好みます。完璧なテキストプロセッサであり、しかもそこには膨大なデータがあります。まさに理想的な適合です。

私たちはまた、コードとテキストを扱うためのインフラをすでに大量に持っています。たとえば Visual Studio Code やお気に入りのIDEがコードを表示し、エージェントはそこに接続できます。エージェントが何か変更して diff が生じたなら、その diff を使ってコードベースの差分をすべて見せるためのコードも、私たちはすでに持っています。コード向けのインフラはかなり前から整備されていたのだと思います。

それを、まったくその恩恵を受けられないものと比べてみてください。たとえば、コーディングではなくスライドの自動化を構築しようとしている人たちがいます。私はスライドを扱う会社を見たことがありますが、それははるかに、はるかに難しいです。難しい理由は、スライドがテキストではないからです。スライドは小さなグラフィックで、空間的に配置され、視覚的な構成要素を持っています。スライドには、この事前構築されたインフラがありません。たとえば、エージェントがスライドを変更したとして、どうやって diff を見せるのでしょうか。どうやって diff を見るのでしょう。スライドの diff を表示する仕組みはありません。誰かがそれを作らなければなりません。こうしたものの一部は、テキストプロセッサであるAIには適しておらず、コードは驚くほど適しているのです。

Dwarkesh Patel 01:15:48

それだけでは説明にならない気がします。私は個人的に、純粋に言語入力・言語出力のドメインでLLMを有用にしようと取り組んできました。たとえば、書き起こしのリライトや、書き起こしをもとにクリップを作ることなどです。もちろん、私が取り得るあらゆる手を尽くしたわけではない可能性は高いです。多くの良い例をコンテキストに入れましたが、おそらく何らかの微調整が必要だったのでしょう。

共通の友人である Andy Matuschak も、モデルに間隔反復のプロンプトを書かせるのがうまくいくようにするために、50億通りくらい試したと言っていました。これもまた、非常に言語入力・言語出力的なタスクで、こうしたLLMのレパートリーのど真ん中にあるべき種類のものです。彼は few shot の例を使ったインコンテキスト学習を試しました。教師あり微調整や検索も試しました。それでも、彼が満足できるカードを作らせることはできませんでした。

だから、言語出力のドメインであっても、コーディング以外では、これらのモデルから大きな経済的価値を引き出すのが非常に難しいというのは印象的です。何がそれを説明するのか、私にはわかりません。

Andrej Karpathy 01:16:57

それはもっともです。私は、テキストであるものはすべて簡単だと言いたいわけではありません。コードはかなり構造化されていると思います。テキストのほうが、おそらくもっと華やかで、もっとエントロピーが高いと言いたいのですが、うまい表現が思いつきません。また、コードは難しいので、人々は比較的単純な知識しかなくても、LLMによってかなり力を与えられたと感じるのだと思います。すごく良い答えを持っているわけではありません。明らかに、テキストであることはそれをはるかに、はるかに簡単にしますが、すべてのテキストが簡単だという意味ではありません。

01:17:36 – ASI（超知能）

Dwarkesh Patel 01:17:36

超知能についてはどう考えていますか。一般的な人間や人間の会社とは、質的に異なるものとして感じられると予想しますか。

Andrej Karpathy 01:17:45

私はそれを、社会における自動化の進展として見ています。コンピューティングのトレンドを外挿すれば、多くの物事が段階的に自動化され、超知能はその延長線上にあるものになるでしょう。時間の経過とともに、より多くの自律的な存在が、多くのデジタルな仕事をこなし、さらにその後、ある程度時間がたてば物理的な仕事まで担うようになると予想しています。基本的に私は、それを大まかに言えば単なる自動化として見ています。

Dwarkesh Patel 01:18:10

でも自動化には、人間がすでにできることが含まれます。一方で超知能は、人間にはできないことを意味します。

Andrej Karpathy 01:18:16

でも、人間がやっていることの一つは新しいものを発明することです。そういう意味なら、私はそれも自動化に含めます。

Dwarkesh Patel 01:18:20

でも、もっと抽象度を下げて、もっと質的な話として、何かが……というのも、これはあまりにも速く考えられたり、あるいはあまりにも多くのコピーを持てたり、そのコピー同士が再び統合できたり、あるいはずっと賢かったりと、AIにはさまざまな利点があり得ます。こうしたAIが存在する文明は、人間の文明とは質的に違って感じられるのでしょうか。

Andrej Karpathy 01:18:51

そうなると思います。根本的には自動化ですが、極めて異様なものになるでしょう。かなり奇妙に見えるはずです。あなたが言ったように、私たちはこれらすべてをコンピュータクラスタ上で実行でき、しかもずっと速くこなせます。

世界がそういう姿になったとき、私が心配し始めるシナリオの一つは、何が起きているのかに対する制御と理解を徐々に失っていくことです。私は、理解の段階的な喪失が最も起こりそうな結果だと思っています。私たちは徐々に、こうしたものをあらゆる場所に何層にも積み上げていき、それを理解している人はますます少なくなっていくでしょう。そしてその後、何が起きているのかに対する制御と理解の段階的な喪失が起こるはずです。私には、それがこのすべてが進んでいく最もありそうな帰結に見えます。

Dwarkesh Patel 01:19:31

そこをもう少し掘り下げさせてください。制御の喪失と理解の喪失が同じものなのか、はっきりしません。TSMC や Intel の取締役会――どんな会社名でもいいですが――彼らはただの名望家の80代です。彼らにはほとんど理解がなく、おそらく実質的な意味での制御も実際には持っていません。

もっと良い例はアメリカ大統領です。大統領は大きな権力を持っています。私は現職について何か好意的なことを言おうとしているわけではありませんし、あるいはそうなのかもしれませんが、実際の理解の水準と制御の水準はかなり違います。

Andrej Karpathy 01:20:06

それはもっともです。良い反論です。私は、その両方の喪失を予想しているのだと思います。

Dwarkesh Patel 01:20:15

どうしてですか。理解の喪失は明らかですが、なぜ制御の喪失なのですか。

Andrej Karpathy 01:20:20

これはどういう姿になるのか誰にもわからない領域に、私たちは本当に深く入り込んでいますが、もし私がSFを書くなら、あらゆるものを支配する単一の存在というよりも、徐々にますます自律的になっていく複数の競合する存在という方向を描くでしょう。そのうちの一部は暴走し、ほかの存在がそれを打ち負かす。私たちが委任した完全自律的な活動のホットスポットです。私は、そういう雰囲気になる気がします。

Dwarkesh Patel 01:20:52

彼らが私たちより賢いという事実そのものが、制御の喪失を引き起こすわけではないんですね。彼らが互いに競争していて、その競争から生まれるものが何であれ、それが制御の喪失につながると。

Andrej Karpathy 01:21:06

はい。こうしたものの多くは、人々のためのツールになり、人々に代わって行動したりするでしょう。だから、おそらくその人たちは制御しているのかもしれませんが、社会全体として、私たちが望む結果という意味では、制御の喪失になるのでしょう。相変わらず、大まかには制御不能に見える個人に代わって行動する存在を持つことになるわけです。

Dwarkesh Patel 01:21:30

これは、もっと早く聞いておくべきだった質問です。今のAIエンジニアリングやAI研究では、これらのモデルは代替というより、むしろコンパイラのカテゴリーに近いと感じる、という話をしていました。

ある時点で、もしAGIがあるなら、それはあなたがやっている仕事をできるはずです。あなたのコピーを100万体並列に持てることが、AIの進歩をものすごく加速させると感じますか？ もしそうなったら、本当のAGIを手にしたときに知能爆発が起きると予想しますか？ 私は今日のLLMについて話しているのではありません。

Andrej Karpathy 01:22:01

そうです。ただ、それはいつも通りのことでもあります。というのも、私たちはすでに知能爆発のただ中にいて、しかもそれは何十年も続いているからです。基本的にはGDP曲線で、産業の非常に多くの側面の指数加重和のようなものです。あらゆるものが徐々に自動化されていて、それは何百年も続いてきました。産業革命は、物理的な構成要素や道具作りなどの一部における自動化です。コンパイラは初期のソフトウェア自動化です。などなど。私たちは長い間、再帰的に自己改善し、爆発し続けてきたのです。

別の見方をすると、地球は生体力学のようなものを除けば、かなり退屈な場所で、とても似たような見た目でした。宇宙から見れば、私たちはこの花火のようなイベントの真っただ中にいますが、それをスローモーションで見ているのです。私は、これはもう長いこと起き続けていたのだと強く感じています。繰り返しますが、私はAIを、すでに長い間起きていたこととは別の技術だとは見ていません。

Dwarkesh Patel 01:23:00

この超指数的なトレンドと連続していると考えていますか？

Andrej Karpathy 01:23:03

はい。それが私にはとても興味深かったんです。というのも、私はしばらくGDPの中にAIを見つけようとしていたからです。GDPは上がるはずだと思っていました。でも、コンピュータや携帯電話のように、非常に変革的だと思われた他の技術を見ても、GDPの中ではそれを見つけられません。GDPは同じ指数のままなんです。

初期のiPhoneにしても、App Storeはありませんでしたし、現代のiPhoneが持っている多くの装飾的な要素もありませんでした。ですから、iPhoneが登場した2008年を大きな地殻変動だと考えたとしても、実際にはそうではありません。すべてがあまりにも広く分散して、ゆっくり拡散するので、結局はすべて同じ指数に平均化されてしまいます。コンピュータもまったく同じです。GDPの中で「ああ、今コンピュータがある」といった形では見つけられません。そんなことは起きませんでした。進行があまりにもゆっくりだからです。

AIでも、まったく同じことが起きるでしょう。単に自動化がさらに増えるだけです。以前は書けなかった別種のプログラムを書けるようにしてくれます。でもAIも、根本的にはやはりプログラムです。新しい種類のコンピュータであり、新しい種類のコンピューティングシステムです。ただ、それにもさまざまな問題があり、時間をかけて浸透していき、やはり同じ指数に加算されていくのです。私たちは依然として、極めて急峻になっていく指数を持つでしょう。そういう環境で生きることは、とても奇妙に感じられるはずです。

Dwarkesh Patel 01:24:10

産業革命以前から今までのトレンドを見るなら、0%成長から、1万年前には0.02%成長、そして今は2%成長へ向かう超指数がある、と言っているのですか？ それが超指数です。そこにAIをプロットした場合、AIが私たちを20%成長や200%成長に連れていくと言っているのですか？

それとも、過去300年を見ると、コンピュータ、電化、蒸気機関、鉄道など、技術をひとつひとつ見てきたけれど、成長率はまったく同じで2%だ、と言っているのですか？ 成長率は上がると言っているのですか？

Andrej Karpathy 01:24:46

成長率もおおむね一定のままでしたよね？

Dwarkesh Patel 01:24:49

ここ200〜300年についてだけです。でも人類史全体の流れの中では爆発しています。0%から、より速く、より速く、より速く、となってきた。産業爆発で2%。

Andrej Karpathy 01:25:01

しばらくの間、私はGDP曲線の中にAIを見つけようとしていて、この考えは間違っているのだと自分を納得させようとしていました。人々が再帰的自己改善や研究所のことを語るときでさえ、それはいつも通りのことなんです。もちろん再帰的に自己改善するでしょうし、これまでも再帰的に自己改善してきたのです。

LLMは、エンジニアが次の世代のLLMを構築するために、はるかに効率よく働けるようにしてくれますし、構成要素のはるかに多くの部分が自動化され、調整されています。Google検索にアクセスできるすべてのエンジニアもその一部です。IDEを持つすべてのエンジニア、自動補完を使うすべてのエンジニア、あるいはClaude Codeを使うすべてのエンジニアなど、みな同じ全体的な加速の一部なのです。あまりにも滑らかにつながっています。

Dwarkesh Patel 01:25:41

確認ですが、成長率は変わらないと言っているわけですね。知能爆発は、インターネットが2%成長の軌道を維持するのに役立ったのと同じように、私たちが2%成長の軌道にとどまり続けることを助ける形で現れるだけだと。

Andrej Karpathy 01:25:53

はい。私の予想では、同じパターンにとどまります。

Dwarkesh Patel 01:25:58

反対側の議論を挙げるなら、私の予想では爆発すると思います。というのも、本当のAGI――そして私はLLMのコーディングボットのことではなく、サーバー上で人間を実際に置き換えるもののことを話していますが――は、こうした他の生産性向上技術とは質的に違うと思うからです。なぜなら、それは労働そのものだからです。

私たちは非常に労働制約的な世界に生きていると思います。スタートアップの創業者でも誰でも、何がもっと必要かと聞けば、本当に才能のある人材だと言うでしょう。ものを発明し、統合し、最初から最後まで会社を作る追加の数十億人がいるなら、それは単一の技術とは質的に違って感じられます。地球にさらに100億人の人間を得るようなものです。

Andrej Karpathy 01:26:44

それはたぶん反論になりますね。この点については、私はどちらの方向にもかなり説得される余地があります。ただ、たとえばコンピューティングは労働です。コンピューティングは労働でした。コンピュータによって多くの仕事は消えました。なぜなら、コンピュータが今や、人間を必要としない大量のデジタル情報処理を自動化しているからです。つまりコンピュータは労働であり、それはすでに展開してきたのです。

たとえば自動運転も、コンピュータが労働をしているということです。それもすでに展開しています。それでもやはり、いつも通りのことなんです。

Dwarkesh Patel 01:27:13

しかも、そのようなものを潜在的により速いペースで大量に生み出す機械がある。歴史的にも、0.2%成長から2%成長へと移ったような成長体制の変化の例はあります。次の自動運転車や次のインターネットや何であれ……そうしたものを生み出す機械というのは、かなりあり得るように見えます……

Andrej Karpathy 01:27:33

言いたいことは分かります。同時に、人々は「私たちは箱の中に神を持っていて、これでもう何でもできる」と仮定しているように感じますが、実際はそんな見え方にはならないでしょう。できることもあれば、別のことでは失敗するでしょう。徐々に社会に組み込まれていき、最終的には同じパターンに落ち着くはずです。それが私の予測です。

完全に知的で、完全に柔軟で、完全に汎用的な人間を、突然箱の中に持つことになって、それを社会の任意の問題に割り当てられる、というこの前提についてですが、私はそうした非連続な変化が起きるとは思っていません。産業全体にわたって、同じ種類の漸進的な拡散に至るのだと思います。

Dwarkesh Patel 01:28:14

こういう会話では、しばしば誤解が生まれます。この文脈で「知能」という言葉を使うのはあまり好きではありません。というのも、知能という言葉は、サーバー上に単一の超知能が座っていて、その新しい技術や発明をどう生み出すかを神のように知っており、それがこの爆発を引き起こす、ということを暗示してしまうからです。私が20%成長を想像するとき、思い描いているのはそういうものではありません。何億もの、非常に賢い人間のような心、場合によっては、それだけで十分だと想像しているのです。

しかし、その何億、何十億という存在がいて、それぞれが個別に新しい製品を作り、経済の中に自らを統合する方法を見つけ出すのです。高度な経験を積んだ優秀な移民がある国に来たら、経済にどう統合するかをこちらが教える必要はないでしょう。彼ら自身がそれを見つけ出すはずです。会社を始めるかもしれないし、発明をするかもしれないし、世界の生産性を高めるかもしれません。

現在の体制でも、10〜20%の経済成長を遂げている場所の例はあります。人が多く、人に比べて資本が少なければ、10%を超える成長で何十年ものあいだ香港や深圳のような状況になり得ます。資源を活用し、このキャッチアップ期間に備える、本当に賢い人たちがたくさんいます。なぜなら、私たちにはこの不連続性があったからで、AIも同じようなものになり得ると思います。

Andrej Karpathy 01:29:33

言いたいことはわかりますが、それでもなお、何らかの不連続な跳躍を前提にしていると思います。私たちが主張するのを待っている、何かのアンロックがあると。突然データセンターに天才たちが現れる、と。やはり私は、どんな統計にも見いだせない、歴史的前例のない不連続な跳躍を前提にしていると思いますし、おそらくそれは起きないと思います。

Dwarkesh Patel 01:29:52

私が言いたいのは、産業革命こそがそうした跳躍だということです。成長率は0.2%から2%へと移りました。私は、あれと同じような別の跳躍が再び起こると言っているだけです。

Andrej Karpathy 01:30:00

私はやや懐疑的です。調べてみる必要がありそうです。たとえば、産業革命以前の一部の記録はそれほど良くありません。この点について私は少し懐疑的ですが、強い意見があるわけではありません。あなたは、これは極めて魔法のようだった単一の出来事だと言っています。おそらくそれとまったく同じような別の出来事があり、やはり極めて魔法のようなものになる、と。パラダイムを打ち破るだろうし、などなど。

Dwarkesh Patel 01:30:23

実際には……産業革命で決定的だったのは、それが魔法のようなものではなかったことです。単にズームアウトして見れば、1770年や1870年に見えるのは、ある中核的な発明があったということではありません。しかし同時に、進歩ははるかに速くなり、指数を10倍にした体制へと経済を移しました。私はAIでも似たようなことが起こると予想しています。決定的な発明を成し遂げる単一の瞬間があるとは思いません。

Andrej Karpathy 01:30:51

アンロックされつつある過剰供給ですね。新しいエネルギー源のようなものです。何らかのアンロックがある――この場合は、ある種の認知能力です――そして、そこで行われる認知労働の過剰供給がある。

Dwarkesh Patel 01:31:02

その通りです。

Andrej Karpathy 01:31:03

あなたは、その過剰供給が閾値を超えたとき、この新しい技術によってそれが満たされると予想しているわけですね。

Dwarkesh Patel 01:31:06

たぶん、これを考える一つの方法は、歴史を通じて、多くの成長は人々がアイデアを考え出し、その後、人々がそのアイデアを実行して価値ある産出物を生み出すために何かをしてきたからだ、ということです。この期間の大半では、人口が爆発的に増えていました。それが成長を牽引していたんです。

過去50年のあいだ、人々は成長が停滞したと主張してきました。先進国の人口も停滞しました。私は、産出の超指数的成長を引き起こす人口の指数関数的成長へと回帰すると考えています。

Andrej Karpathy 01:31:37

本当に言うのが難しいですね。その見方は理解できます。ですが、直感的にはその見方を感じません。

01:32:50 – 知能と文化の進化

Dwarkesh Patel 01:32:50

Nick Lane の本を勧めてくれましたよね。それをきっかけに、私もとても興味を持って、彼にインタビューしました。知能と進化の歴史について考えるうえで、いくつか質問があります。

あなたはこの20年間AI研究をしてきて、知能とは何か、それを発達させるのに何が必要かについて、より具体的な感覚を持っているはずです。その結果として、進化がそれに偶然たどり着いたことについて、以前より驚いていますか、それとも驚かなくなりましたか。

Andrej Karpathy 01:33:19

私はNick Laneの本が本当に好きです。ここへ来る途中でも彼のポッドキャストを聴いていました。知能とその進化について言えば、それは非常に、非常に最近のことです。それが進化したという事実に私は驚きます。

そこにあり得るさまざまな世界について考えるのは、とても魅力的です。地球のような惑星が千個あるとして、それらがどんな様子かを考えるんです。Nick Laneはここで、最初期の段階のいくつかについて話していました。大まかに言えば、彼は非常によく似た生命体を予想していて、その大半には細菌のようなものがいるだろうと見ています。そこにはいくつかの断絶があります。知能の進化は、直感的には私にはかなりまれな出来事であるべきだと感じられます。

おそらく、何かがどれだけ長く存在していたかを基準に考えるべきでしょう。もし細菌が20億年存在していて何も起こらなかったのなら、真核生物へ進むのはおそらくかなり難しいはずです。というのも、細菌は地球の進化や歴史のかなり初期に現れたからです。動物が存在していた期間はどれくらいでしょうか。おそらく数億年、多細胞動物が走り回り、這い回るようになってからです。それは地球の寿命のたぶん10%です。その時間スケールでは、そこまで難しくはないのかもしれません。それでも、それが発達したという事実は、直感的にはなお私にとって驚きです。私はたぶん、動物のような生命体が動物のようなことをしているだけだと予想するでしょう。文化や知識を創造し、蓄積する何かが生まれ得るという事実が、私には驚きです。

Dwarkesh Patel 01:34:42

いくつか興味深いフォローアップの質問があります。Suttonの見方を受け入れるなら、知能の核は動物知能だということになります……彼の言葉を引用すると、「リスに到達すれば、AGIの大半は手にしたも同然だ」でした。

私たちは6億年前、カンブリア爆発 の直後にリス級の知能へ到達しました。それを引き起こしたように見えるのは、6億年前の 大酸化イベント でした。しかし知能アルゴリズムは、リス級の知能を生み出すために、すぐそこにありました。これは、動物知能が それほど 難しいものではなかったことを示唆しています。環境に酸素が存在した途端、真核生物が現れ、アルゴリズムもすぐに手に入ったわけです。進化がたまたまそれにこれほど早く行き当たったのは偶然だったのかもしれませんが、それが結局かなり単純なものだということを示唆しているのかもしれません。

Andrej Karpathy 01:35:31

こういうことは、どんな観点からも本当に判断が難しいですね。何かがどれだけ長く存在していたか、あるいは何かがどれだけ長くボトルネックになっていたように見えるかを、ある程度の手がかりにはできます。Nick Laneは、細菌と古細菌におけるこの非常に明確なボトルネックを説明するのが本当にうまい。20億年のあいだ、何も起こらなかった。生化学には極端な多様性があるのに、そこから動物になるほど成長するものは何もなかった。20億年です。

あなたの指摘の通り、動物や知能について、まったく同種の対応物を見てきたのかどうかはわかりません。また、ある種の知能が個別に何回生まれたと考えているかを見ることでも、そこは判断できます。

Dwarkesh Patel 01:36:07

それは調べる価値が大いにありますね。

Andrej Karpathy 01:36:09

その点について一つ思うのは、ホミニッドの知能があり、それから鳥の知能もあるということです。カラスなどは極めて賢いですが、脳の部位はかなり異なっていて、私たちとの共通点はそれほど多くありません。これは、知能が何度か生じていることを示す一つの兆候です。そういうケースなら、私はもっと頻繁に起こると予想します。

Dwarkesh Patel 01:36:32

以前のゲストである Gwern と Carl Shulman が、この点について本当に興味深い指摘をしていました。彼らの見方では、人間や霊長類が持つスケーラブルなアルゴリズムは鳥でも生じており、おそらく他の時代にも生じていました。ただし人間は、知能の限界的な増加に報いを与え、その増加を実現できるスケーラブルな脳アルゴリズムを備えた進化的ニッチを見つけたのです。

たとえば、もし鳥がもっと大きな脳を持っていたら、ただ空から落ちてしまうでしょう。脳の大きさの割には非常に賢いのですが、脳をさらに大きくすることに見合うニッチにはいません。たぶん本当に賢い……似たような存在はいるかもしれません。

Andrej Karpathy 01:37:28

イルカみたいな？

Dwarkesh Patel 01:37:28

その通りです。人間には、道具の使い方を学ぶことに報いを与える手があります。消化を外部化することもできるし、脳により多くのエネルギーを回せる。それがフライホイールを回し始めるんです。

Andrej Karpathy 01:38:02

やるべきこともあります。もし私がイルカだったら、もっと難しかったと思います。どうやって火を起こすのでしょう？ 水中では、水の中でできることの宇宙は、おそらく陸上でできることよりも少ないでしょう、化学的に言って。

こうしたニッチや、何がインセンティブ化されているのかという見方には同意します。それでもなお奇跡的だと思います。もっと大きな筋肉を持つ動物のところで物事は行き詰まるだろうと予想していたはずです。知能を通過するのは本当に魅力的な転換点です。

Dwarkesh Patel 01:38:28

Gwernの表現では、それがそれほど難しかった理由は、学習があまりに重要で、ちょうど正しい回路をDNAに直接再蒸留する価値がないものと、まったく学ぶほど重要ではないものとの間に、非常に狭い線があるからだということです。一生を通じて学ぶアルゴリズムを構築するようインセンティブ化する何かでなければならない。

Andrej Karpathy 01:38:55

ある種の適応性をインセンティブ化しなければなりません。進化がアルゴリズムを重みに焼き付けられないような、予測不可能な環境が必要です。多くの動物はこの意味で事前に焼き付けられています。人間は生まれたとき、テスト時に見つけ出さなければなりません。何がうまく機能するか予見できない、本当に急速に変化する環境が必要です。テスト時にそれを見つけ出すために知能が生まれるのです。

Dwarkesh Patel 01:39:28

Quintin Popeが急激な跳躍を予想しない理由として、人間が急激な跳躍を持っていたからだと述べる興味深いブログ記事がありました。6万年前には、私たちは今日持っている認知アーキテクチャを持っていたように見えます。1万年前、農業革命、近代性。その5万年の間に何が起きたのでしょう？ 世代を超えて知識を蓄積できる、この文化的な骨組みを構築しなければならなかった。

これは、私たちがAIを訓練するやり方では、ただで存在している能力です。多くの場合、文字どおり蒸留されます。モデルを再訓練すれば、互いに対して訓練できるし、同じ事前学習コーパスに対して訓練できるし、文字どおり最初から始める必要はありません。人間がこの文化的ループを機能させるには長い時間がかかりましたが、LLMの訓練方法では、ただで提供されている感覚があります。

Andrej Karpathy 01:39:45

はいでもあり、いいえでもあります。というのも、LLMは実際には文化に相当するものを持っていないからです。おそらく私たちが彼らに与えすぎていて、それを作らないようインセンティブ化しているのかもしれません。しかし、文化の発明、記録の発明、互いにメモを渡すこと、それに相当するものが現在のLLMにはないと思います。LLMは今のところ実際には文化を持っておらず、それは障害の一つだと言いたいです。

Dwarkesh Patel 01:40:05

LLMの文化がどのようなものになるのか、イメージを聞かせてもらえますか？

Andrej Karpathy 01:40:09

最も単純なケースでは、それはLLMが編集できる巨大なスクラッチパッドになるでしょう。そして何かを読んだり、タスクを手伝ったりしているとき、自分のためにスクラッチパッドを編集しているのです。なぜLLMがほかのLLMのために本を書けないのでしょう？ それは素晴らしいはずです。なぜほかのLLMがこのLLMの本を読んで、そこからインスピレーションを受けたり、衝撃を受けたり、そうしたことができないのでしょう？ こうしたものに相当するものが何もありません。

Dwarkesh Patel 01:40:29

興味深いですね。そういう種類のものは、いつごろ起き始めると予想しますか？ また、マルチエージェントシステムや、ある種の独立したAI文明や文化についてはどうですか？

Andrej Karpathy 01:40:40

マルチエージェントの領域には強力なアイデアが二つありますが、どちらも実際にはまだ十分には主張もされていません。一つ目は、文化、そしてLLMが自分自身の目的のために増え続ける知識のレパートリーを持つことだと言いたいです。

二つ目は、自己対戦の強力なアイデアにずっと近いものに見えます。私にはそれが極めて強力に思えます。進化には、知能と進化を駆動する多くの競争があります。AlphaGoでは、よりアルゴリズム的に、AlphaGoは自分自身と対戦し、それが囲碁を本当にうまくプレイする方法を学ぶやり方です。自己対戦するLLMに相当するものはありませんが、それも存在するようになると予想しています。まだ誰もやっていません。たとえば、なぜLLMが、ほかのLLMが解くことを学んでいる大量の問題を作れないのでしょう？ そうすればLLMは常に、ますます難しい問題を提示しようと努めることになる、などです。

それを組織する方法はたくさんあります。研究領域ですが、この二つのマルチエージェント改善について説得力のある主張を見たことがありません。私たちはほとんど単一の個別エージェントの領域にいますが、それは変わるでしょう。文化の領域でも、組織を含めたいです。それについても説得力のあるものを見たことがありません。それが、私たちがまだ初期段階にいる理由です。

Dwarkesh Patel 01:41:53

LLM同士のこうした種類の協力を妨げている中核的なボトルネックを特定できますか？

Andrej Karpathy 01:41:59

たぶん私の言い方だと、こうした比喩の一部は機能するべきでも機能しないべきでもないのに、どういうわけか、驚くほど機能している、ということです。より小さなモデルや、より愚かなモデルの多くは、驚くほど幼稚園児や、小学生や高校生に似ています。どういうわけか、私たちはまだ、こうしたものが引き継げるほどには十分に卒業していません。私のClaude CodeやCodexは、いまだに小学校低学年の生徒のように感じられます。彼らが博士課程レベルのクイズを解けることは知っていますが、それでもなお認知的には幼稚園児や小学生のように感じられます。

彼らが文化を作れるとは思いません。なぜなら、まだ子どもだからです。神童ではあります。このすべてを完璧に記憶しています。見栄えの良い、あらゆる種類のもっともらしいスロップを説得力をもって作れます。しかし、それでもなお、彼らは自分が何をしているのか本当には分かっておらず、私たちがまだ埋めなければならないこれらすべての小さなチェックボックス全体にわたって、実際の認知をまだ持っていないと思います。

01:42:55 自動運転になぜこれほど長い時間がかかったのか

Dwarkesh Patel 01:42:55

あなたはテスラで2017年から2022年まで自動運転を率いていたと話していました。そして、印象的なデモから、今や何千台もの車が実際に自律走行しているところまで、この進歩を直接見てきました。なぜそれに10年かかったのですか？ その間に何が起きていたのでしょうか？

Andrej Karpathy 01:43:11

私がほとんど即座に反論したいことの一つは、これは終わったと言うにはまったくほど遠い、ということです。私が捉える多くの意味においてです。自動運転はとても興味深いです。というのも、私が5年を費やしたので、私の直感の多くが確かにそこから来ているからです。自動運転には、最初のデモが1980年代にまでさかのぼる完全な歴史があります。1986年のCMUのデモを見ることができます。道路上を自分で運転するトラックがあります。

早送りすると、私がテスラに加わったとき、Waymoの非常に初期のデモがありました。基本的に10年前、2014年ごろだったと思いますが、完璧な走行を見せてくれました。つまり10年前の完璧なWaymoの走行です。そこに勤めている友人がいて、パロアルト周辺を乗せて回ってくれたのです。私はそれが非常に近いと思いましたが、それでもなお長い時間がかかりました。

ある種の作業や仕事などについては、デモはとても簡単だが製品はとても難しい、非常に大きなデモと製品のギャップがあります。特に、自動運転のように失敗のコストがあまりに高い場合はそうです。多くの産業、作業、そして仕事は、おそらくその特性を持っていませんが、その特性を持つ場合、確実にタイムラインを長引かせます。

例えば、ソフトウェアエンジニアリングでは、その特性は存在すると私は思います。多くのバイブコーディングには当てはまりません。でも実際に本番級のコードを書いているなら、その特性は存在しなければなりません。なぜなら、どんな種類のミスでもセキュリティ脆弱性などにつながり得るからです。何百万、何億という人々の個人の住民登録番号が流出したり、そういうことです。だからソフトウェアでも、人々は慎重でなければなりません。自動運転と同じように。自動運転では、何かがうまくいかなければ、けがをするかもしれません。もっと悪い結果もあります。でもソフトウェアでは、それはほとんど無限です。どれほど恐ろしい事態になり得るかという点で。

それらはその特性を共有していると思います。長い時間がかかること、そしてそれをどう捉えるかというと、それは9の行進なんです。1つひとつの9には一定量の作業が必要です。どの9も同じだけの作業量です。デモができて、何かが90%の時間で動作するなら、それは単に最初の1つ目の9にすぎません。その次に2つ目の9、3つ目の9、4つ目の9、5つ目の9が必要になります。私がTeslaに5年ほどいた間に、私たちはたぶん3つか2つの9を進んだんだと思います。何だったのか正確には分かりませんが、何度もの反復を経た複数の9です。それでもなお、もっと多くの9が必要です。

それが、こうしたものにこれほど長い時間がかかる理由です。私にとって確かに形成的だったのは、デモにすぎなかったものを見ることでした。私はデモにはほとんど感銘を受けません。何かのデモを見るたびに、私はそれにまったくといっていいほど感心しません。誰かが見せるために作ったデモなら、なおさらです。それと実際にやり取りできるなら、少しはましです。でもその場合でさえ、まだ終わっていません。必要なのは実際の製品です。現実と接触したときに、こうしたあらゆる課題に直面することになり、パッチが必要な挙動のさまざまなポケットが出てきます。

私たちはこれらすべてが展開していくのを見ることになるでしょう。9の行進です。各9には一定の作業が必要です。デモは励みになります。それでもなお、膨大な作業量が必要です。バイブコーディングをしていないなら、これは重要な安全領域です。それはそれで良くて楽しいことです。そうした観点もまた、私のタイムライン感覚を強めた理由です。

Dwarkesh Patel 01:46:25

それを聞くのはとても興味深いです。ソフトウェアで必要な安全保証は、自動運転とそれほど大きくは違わないとおっしゃっているわけですね。人々がよく言うのは、自動運転にこれほど時間がかかった理由は、失敗のコストが高すぎるからだ、ということです。人間は平均して40万マイルごと、あるいは7年ごとにミスをします。少なくとも7年間ミスをしないコーディングエージェントをリリースしなければならないとしたら、デプロイするのはずっと難しいでしょう。

でもあなたのポイントは、重大なコーディングミスをした場合、それは7年に一度重要なシステムを壊すようなものだ、ということですね……

Andrej Karpathy 01:46:56

それはとても簡単に起こります。

Dwarkesh Patel 01:46:57

実際、実時間で考えれば、それは7年よりずっと短いでしょう。というのも、そのような形でコードを継続的に出力しているからです。トークンの観点では7年かもしれません。でも実時間の観点では……

Andrej Karpathy 01:47:09

ある意味では、それははるかに難しい問題です。自動運転は、人が行う何千ものことのうちの1つにすぎません。ほとんど単一の垂直領域のようなものだと思います。一方で、一般的なソフトウェアエンジニアリングについて話しているときには、それはもっと……対象範囲が広いんです。

Dwarkesh Patel 01:47:20

その比喩に対して人々が挙げる別の反論もあります。自動運転では、その時間の大きな部分は、堅牢な基礎認識を持つ問題を解決し、表現を構築し、少し分布外のものを見たときにも一般化できるように、常識を持つモデルを作ることに費やされた、というものです。誰かが道路上でこういうふうに手を振っていたとして、それ専用に訓練していなくても大丈夫です。そういうものにどう応答すべきかについて、ある種の理解を持っているはずです。

これらは今日のLLMやVLMで無料で手に入っているもので、だからこうした非常に基本的な表現の問題を解く必要はありません。だから今や、さまざまなドメインにAIをデプロイすることは、現在のモデルで自動運転車を別の都市にデプロイするようなものでしょう。難しくはあるけれど、10年がかりの仕事というわけではありません。

Andrej Karpathy 01:48:07

それに100%確信があるわけではありません。もしそれに全面的に同意するなら、という話ですが。無料で得ているものがどれほどあるのか、私には分かりません。私たちが何を得ているのかを理解するうえでも、なお多くのギャップがあります。私たちは確かに、単一の存在から、より一般化可能な知能を得ています。一方で、自動運転は非常に特化した目的の仕事です。ある意味では、特化型の仕事を作るほうが、おそらくずっと難しい。なぜなら、それは大規模に行っているより一般的なものから自然に出てくるわけではないからです。意味が伝わるならですが。

でもその比喩は、やはり完全にはしっくりきません。なぜならLLMは依然としてかなりエラーが多く、埋めるべきギャップがたくさんあるからです。箱から出しただけで魔法のような一般化が完全に得られているとは、ある意味では思っていません。

もう1つ戻りたかった点は、自動運転車はまだ終わりに近いところにすら来ていない、ということです。展開はかなり限定的です。Waymoでさえ、車両数はごく少ない。大まかに言えば、彼らがそうしている理由は経済的ではないからです。彼らは未来に生きるようなものを作った。未来を前倒しで引き寄せなければならなかったけれど、非経済的な形で作らなければならなかったんです。それらの車両や、その運用・保守の限界費用だけでなく、全体の設備投資など、こうしたコストがすべてあります。それを経済的に成立させることは、彼らにとって依然として大変な作業になるでしょう。

それに、これらの車を見ると誰も運転していないように見えますが、私は実際には少しごまかしがあると思っています。というのも、これらの車には、何らかの形でループに入っている人々の非常に高度な遠隔操作センターがあるからです。全容は把握していませんが、想像されているより多くのhuman-in-the-loopがあります。どこかに、空からビームでつながっている人たちがいるんです。彼らが運転に完全に関与しているのかは分かりません。ときにはそうでしょうが、少なくとも確実に関与していて、人は存在します。ある意味では、私たちは実際には人を取り除いたのではなく、見えない場所へ移しただけなんです。

実際の自動運転を実現するためには、なお何らかの作業が必要だと思います。でも、あなたが触れたように、環境から環境へ移ることについては同意します。実際の自動運転にするための課題は依然としてあります。でも、それが少なくとも、現実味を感じる閾値を越えたということには同意します。実際には遠隔操作されていない限りですが。たとえばWaymoは、都市のあらゆる場所へ行けるわけではありません。私の推測では、それは良い信号が得られない都市の区域なのだと思います。いずれにせよ、私はそのスタックについて何も知りません。ただの当て推量です。

Dwarkesh Patel 01:50:23

あなたはTeslaで5年間、自動運転を率いていたじゃないですか。

Andrej Karpathy 01:50:27

すみません、Waymoの細部については何も知りません。ただ、私はWaymoが大好きで、いつも乗っています。私はただ、人々は進歩について時々少しナイーブすぎると思っていて、依然として膨大な作業が残っていると思うんです。Teslaは、私の考えでは、はるかにスケーラブルなアプローチを取っていて、チームは非常にうまくやっています。この先どう進むかについて、私は予測を公にしてきました。Waymoは多くのセンサーを積めるので先行できました。でもTeslaのほうがよりスケーラブルな戦略を取っていると思いますし、最終的にはそちらにずっと近い形になるでしょう。だから、これはまだ展開途中で、終わってはいません。でも私は、自動運転を10年かかったものとして語りたくはありません。なぜなら、まだ終わっていないからです。意味が伝わるならですが。

Dwarkesh Patel 01:51:08

というのも、第一に始まりは1980年であって10年前ではなく、そして第二に終わりはまだ来ていないからですね。

Andrej Karpathy 01:51:14

終わりはまだ近くありません。なぜなら自動運転について話すとき、それは普通、私の考えでは大規模な自動運転のことだからです。人々が運転免許を取る必要がなくなる、といったようなものです。

Dwarkesh Patel 01:51:22

比喩として異なるかもしれない、2つの別の見方を提示したいです。この問いが特に興味深いのは、AIがどれほど速く展開され、初期段階でどれほど価値を持つのかが、潜在的には今の世界で最も重要な問いだからです。2030年がどのように見えるかをモデル化しようとするなら、これはある程度理解しておく必要がある問いです。

もう1つ考えられるのは、第一に自動運転にはレイテンシ要件があるということです。実際のモデルが何なのかはまったく知りませんが、数千万パラメータ規模のものだと仮定しましょう。これは、LLMを使った知識労働に必要な制約ではありません。コンピュータ操作やその種のものでは、そうなる可能性はありますが。

ただ、もう1つ大きいのは、おそらくより重要なのは、この設備投資の問題です。はい、モデルの追加コピーを提供するには追加コストがかかりますが、セッションの運用コストはかなり低く、推論スケーリングがどう進むかなどにもよるものの、AIのコストは学習実行そのものに償却できます。しかし確かに、モデルのもう1つのインスタンスを提供することは、まったく新しい車をもう1台作ることほどではありません。だから、より広く展開する経済性ははるかに有利です。

Andrej Karpathy 01:52:37

その通りだと思います。ビットの領域にとどまるのであれば、ビットは物理世界に触れるよりも100万倍簡単です。それは間違いなく認めます。ビットは完全に変更可能で、非常に高速で任意に再配置できます。産業においても、はるかに速い適応を期待するでしょう。最初の点は何でしたか？

Dwarkesh Patel 01:52:59

レイテンシ要件と、それがモデルサイズに与える含意ですか？

Andrej Karpathy 01:53:02

だいたいその通りだと思います。また、大規模な知識労働について話しているなら、実務的に言って、ある程度のレイテンシ要件はあると思います。なぜなら、膨大な量の計算資源を作って、それを提供しなければならないからです。

最後にごく簡単に触れたい側面は、それ以外のすべてです。社会はそれをどう考えるのか。法的な影響は何か。法的にはどう機能するのか。保険の面ではどう機能するのか。そうした層や側面には何があるのか。Waymoにコーンを載せる人たちに相当するものは何なのか。そうしたものに相当するものはすべて存在するはずです。だから、自動運転は、いろいろなことを借りて考えられる非常に良い比喩だと感じます。車の上のコーンに相当するものは何なのか。隠れている遠隔操作オペレーターに相当するものは何なのか、そしてそれに関わるあらゆる側面は何なのか。

Dwarkesh Patel 01:53:53

現在のAI構築についてはどうお考えですか？ 1年か2年のうちに世界で利用可能な計算資源は10倍になり、10年の終わりまでには100倍以上になるでしょう。AIの利用が、一部の人が素朴に予測しているほど低いのだとしたら、それは私たちが計算資源を過剰構築しているという意味なのでしょうか。それとも、それは別の問いなのでしょうか？

Andrej Karpathy 01:54:15

鉄道で起きたようなものです。

Dwarkesh Patel 01:54:18

何ですって、すみません？

Andrej Karpathy 01:54:19

鉄道でしたっけ、それとも？

Dwarkesh Patel 01:54:20

はい、そうです。

Andrej Karpathy 01:54:21

そうです。歴史的な先例があります。あるいは通信業界でしたか？ 10年後にやってくるインターネットを先取りしてパッケージ化し、90年代後半に通信業界全体のバブルを生み出した、という話です。

ここで自分がとても悲観的に聞こえているのは理解しています。実際には私は楽観的です。これはうまくいくと思っています。十分扱えるものだとも思っています。私が悲観的に聞こえる唯一の理由は、私のTwitterタイムラインを見ると、私には意味をなさないこうしたものが大量に見えるからです。そうしたものが存在する理由はたくさんあります。正直なところ、多くは単に資金調達です。インセンティブ構造です。多くは資金調達かもしれません。多くは単なる注目で、インターネット上の注目をお金に変えること、そういう類いのものです。いろいろなことが進行していて、私はそれに反応しているだけです。

それでも、私は全体としてこの技術に非常に楽観的です。私たちはこれらすべてを解決するでしょう。進歩の量は速かったです。過剰構築があるのかは分かりません。私の理解では、構築されているものは十分吸収できると思います。たとえば、Claude CodeやOpenAI Codexのようなものは、1年前には存在していませんでしたよね？ これは以前は存在しなかった奇跡的な技術です。ChatGPTなどですでに見ているように、膨大な需要があるでしょう。

だから、過剰構築があるのかは分かりません。私はただ、人々が繰り返し誤って語る非常に短いタイムラインの一部に反応しているだけです。私はAI分野で15年間働いてきて、非常に評判の良い人たちでさえ、この問題を常に誤解しているのをたくさん見てきました。私は、これが適切に補正されてほしいと思っていますし、その一部には、こうした問いとともに地政学的な影響などもあります。私は、人々にその領域のことで間違ってほしくないのです。技術が何であり何でないのかという現実に、私たちが基づいてほしいのです。

01:56:20 - 教育の未来

Dwarkesh Patel 01:56:20

教育とEurekaについて話しましょう。あなたにできることの1つは、もう1つのAI研究所を立ち上げて、その問題を解こうとすることです。私は、あなたが今何をしていて、そしてなぜAI研究そのものではないのかが気になります。

Andrej Karpathy 01:56:33

私の言い方をすると、AI研究所がやっていることには、ある程度の決定論を感じています。そこで手助けはできると感じますが、自分が独自に改善できると確信しているわけではありません。私の個人的な大きな恐れは、こうした多くのことが人類の側で起こりながら、人類のほうはそれによって力を奪われることです。私は、私たちが作るであろうすべてのダイソン球だけでなく、人間に何が起こるのかも気にしていますし、AIはそれを完全に自律的な形で作るでしょう。私は未来において人間がうまくやっていくことを望んでいます。

フロンティア研究所での漸進的な改善よりも、そちらのほうではるかに独自の価値を加えられると感じています。私が最も恐れているのは、WALL-Eや『Idiocracy』のような映画で描かれているようなものです。人類がこうしたものの片隅に追いやられているような状況です。私は、人間がこの未来においてもっと、もっと良くなってほしいのです。私にとっては、これは教育を通じて達成できることです。

Dwarkesh Patel 01:57:35

では、そこで何をしているのですか？

Andrej Karpathy 01:57:36

私が説明できる一番簡単な方法は、私たちがスターフリート・アカデミーを作ろうとしている、というものです。『スター・トレック』を見たことがあるか分かりませんが。

Dwarkesh Patel 01:57:44

ありません。

Andrej Karpathy 01:57:44

スターフリート・アカデミーは、最先端技術や宇宙船建造、そしてそれらの宇宙船の操縦士となる士官候補生を育成するためのエリート機関です。だから私は、技術知識のためのエリート機関、そして非常に最新かつ最高水準の学校のようなものを思い描いています。

Dwarkesh Patel 01:58:05

あなたに対して私が持っている質問の1つのカテゴリーは、技術的あるいは科学的な内容をうまく教えることをどう説明するか、というものです。というのも、あなたはその世界的な達人の1人だからです。すでにYouTubeに公開している内容についてどう考えているのか、そしてEurekaについても、もし違うならどう考えているのか、どちらも気になります。

Andrej Karpathy 01:58:25

Eurekaについて言うと、教育に関して私にとって非常に魅力的なことの1つは、AIがそばにいることで教育はかなり根本的に変わるだろうと思っていることです。ある程度、再配線され、変化させられる必要があります。

私は、私たちはまだかなり初期段階にいると思っています。LLMはすでにあり、それに質問して明白なことをやろうとする人はたくさんいるでしょう。今プロンプトによってできる基本的なことは、ひととおりやってみればいい。役には立ちますが、それでも私には少し雑に感じられます。私はきちんとやりたいし、私が望むものに対しては能力がまだ足りないと思っています。私が欲しいのは、実際のチューター体験なんです。

私の中で際立った例は、最近韓国語を学んでいたことです。つまり言語学習ですね。私はインターネットで一人で韓国語を学ぶ段階を経験しました。韓国で韓国語を聞くほかの人たちの集まりと一緒に、小さな授業の一部だった段階も経験しましたが、あれは本当に面白かったです。先生と10人くらいで韓国語を聞いていたんです。その後、マンツーマンのチューターに切り替えました。

私にとって魅力的だったのは、本当に良いチューターに恵まれたと思うのですが、そのチューターが私のために何をしてくれていたのか、その体験がどれほど素晴らしかったのか、そして最終的に自分が作りたいものに対する基準がどれほど高いのかを考えることです。彼女はごく短い会話から即座に、私が学生としてどの段階にいて、何を知っていて何を知らないかを理解しました。私の世界モデルを理解するために、どんな種類の質問や探り方が必要かを正確に見極められたんです。今この瞬間、どんなLLMもそれを100%あなたのためにやってはくれません。近くもありません。でも優れたチューターなら、それができるんです。いったん理解すると、彼女は私の現在の能力の断片から見て、私に必要なものを本当にすべて与えてくれました。常に適切に挑戦される必要があります。難しすぎてもいけないし、簡単すぎてもいけない。チューターは、あなたにちょうど合ったものを提示するのが本当にうまいんです。

学習における唯一の制約は自分自身だと感じました。完璧な情報は常に与えられていました。制約は自分だけです。それは気分のいいことでした。なぜなら、存在する唯一の障害が自分だからです。知識が見つからないとか、うまく説明されていないとか、そういうことではありません。単に、自分の記憶する能力やそういったものの問題なんです。これが私が人々に提供したいものです。

Dwarkesh Patel 02:00:27

それをどう自動化するんですか？

Andrej Karpathy 02:00:29

とてもいい質問です。現在の能力では、できません。だからこそ、こういう種類のAIチューターを作るのは、まだ本当に適切な時期ではないと思っているんです。依然として有用な製品にはなると思うし、多くの人がそれを作るでしょう。でも基準が高すぎて、能力がそこに達していません。今の時点でも、ChatGPTは非常に価値のある教育プロダクトだと言いたいです。でも私にとっては、彼女と一緒にいたとき、その基準がどれほど高いかを見るのがあまりにも魅力的だったんです。ほとんど、これを作る方法なんてないように感じました。

Dwarkesh Patel 02:01:02

でも、あなたはそれを作っているんですよね？

Andrej Karpathy 02:01:03

本当に良いチューターを持ったことがある人なら誰でも、「どうやってこれを作るんだ？」と思います。私はその能力が来るのを待っています。

私はコンピュータビジョンのAIコンサルティングをしていました。多くの場合、私が会社にもたらした価値は、AIを使わないようにと伝えることでした。私はAIの専門家で、彼らは問題を説明し、私は「AIを使わないでください」と言ったんです。それが私の付加価値でした。教育についても今は同じように感じています。私が思い描いているものに関しては、まだその時ではない。でも、その時は来るでしょう。現時点では、物理的な要素とデジタルな要素などを備えた、やや伝統的に見えるものを作っています。でも将来的にこれがどうあるべきかは明らかです。

Dwarkesh Patel 02:01:43

話せる範囲でいいですが、今年か来年に公開したいと思っているのはどんなものですか？

Andrej Karpathy 02:01:49

最初のコースを作っています。本当に、本当に良いコースを作りたいんです。この場合はAIですが、学びに行くならまずここ、という明白な最先端の目的地ですね。そこは自分がよく知っている分野なので、そこで本当に優れた最初のプロダクトを作るには非常に良い題材なんです。だから、それを作っています。あなたが少し触れたNanochatは、私が作っている授業 LLM101N のキャップストーン・プロジェクトです。これはその非常に大きな一部です。ただ今は、多くの中間ステップを作らなければならないし、それから少人数のTAチームを雇って、コース全体を作らなければなりません。

もう一つ言いたいのは、多くの場合、人々が教育について考えるとき、私が知識の普及におけるよりソフトな要素と呼ぶものを主に考えているということです。私はとても難しくて技術的なものを念頭に置いています。私の考えでは、教育とは知識へのランプを作る非常に難しい技術的プロセスなんです。私にとって、nanochatは知識へのランプです。なぜなら、とてもシンプルだからです。完全に単純化されたフルスタックなんです。このアーティファクトを誰かに渡して、それを調べてもらえば、その人は膨大な量のことを学ぶことになります。私は「1秒あたりのユーレカ」と呼んでいるもの、つまり1秒あたりの理解を大量に与えているんです。私が欲しいのはそれです。1秒あたりの多くのユーレカ。だから私にとって、これはこのランプをどうやって非常に効率的に作るかという技術的問題なんです。人が決して行き詰まらず、すべてが常に難しすぎも簡単すぎもしない状態で、前進するためにちょうどよい教材を常に持てるようにすることです。

Dwarkesh Patel 02:03:25

あなたが短期的に想像しているのは、チューターがあなたの理解を探れる代わりに、自分自身を探れるだけの十分な自己認識があれば、決して行き詰まらない、ということですね。TAと話したり、LLMと話したり、参照実装を見たりする間に、正しい答えを見つけられる。ここまでのところ、自動化やAIは重要な部分ではないように見えます。現時点でここでの大きなアルファは、授業のソース教材として成文化されたAIを説明するあなたの能力です。根本的には、それがコースというものですよね。

Andrej Karpathy 02:04:00

常に、その時点で業界に存在する能力に合わせて調整しなければなりません。多くの人は、ChatGPTに聞けばいい、といった方向を追うでしょう。でも今すぐ、たとえばChatGPTのところへ行ってAIを教えてくれと頼んでも、無理です。雑なものを返してくるでしょう。AIは今この瞬間、nanochatを絶対に書けません。でもnanochatは本当に有用な中間地点なんです。私はこのすべての教材を作るためにAIと協働しているので、AIは依然として根本的に非常に役立っています。

以前、私はスタンフォードで CS231n を作りました。たしかスタンフォード初のディープラーニングの授業だったと思いますが、とても人気がありました。当時231nを作ることと、今LLM101Nを作ることの違いはかなり鮮明です。現在存在しているLLMによって本当に力を与えられていると感じますが、私は非常に深くループの中にいます。彼らは教材作成を手伝ってくれるし、私ははるかに速く進めます。彼らは退屈な作業をたくさん引き受けてくれる、などです。コース開発はずっと速くなっていると感じますし、LLMは注入されています。しかし、創造的に内容を作れる段階にはまだありません。そこはまだ私がやる必要があります。難しいのは、常に今あるものに自分を合わせることなんです。

Dwarkesh Patel 02:05:04

数年後、Eurekaを通じて利用可能になるものを想像すると、大きなボトルネックは、各分野ごとに、自分の理解をこうしたランプへと変換できるKarpathyのような人を見つけることのように思えます。

Andrej Karpathy 02:05:18

時間とともに変わっていくでしょう。今すぐの段階では、AIと人間のチームと手を取り合って働くために、教員を雇うことになるでしょう。おそらく最先端のコースを作るために。時間が経てば、TAの一部はAIになるかもしれません。すべてのコース教材を取り込み、それをもとに学生向けの非常に優れた自動化TAを提供できると思います。より基本的な質問があるときなどですね。でもコース全体のアーキテクチャや、それが適切かどうかを確認するためには、教員が必要だと思います。だから、これがどう進化していくかの道筋は見えています。将来のある時点では、私はそれほど有用ではなくなっていて、AIが私よりはるかにうまく大半の設計をしているかもしれません。でも、それが展開するにはまだ時間がかかるとも思っています。

Dwarkesh Patel 02:05:59

他分野の専門知識を持つ人たちがコースに貢献することを想像していますか。それとも、あなたがどう教えたいかという理解を踏まえると、内容を設計する人はあなた自身であるべきだと、そのビジョンにとって非常に本質的だと感じていますか。たとえば Sal Khan が Khan Academy のすべての動画を自らナレーションしているように。そういうものを想像していますか？

Andrej Karpathy 02:06:20

いいえ、教員を雇うつもりです。というのも、私が専門家ではない領域があるからです。最終的に学生に最先端の体験を提供する唯一の方法はそれです。教員を雇うことになると思いますが、私はおそらくしばらくはAIにとどまるでしょう。現在の能力について、人々がおそらく想像しているよりも、もっと伝統的なものを念頭に置いています。

Starfleet Academy を作るとき、私はおそらく物理的な機関を想像していて、その下の階層としてデジタル提供を想像しています。それは、誰かが実際にフルタイムで来て、私たちが最初から最後まで教材に取り組み、あなたが理解しているかを確認してくれるときに得られる最先端の体験ではありません。それが物理的な提供です。デジタル提供は、インターネット上の多くのものと、おそらく何らかの LLM アシスタントです。少しギミック的で、その下の階層ですが、少なくとも80億人にアクセス可能です。

Dwarkesh Patel 02:07:08

基本的にあなたは、今日利用可能なツールのために、第一原理から大学を発明し直していて、教材に本当に関与する動機と関心を持つ人々を選ぼうとしているように見えます。

Andrej Karpathy 02:07:26

教育だけでなく、再教育も大量に必要になるでしょう。私はそこで役に立ちたいのです。なぜなら、仕事はかなり大きく変わる可能性が高いからです。たとえば今日、多くの人が、特にAIにおいてスキル向上を図ろうとしています。そういう意味で、これは教えるのに本当に良いコースだと思います。動機という点では、AGI前の動機は解決がとても簡単です。なぜなら、人々はお金を稼ぎたいからです。これが今日の業界でお金を稼ぐ方法です。AGI後は、はるかに興味深くなるかもしれません。なぜなら、すべてが自動化されて、誰にもやることがなくなったら、なぜ誰かが学校に行くのでしょうか。

私はよく、AGI前の教育は有用だと言います。AGI後の教育は楽しいものです。ちょうど人々が今日ジムに行くのと似たような形です。私たちは重い物体を動かすために彼らの身体的な力を必要としていません。なぜなら、それを行う機械を持っているからです。それでも人々はジムに行きます。なぜジムに行くのでしょうか。楽しいし、健康にいいし、腹筋があると見た目がいいからです。それをやることは人々にとって魅力的です。非常に深い、心理的・進化的な意味で、人類にとってそうなのです。教育も同じように展開するでしょう。人々はジムに行くように学校へ行くことになります。

現時点では、多くの人は学びません。なぜなら学ぶのは難しいからです。教材でつまずいてしまいます。そうした障壁を乗り越える人もいますが、大半の人にとっては難しいのです。これは解決すべき技術的問題です。私が韓国語を学んでいたときに、私のチューターが私のためにしてくれたことは、解決すべき技術的問題です。扱いやすく、作ることができて、誰かがそれを作らなければなりません。それは、何かを学ぶことを些細で望ましいものにし、人々は楽しみのためにそれをやるようになるでしょう。なぜなら、それが些細になるからです。もし任意の知識の断片についてそうしたチューターを持てたなら、何を学ぶのもずっと簡単になるでしょうし、人々はそれをやるでしょう。彼らはジムに行くのと同じ理由でそれをやるでしょう。

Dwarkesh Patel 02:09:17

それは違って聞こえますね……つまり AGI後には、あなたはこれを娯楽や自己向上のために使うわけです。でも、この教育が人類にAIを制御し続けさせることと関係している、というビジョンもあるように聞こえました。それは違って聞こえます。ある人々にとっては娯楽でも、別の人々にとってはエンパワーメントなのでしょうか。どう考えていますか？

Andrej Karpathy 02:09:41

結局のところ、それは少し負けゲームだと思います。そう言って意味が通るならですが。長期的にはそうです。おそらく大半の業界人が考えているよりも、もっと長い長期で見れば、負けゲームです。人々は、そこまで遠くまで行けると思っていて、私たちは人間がどこまで行けるかの表面を、ほとんどかすっただけです。それは単に、人々が簡単すぎる教材や難しすぎる教材で脱落してしまうからです。人々はもっとずっと先まで行けるはずです。誰もが5つの言語を話すようになるでしょう。なぜそうならないのでしょうか。あまりにも些細になるからです。誰もが学部レベルの基本カリキュラムをすべて知るようになるでしょう、などなど。

Dwarkesh Patel 02:10:18

ビジョンがわかってきました。とても興味深いですね。ジム文化との完璧な比喩があります。100年前、誰も筋骨隆々ではなかったとは思いません。自発的にベンチプレスでプレート2枚や3枚を持ち上げられる人なんていなかったでしょう。体系的にトレーニングし、ジムでウェイトリフティングをしたり、マラソンを走れるように体系的に鍛えたりするというアイデアのおかげで、今ではそれは非常に一般的です。これは、ほとんどの人間が自発的には持てない能力です。あなたは、学習についても多くの別の領域で、同じようなことを想像しているのですね。もっと集中的に、深く、速く。

Andrej Karpathy 02:10:54

その通りです。私は人間本性の永続性に少し賭けています。こうしたあらゆることを行うのは望ましいものであり、人々は何千年ものあいだそうしてきたように、それを敬うだろうと思っています。これは今後も真実であり続けるでしょう。それについては歴史的にいくつか証拠があります。たとえば貴族を見たり、古代ギリシャを見たりすると、ある意味で AGI後だった小さなポケット環境があるたびに、人々は身体的にも認知的にも、ある種の仕方で繁栄することに多くの時間を費やしていました。私はその見通しについて、悪くない感触を持っています。

もしこれが間違っていて、私が誤っていて、私たちが『ウォーリー』や『Idiocracy』のような未来に行き着くのだとしたら、ダイソン球があるかどうかなんて気にもなりません。これはひどい結末です。私は本当に人類を気にかけています。誰もが、ある意味で超人的でなければならないのです。

Dwarkesh Patel 02:11:52

それでもなお……それは根本的には、私たちが……文化の世界みたいなものですよね？ あなたが言っているのは、基本的に技術の軌道を変えたり、自分の労働や認知だけで意思決定に影響を与えたりはできない世界です。たぶん AI があなたの承認を求めるから、決定には影響を与えられるのかもしれませんが、私が何かを発明したとか、新しい設計を思いついたからといって、本当に未来に影響を与えているわけではない。

Andrej Karpathy 02:12:21

おそらくそうです。多くのことを理解していれば、私たちがループの中にいて、物事を前進させられる移行期はあるだろうと思います。長期的には、それはおそらく消えていくでしょう。認知の時代におけるパワーリフティングのようなものが、スポーツになるかもしれません。本当に物事を知ることのオリンピックを作ろうとして、極端に突き進む人たちが現れるのかもしれません。完璧なAIチューターがあれば、おそらく極端なところまで行けます。今日の天才たちは、人間の心ができることの表面をほとんどかすっただけだと感じています。

Dwarkesh Patel 02:12:59

私はこのビジョンが大好きです。しかも、私こそが最もプロダクト・マーケット・フィットしている人間だという気もします。なぜなら私の仕事は、毎週違うテーマを学ぶことを含んでいて、私はそれにとてもワクワクするからです。

Andrej Karpathy 02:13:17

私も似ています。多くの人は、たとえば学校が嫌いで、そこから出たがります。私は本当に学校が好きでした。物事を学ぶのが大好きでしたし、そういったこと全般が好きでした。学校に居続けたかった。博士課程までずっといて、その後はもういさせてもらえなかったので、産業界に行きました。大まかに言えば、私は学ぶことが大好きです。学ぶことそれ自体のためにも好きですが、同時に学ぶことが好きなのは、それがエンパワーメントの一形態であり、有用で生産的だからでもあります。

Dwarkesh Patel 02:13:39

あなたはまた、微妙だけれど重要な指摘もしましたので、文字にしておきたいです。これまでオンラインコースで起きてきたことを踏まえると、なぜそれらは、すべての人間があらゆることを知れるようにするに至らなかったのでしょうか。それらは単に、動機づけの負荷が大きすぎるのです。なぜなら明確な導線がなく、行き詰まりやすすぎるからです。その代わりに、これ――本当に優れた人間のチューターのようなもの――があれば、動機づけの観点から、まさにそのロック解除になるわけですね。

Andrej Karpathy 02:14:10

そう思います。資料から弾き出されるのは気分がよくありません。嫌な気分になります。何かに時間を注いだのに実を結ばなかったり、得ているものが簡単すぎたり難しすぎたりして完全に退屈だったりすると、負の報酬を受け取ります。うまくできているとき、学ぶことは気持ちがいい。そこに到達するのは技術的な問題です。しばらくの間はAIと人間の協業になり、ある時点で、おそらくAIだけになるでしょう。

Dwarkesh Patel 02:14:36

教えることがうまいという点について、いくつか質問してもいいですか。あなたが関心を持っている別の分野の教育者に、あなたが作ったような種類のYouTubeチュートリアルを作るよう勧めるとしたら。誰かの技術的理解をコードを書かせたりすることでテストできないような領域について話すのは、特に興味深いかもしれません。どんな助言をしますか？

Andrej Karpathy 02:14:58

それはかなり広い話題ですね。私が半ば無意識にやっている10〜20個のコツやテクニックがあるはずです。ただ、その多くは私の物理学のバックグラウンドから来ています。私は本当に、本当に自分の物理学のバックグラウンドを気に入っていました。初等教育の段階で、なぜ誰もが物理を学ぶべきなのかについては長い話があります。というのも、初等教育は後に産業で仕事をするための知識や記憶を蓄積することが目的ではないからです。脳を起動することが目的なんです。そして物理学は脳を最もうまく起動してくれます。なぜなら、物理学で脳にやらせることの一部は、後になって極めて価値を持つからです。

モデルや抽象化を作るという考え方、そしてシステムの大部分を説明する一次近似がある一方で、二次、三次、四次の項があるかもしれないし、ないかもしれないと理解すること。非常にノイズの多いシステムを観測していても、その中には抽象化できる根本的な周波数があるという考え方。物理学者が授業に入ってきて「球形の牛を仮定しよう」と言うと、みんなそれを笑いますが、これは素晴らしいんです。多くの意味で牛を球として近似できるので、産業全体にわたって非常に一般化可能な優れた思考法なんです。

たとえば、本当に良い本があります。Scaleです。生物学について語る物理学者が書いた本です。これも読むことを勧めたい本ですね。動物について本当に興味深い近似が得られて、動物のスケーリング則を図示できます。心拍数などを見ていくと、それらが動物の大きさなどと一致するんです。動物を体積で語ることができます。熱放散について語ることもできます。なぜなら熱放散は表面積、つまり二乗で増加する一方で、熱生成や発生は三乗で増加するからです。だから私は、物理学者は世界で問題解決に取り組むためのあらゆる正しい認知ツールを持っていると感じるんです。

その訓練のおかげで、私はいつもあらゆるものの一次項や二次項を見つけようとします。システムや何かを観察するとき、私の頭の中にはアイデアや知識の網のようなもつれがあります。そこで何が重要なのかを見つけようとしているんです。一次の構成要素は何か。どう単純化できるか。それを示す最もシンプルなものをどう用意できるか。まずそれを実際に示して、それから別の項を付け加えられないか、と。

それをうまく示している私のリポジトリの一つの例が、microgradと呼ばれるものです。これに慣れているかどうかわかりませんが。microgradは逆伝播を示す100行のコードです。足し算や掛け算のような単純な演算からニューラルネットワークを作れます。ニューラルネットワークのレゴブロックですね。計算グラフを構築して、順伝播と逆伝播を行い、勾配を得ます。さて、これはすべてのニューラルネットワーク学習の中核です。

ですからmicrogradは、かなり解釈しやすい100行のPythonコードで、任意のニューラルネットワークに対して順方向と逆方向の計算ができますが、効率的ではありません。つまりmicrograd、この100行のPythonこそが、ニューラルネットワークがどう訓練されるかを理解するために必要なすべてなんです。それ以外はすべて単なる効率性です。効率性を得るためには膨大な作業があります。テンソルが必要で、バッチ化が必要で、ストライドが必要で、カーネルを作り、メモリ移動を正しく調整する必要がある、などなど。大まかに言えば、全部ただの効率性です。でもニューラルネットワーク訓練の中核となる知的な断片はmicrogradなんです。100行です。簡単に理解できます。それは勾配を導くための連鎖律の再帰的な適用です。これによって任意の微分可能な関数を最適化できるようになります。

だから私は、こうした低次の項を見つけて、皿に載せて提供し、発見することが大好きなんです。教育は最も知的に面白いものだと感じます。なぜなら、理解のもつれを持っていて、それをあらゆるものがその前のものにだけ依存するようなスロープになる形で配置しようと努力しているからです。この知識のもつれをほどくことが、認知的な作業としてただただ非常に知的に面白いんです。私は個人的にそれをするのが大好きですが、物事を特定のやり方で配置しようとすることに魅了されています。たぶんそれが私を助けているんでしょう。

Dwarkesh Patel 02:18:41

それはまた、学習体験をずっと動機づけのあるものにもします。トランスフォーマーに関するあなたのチュートリアルは、バイグラムから始まります。文字どおりルックアップテーブルです。「ここに今の単語がある」、あるいは「ここに前の単語がある、ここに次の単語がある」。文字どおり、ただのルックアップテーブルです。

Andrej Karpathy 02:18:58

それが本質ですね、ええ。

Dwarkesh Patel 02:18:59

ルックアップテーブルから始めてトランスフォーマーへ進むのは、本当に素晴らしいやり方です。各パーツに動機があります。なぜそれを追加するのか。なぜ次のものを追加するのか。アテンションの式を暗記することはできても、個々のパーツがなぜ関係しているのか、どんな問題を解決するのかを理解することが大事なんです。

Andrej Karpathy 02:19:13

解決策を提示する前に、まず痛みを提示するんです。しかもそれがどれほど巧妙か。私は学生をその進行に沿って連れて行きたいんです。良くて、魅力的で、面白くするための他の小さな工夫もたくさんあります。常に学生にプロンプトを与えます。

優れた教育者がやるような、これに関して重要な小さなことは他にもたくさんあります。あなたならこれをどう解きますか。私が推測する前に解決策は提示しません。それは無駄だからです。それはちょっとした……悪態はつきたくありませんが、私が解決策を提示する前にあなた自身で試してみる機会を与えないのは、あなたに対してよくない振る舞いなんです。

Dwarkesh Patel 02:19:51

なぜなら、自分で考え出そうと努力すると、行動空間が何か、目標が何か、そしてなぜその行動だけがその目標を満たすのかについて、よりよい理解が得られるからです。

Andrej Karpathy 02:20:03

自分で試す機会があると、私が解決策を与えたときにありがたみを感じるようになります。新しく追加される事実1つあたりの知識量を最大化するんです。

Dwarkesh Patel 02:20:11

なぜ基本的に、自分の分野で本物の専門家である人たちは、それを身につけようとしている誰かに説明するのがしばしば下手なんでしょうか？

Andrej Karpathy 02:20:24

専門性と知識の呪いですね。これは実際の現象で、私も努力しているのと同じくらいそれに苦しんでいます。特定のことを当然のものとしてしまい、始めたばかりの新しい人の立場に自分を置けなくなるんです。これは広く見られることで、私にも起こります。

とても役に立つことが一つあります。たとえば、最近誰かが生物学の論文を見せようとしてくれたのですが、私はすぐにものすごくたくさんのひどい質問を持ちました。私がやったのは、ChatGPTを使ってコンテキストウィンドウにその論文を入れ、質問をすることでした。そうして簡単なもののいくつかは解決しました。その後、その論文を書いた人、あるいはその研究をした人にスレッドを共有しました。私の持っていた間抜けな質問を見られれば、将来もっと上手に説明する助けになるかもしれないと感じたからです。

私の教材についても、私が作ったものについてのChatGPTとの間抜けな会話をみんなが共有してくれたら、本当にうれしいですね。なぜなら、それが初心者の立場にもう一度自分を置くのに本当に役立つからです。

Dwarkesh Patel 02:21:19

驚くほどうまく機能する、もう1つのトリックがあります。誰かが論文を書いたり、ブログ記事を書いたり、発表をしたりするとき、昼食の席でその人がどう説明するかという叙述や書き起こしのほうが、はるかに理解しやすいだけでなく、実際にはより正確で科学的です。100%そうです。というのも、人はできるだけ抽象的で、専門用語だらけの方法で物事を説明し、中心となるアイデアを説明する前に4段落も前置きをする傾向があるからです。でも、誰かと1対1でコミュニケーションするときには、ただ言いたいことをそのまま言わせる何かがあるんです。

Andrej Karpathy 02:22:07

そのまま言えばいいんです。あのツイートを見ましたが、本当にいいと思いました。多くの人と共有しました。これを何度も、何度も感じてきました。

最も際立った例は、博士課程のころに研究をしていたときのことです。誰かの論文を読んで、それが何をしているのか理解しようと努力します。その後、学会でビールを飲みながらその本人に会って、こう尋ねるんです。「で、この論文は何をしていたんですか？ この論文は何についてなんですか？」

すると彼らは、その論文の本質を完璧に捉え、アイデアを完全に伝える3つの文をただ口にするんです。もう論文を読む必要なんてありませんでした。テーブルでビールか何かを飲みながら座っているときにだけ、「ああ、この論文は要するに、このアイデアとあのアイデアを組み合わせて、この実験とあの実験を試したものだよ」と話してくれるんです。会話の中では、それを完璧に置くべき場所に置く方法を知っている。どうしてそれがアブストラクトじゃないんでしょう？

Dwarkesh Patel 02:22:51

まさにそうです。これは、アイデアを説明しようとする人がどうすればよりうまく定式化できるか、という観点からの話ですね。では学生の立場として、Karpathyがいま話しているような説明をしてくれる本人がいない場合、他の学生たちにどんな助言をしますか？ 誰かの論文を読んでいたり、本を読んでいたりするとき、専門外だけれど関心のある分野の資料を学ぶために、どんな戦略を使っていますか？

Andrej Karpathy 02:23:20

正直なところ、特別なコツやテクニックがあるかどうかはわかりません。苦しいプロセスです。自分にとっていつもかなり役に立ってきたことが1つあります—これについて短いツイートもしたのですが—必要に応じて学ぶのはかなりいい、ということです。深さ優先で学ぶこと。深さ優先で、必要に応じて学ぶこと—つまり、報酬が得られる特定のプロジェクトを達成しようとしている状態—と、幅優先で学ぶこと、つまり「何でも101からやろう、そしてここには将来必要になるかもしれないあらゆるものがある」という学び方の、ある種の交互運用が必要だと感じます。多くの学校がやっているのはそれです—幅優先の学習をして、「あとでこれが必要になりますから信じてください」みたいなことを言います。わかりました、信じます。必要になるから学びます。でも私は、何かをやることから報酬が得られるタイプの学習、つまり必要に応じて学ぶやり方が好きなんです。

もう1つ、ものすごく助けになると感じていることがあります。これは教育の少し利他的な側面でもあるのですが、人に物事を説明することは、何かをより深く学ぶための素晴らしい方法です。これは自分にはいつも起こることで、たぶん他の人にも起こるでしょう。というのも、何かを本当に理解していなければ、説明できないと気づくからです。説明しようとしていて、「ああ、自分はこれを理解していない」となる。それに向き合うのは本当に厄介です。そこでもう一度戻って、自分が理解しているかを確認できます。こうした理解のギャップを埋めるんです。それらと向き合うことを強制される。整合させることを強制されるんです。

私は何かを言い直して説明するのが好きですし、他の人もそうすべきです。そうすると知識を操作しなければならないし、説明するときに自分が何を言っているのかを確実に理解していなければならないからです。

Dwarkesh Patel 02:24:48

締めくくりにぴったりの話でした。Andrej、素晴らしかったです。

Andrej Karpathy 02:24:51

ありがとうございます。

[GN⁺]

Hacker Newsの意見

• 私は、AIの発展を「まるで 9 の行進のように」見る考え方が重要だと思う。9% を 1 つ積み増すごとに、同じだけの努力が必要になる。90% のデモ版を作ったなら、次は 2 つ目の 9%、3 つ目の 9% と積み上げていかなければならない。Tesla で 5 年働いていたときにも、こうした反復的な過程を何度も経験した。まだ先は長い。AI の進歩は、ある固定ベンチマークでは能力が指数関数的に伸びているように見えることが多いが、次の段階へ進む難易度もまた指数関数的に増すので、長期的には線形の改善のように見える

  • 最近 Rich Sutton のインタビューを見て、AGI は単に 9% をさらに積み上げるだけの問題ではないのではないかと思った。インタビュアーは、言語理解には世界のモデルが必要だという前提を置いていたが、Sutton はその前提自体をすぐに否定していた。その懐疑的な態度には同意できる気もする

  • この話は、マラソンに関する古い格言を思い出させる。マラソンは 2 つの部分から成っていて、最初の 20 マイルと、一生でいちばん体が痛くて疲れている状態で走る最後の 10km だ、というやつだ

  • 著者の比喩は気に入っている。ただ、ある時点からは AI 自体が進歩を助ける役割を果たすようになり、この点が以前のドメイン特化型 ML や他のシステムとは決定的に違う。だから今後 2 年以内に急激な加速が起こるのではないかと期待している

  • 私もよく、作業の最初の 90% を終えて、その次の 90% に進むんだと冗談で言う

  • こういう考え方はいろいろな場所に当てはまる。いわゆる Pareto 効率、つまり 80/20 の法則のように、20% の努力が作業全体の 80% を占める。しかし残り 20% を終えるのに大半の時間がかかる。この原理は繰り返し適用される。最近の IT 分野でもこうした現象が際立っている。素早く動いて実験するやり方は大半の区間では有効だが、その過程で多くの問題が蓄積し、結局は誰かが整理とレビューの役割を担う必要がある。小さな問題が集まって大きな問題になる。システム稼働率が 99.9% でも年間 9 時間のダウンタイムが発生し、10 億件のうち 100 万件のケースは無視できる規模ではない。技術のスケーラビリティのおかげで分野は急速に成長したが、その一方で影の部分も大きくなっている。平均以上の実力には努力だけでも容易に到達できるが、ある分野では誰かの実力が実際には達人にはほど遠いこともある。1 億ドルを持つ人が、ビリオネアよりむしろホームレスのほうに富の距離として近いのと同じで、私たちの感覚は曲線的だ

• AI 研究者やコンピュータ科学者が人間の脳と AI、コンピュータを比較し始めるたびに、何とも言えない気分になる。コンピュータ科学しか学んでいない私たちが、生物学、神経科学、進化論などについて十分な知識があると思うのはなぜなのだろうと感じる。こうした議論自体は興味深いが、心のどこかで「いま神経科学について話している CS 専攻の学生 2 人の話を聞いているだけだということを忘れないように」と思ってしまう

  • AI 分野では、こういう話やその用語自体をいっそなくすべきだと思う。一般の人に終わりのない混乱をもたらすだけだ。実際の LLM の本質は、単に行列を訓練して次のトークンを予測することにすぎない。AGI、Roko's basilisk、人間の意識といった話を持ち出さなくても、この概念だけで十分説明できる

  • なぜそういう前提が生まれるのかに答えるなら、それは「傲慢さ」だ

  • そもそも論理的に考えると、「完全な球体で摩擦がゼロの脳」から想像を始めるという冗談がある

  • 私も学部時代には同じような比較をしていたが、結局のところ、脳が X をしているならコンピュータも一見似たような X をしているか、あるいは Y や Z のような段階で X を再現できるのではないかという概念モデルに頼ることになる。しかし、脳が途方もなく複雑な化学的機械だと知ってからは、こうした比較により懐疑的になった

  • AI と神経科学は、特に以前の研究者たちの間では重なる部分が多い。たとえば Karpathy の指導教員である Fei-Fei Li は猫の脳の視覚を研究してからコンピュータビジョンに移り、Demis Hassabis は計算神経科学の博士号を持ち、Geoff Hinton も心理学を学んでいる。強化学習・意思決定学会 (RLDM) は強化学習と神経科学を結び付け、両分野の専門家が交流している。実際、平均的な AI 研究者はコンピュータ科学専攻の学生より脳についてずっと多く知っている可能性が高いが、それでも研究を行うにはなお専門性が不足しているかもしれない

• 最新の LLM/AI の根本的な限界があるとすれば、主に抽象化されたデータに焦点を当て、人間の論理的推論を担う前頭前野を模倣するように訓練されていることだ。しかし、人間の実際の判断は、感情や直感を中心とする辺縁系の活動によってなされる。つまり多くの場合、私たちは「理由を知る前にまず何かをして」、その行為の後から前頭前野が物語を整える。結果として LLM は、人間の現実を処理するやり方とはまったく異なる位置から、神経活動の一部のパターンだけを真似していることになる

• 私は、このメッセージをいま読んでいる誰の生涯においても AGI は現れないことに、全財産を賭けてもよい。この文章を後になって読む未来の読者の人生まで含めてだ。本当に興味深いのは、この賭けをどうやって証明するのかという点だ

  • なぜそう考えるのか、具体的な理由が知りたい。Hacker News を毎日読んでいると、AGI に関する予測がまともな論理性もなく次々に出てくるようで当惑する。私は何が起こるのか本当にわからない

  • その賭けを実際に成立させるには、Polymarket のような予測市場で本物のお金を賭ける必要がある。ただし、まず AGI の具体的な定義について合意しなければならない。相手が自分に有利なように定義してしまえば、その賭けに勝ち目はなくなる

  • 本当に自分の財産を賭けるつもりなら、現金化がほとんど不可能な取引になるので、現実的には予測市場に入れておくのが答えだ。Polymarket には AGI 関連の賭けがたくさんある

  • 単に Nvidia の株を空売りするほうが現実的かもしれない

  • エスクロー（当事者の間で資金を預かる仕組み）を使うという話だ

• 私も一言付け加えるなら、私たちは依然として「知能とは何で、どう働くのか」について、図式的なレベルですら理解していないと思う。意識と知能がどう結び付いているのかすら不明確だ。こういう状況では、AGI や AI についての議論、さらには予測まで、かなりの部分で根拠が弱くなる。肝心の知能が何なのかすらわからないまま人工知能を定義するのは無理がある

  • 知能や意識を定義するのがあまりにも難しい理由は、私たちがサンプル 1 つ（人間）に完全に依存していて、そこに根拠のない神秘主義まで上乗せしているからだ。参考記事: https://bower.sh/who-will-understand-consciousness

  • この点には本当に痛切に共感する。私たちは無脊椎動物の意識すらモデル化できておらず、「心」についてのまともな理論もない。結局のところ AI は、理解しているふりをした模倣をしているだけで、実際の知能とはほど遠いと思う

• もしインタビューの記録が正確なら、Karpathy はこのインタビューのどこでも AGI が 10 年以内に来るとは言っておらず、AGI がいつ到来するかについて具体的な主張もしていない。Patel のタイトルが実際の内容と違って誤解を招いていることになる

  • Sutton についても同じだ。Sutton が「LLM は終着点だ」といった発言をしたわけでもないのに、そのように解釈されてしまっている

• vibe coding（雰囲気コーディング）と自動補完機能を比べると、現行の LLM モデルには認知的な欠陥が多い。たとえば、コードの一般的な書かれ方にあまりにも慣れるよう訓練されているため、私が取っていないやり方をしきりに誤解する。それに、私が欲しいものを英語でいちいち打ち込むのは面倒すぎるし、欲しいコードの位置に行って数文字入力するだけで自動補完ならすぐにコードを提案してくれる。ところがモデルはコードベースを複雑にしすぎたり、不要なコードや古い API をしきりに使ったりして、全体として本当に役に立っているのかわからない

• この先、失業率 50% に達する世界になっても、なお「これは本当の AGI なのか」と議論していそうだ

• AGI が目標だということ自体が奇妙に感じられる。AI という用語も不正確で本質に合っていない。LLM は人工知能ではなく、たとえ非常に大きな LLM であっても同じだ。それにもかかわらず、language model は非常に有用で、潜在的に革新的な技術だ。LLM を AI と呼ぶことは、その価値を過大評価すると同時に過小評価することでもある。人工知能ではないからといって失望する必要はなく、それでもなおすばらしい技術だ

  • この用語が混乱を招いている。以前は AI といえば、初歩的なチェス AI や画像分類器、ビデオゲームのキャラクター AI など、あらゆる種類の機械知能を意味していた。しかし今では、多くの人が AI と AGI（人間レベルの知能）を同一視している

• Nvidia が時価総額最大の企業になったいま、AGI に関する本当の議論は、莫大な資本による「ハイプ・トレイン」に埋もれてしまっている。関連企業の価値の大半は、近い将来に AGI が実現するという信念に基づいている。AGI が近すぎると感じられれば、現在の先行企業が市場を独占しそうに見え、遠すぎると投資や支出が持続不可能に見えるかもしれない

  • 本当の企業価値は、AGI 実現への期待というより、ホワイトカラーの自動化などによって企業が中産階級の賃金を節約するために AI 技術へ大金を投じている現象に、より支えられているのかもしれない

  • AGI でなくても、AI だけで莫大な経済的価値を生み出すことは可能だ

  • その通り。AGI が 5〜10 年で来るというナラティブと結び付けて、まるで宇宙開発競争のように、中国との技術戦争を口実に「数兆ドル」の投資が必要だと主張しているわけだ。2024 年にもこういう話がニュースになっていた: https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html