- Ilya SutskeverはNeurIPS 2014の Sequence to Sequence Learning with Neural Networks を10年後に振り返り、今日の大規模言語モデルの流れの出発点を、自己回帰テキストモデル・大きなニューラルネットワーク・大きなデータセットとして整理
- 当時の大胆な仮定は、ニューラルネットワークが次のトークンを十分にうまく予測できれば、シーケンスの正しい分布を捉えられるというもので、これを翻訳問題に適用した
- 実装は LSTM と8基のGPUによるパイプライン化に基づき、3.5倍の高速化を得たが、現在の基準ではパイプライン化は良い選択ではなかったと評価
- GPT-2、GPT-3、scaling lawsへと続いた事前学習の時代は、インターネットデータの限界のため終わらざるを得ず、すでにpeak dataに到達したと見る
- 次の段階はエージェント、合成データ、推論時コンピュート、o1のような初期事例へと続き、長期的には、より推論的で自己認識さえ備えた質的に異なるシステムが登場し得る
2014年のseq2seq論文を10年後に振り返る
- NeurIPS 2014モントリオールで発表された Sequence to Sequence Learning with Neural Networks が、10年後の回顧対象となった
- サツケヴァーは当時の共著者と協力者に感謝を述べ、10年前の発表スライドを見返しながら、何が正しく、何がやや外れていたのかを点検した
- 論文の核心は3つに要約される
- テキストで学習された自己回帰モデル
- 大きなニューラルネットワーク
- 大きなデータセット
当時の核心的アイデアと実装
- 2014年の発表には Deep Learning Hypothesis が含まれていた
- 10層の大きなニューラルネットワークは、人間が1秒未満でできることを実行できるという仮定である
- 根拠は、人工ニューロンと生物学的ニューロンがある程度似ており、実際のニューロンは遅いという考えにあった
- 当時、学習可能なニューラルネットワークが10層程度だったため、「人間が非常に素早くできること」に焦点を当てた
- もう1つの核心は、自己回帰モデルが次のトークンを十分にうまく予測できれば、続くシーケンスの正確な分布を捉えられるというアイデアだった
- 完全に最初の自己回帰ニューラルネットワークではなかったが、うまく学習すれば望む結果が得られると強く信じた初期事例として紹介された
- 当時の課題は翻訳であり、今見ると控えめに見えるが、当時としては非常に大胆な目標だった
- 実装には LSTM が使われた
- サツケヴァーはLSTMを、Transformer以前のディープラーニング研究者が使っていた構造として紹介した
- LSTMを「90度回転したResNet」に近いとたとえ、現在residual streamと呼ぶ積分器と乗算構造があったと見ている
- 学習の並列化は、GPUごとに1つのレイヤーを配置するパイプライン化方式だった
- 8基のGPUで3.5倍の高速化を得た
- 現在の観点ではパイプライン化は賢明ではないが、当時はそのように進められた
スケーリング、コネクショニズム、事前学習の時代
- 2014年の結論スライドは scaling hypothesis の始まりと見ることができる
- 非常に大きなデータセットと非常に大きなニューラルネットワークを学習すれば成功が保証される、という考えが含まれていた
- サツケヴァーは、寛大に見れば実際にそのように展開してきたと評価している
- より長く生き残ったアイデアとして connectionism を挙げた
- 人工ニューロンが生物学的ニューロンとある程度似ていると信じれば、ニューラルネットワークを人間の脳の規模まで大きくしなくても、人間が行うほぼすべてのことを行うように構成できるという自信を与えると見ている
- ただし人間の脳には自ら再構成する能力があり、現在の学習アルゴリズムはパラメータ数と同じくらい多くのデータポイントを必要とするため、この点では人間のほうが依然として優れていると述べた
- この流れは事前学習の時代へと続いた
- GPT-2、GPT-3、scaling lawsが代表例として言及された
- 以前の協力者であるRadford、Kaplan、Dario Amodeiが、この方向性を実際に機能させることに貢献した
- 今日の進歩の原動力は、巨大なニューラルネットワークを巨大なデータセットで学習することにあった
事前学習以後の方向
- サツケヴァーは、事前学習は必ず終わると見ている
- ハードウェア、アルゴリズム、クラスターはコンピュートを増やし続けることができる
- データは1つのインターネットに依存しており、インターネットは1つしかない
- データはAIの化石燃料のようなもので、すでに peak data に到達しているため、今あるデータで対応しなければならないと表現した
- 事前学習以後には、複数の方向性が取り上げられた
- エージェント：将来の方向としてよく言及される概念
- 合成データ：それが何を意味するのか自体が大きな課題
- 推論時コンピュート：最近のo1モデルでより明確に見える方向
- 生物学の例として、哺乳類の体の大きさと脳の大きさの関係を扱った
- 哺乳類と非ヒト霊長類は似た関係を示すが、hominidsでは脳と体のサイズのスケーリング指数の傾きが異なる
- x軸とy軸がログスケールのグラフで、このような違いが現れる
- 生物学でも別の種類のスケーリングを見いだした前例があり、これまでAIがスケールさせたものは、初めてスケールの仕方を見つけた対象だと見ている
超知能、推論、質的に異なるシステム
- 長期的にこの分野は超知能へ向かっている
- 現在の言語モデルとチャットボットは驚くべきものだが、同時に奇妙なほど信頼性が低く、混乱することもある
- 評価では劇的に超人的な性能を示す場合もあり、この2つの姿を調和させるのは難しいと見ている
- 今後のシステムは現在と質的に異なる可能性がある
- 実際の意味でエージェント的になるだろうと予測した
- 現在のシステムは意味のある水準のエージェントではなく、ごく弱く始まった程度だと評価した
- 推論能力を持ち、限られたデータから理解し、混乱しなくなると見ている
- 推論は予測不可能性を高める
- 従来のディープラーニングは、人間の直感、つまり0.1秒の反応のような処理を再現することに近く、予測可能性が高かった
- 推論するシステムは、より多く推論するほど、より予測不可能になる
- 強いチェスAIが、最高の人間チェスプレイヤーにとっても予測不可能である点を例に挙げた
- 自己認識も可能性に含まれる
- 自分自身は世界モデルの一部であるため、self-awarenessは有用だと見ている
- こうした要素が合わさると、今日存在するシステムとは根本的に異なる性質と能力を持つシステムになり得る
- そのようなシステムで生じる問題は、今なじみのある問題とは大きく異なる可能性があり、未来は実際に予測しにくい
質疑応答で出た論点
- 生物学的に着想を得たAIについては、具体的な洞察がある人なら追求する価値があると答えた
- これまで成功した生物学的着想は「ニューロンを使おう」という非常に限定的な水準だったと見ている
- より詳細な生物学的着想を得るのは難しかったが、特別な洞察があれば有用になり得る
- 推論モデルがハルシネーションを自ら直せるかという質問には、可能性は非常に高いと答えた
- 長期的には、モデルが推論を通じてハルシネーションの発生を理解し、修正できるという方向性に同意した
- 一部の初期の推論モデルですでにそうしたことが起きている可能性も排除しなかった
- ただし、これをautocorrectと呼ぶのは規模を過小評価する表現だと見ている
- AIの権利、共存、インセンティブ構造については、明言を避けた
- AIが人間と共存し、権利を望むなら、悪くない結果かもしれない
- しかし状況は非常に予測不可能なので、自信を持って語るのは難しいと付け加えた
- LLMがマルチホップ推論を分布外へ一般化するのかという質問には、単純なイエス／ノーでは答えにくいと見ている
- 「分布内」と「分布外」が何か自体が問題である
- かつての統計的機械翻訳の時代には、データセットと同じ文言でなければ一般化と見なしたが、現在は数学コンテストの問題とインターネット上の議論の類似性をめぐり、暗記なのか一般化なのかを問うことになる
- 一般化の基準は大きく上がっており、人間のほうがよりよく一般化するのは確かだが、LLMもある程度は分布外一般化を行うと答えた
1件のコメント
Hacker News の意見
この発表はかなり中身の薄い内容に感じられた
疲れた頭で覚えている要旨は、過去10年のまとめ、利用可能なデータをほぼ使い切ってスケーリング則の限界に近づいたという話、次の段階としてエージェント・合成データ・計算の改善があり得るという話だった
それ以外は、人工ニューラルネットワークと生物学的ニューラルネットワークを比較する焼き直しに近く、体重と脳質量の正の相関といった内容だったが、明確な論旨はあまり見えなかった
質問は、幻覚をモデルが自分で認識できるのか、暗号資産関連の質問、そして少し興味深いマルチホップ推論についてだった
Ilya の性向とAIとの関わりが、終盤の緩い推測につながったように思う
彼はかなり遠い未来の推測的なテーマを語りたがる一方で、「いつ、どのようにとは言わないが、起こる」といった形で防御するので反論しにくくしている
こういうやり方は、最後の暗号資産の質問のような変な人たちを引き寄せやすく、直前のGANの影響力を扱った発表はセッションのテーマから逸脱していなかった
一文ではあるがかなり重要で、多くの人がすでに知っているとしても、Sutskever が直接言ったという点で共通認識として定着する意味がある
残りは事実上、導入と締めに近い
基本的な貢献者の大半はすでに潤沢な契約を持つ百万長者で、研究所や学科はAI研究テーマで大きな資金を確保している
今後10年、合成データ、エージェント、自動生成画像に胸が出ないようにする問題にはお金を使えるかもしれないが、根本的な進展が多いとは思えない
/remindme 10 years
Sutskever が「我々の知る形の事前学習は疑いなく終わるだろう」「データの頂点に達しており、もう残っていない」と述べた部分が核心
インターネットは人間が作ったコンテンツが有限であるという点で、石油のような有限資源だという比喩も出た
では、インターネットデータを何が置き換えるのか。選別された合成データセットだろうか？
著作権上の懸念から学習にあまり使われていない巨大な独占データセットはあるが、そのデータを実際に所有しているなら法的問題ははるかに少なくなる
たとえば Getty は巨大な画像ライブラリを持っており、他者が学習させれば訴訟リスクがあるが、Getty が自社AIを学習させるなら話は別
News Corp が Wall Street Journal や HarperCollins などの出版資産でAIを学習させる場合も同様
以前、物体検出器を学習させたとき、Blender の3Dモデル、パラメータ調整スクリプト、既存の機械学習モデルでカメラ補正とオーバーレイ方向を推論する方式を使ったが、実物を識別するのに非常にうまく機能した
ゲームエンジンで車両学習を似たように行っている人たちも知っている
精度を大きく引き上げる意外な戦術的細部があり、たとえば3Dモデルの表面テクスチャのような関係ない要素を学習セット内できちんとランダム化する必要がある
学習時に物体へランダムなフラクタルパターンを貼ると、実環境の擾乱に対して物体検出器がより堅牢になる
この場合、もはや「インターネット」は必須ではない
十分な規模と品質のドメイン特化データセットさえあればよく、その結果はすでに恐ろしいものになり得る
「州法」LLMはあくまで例であり、どんな分野でもドメイン特化の専門家が必要なら学習させればいい、という論理につながる
LLMは、報道されたことのない有名ミームのように、古参のインターネットユーザーなら知っていることをうまく思い出せない
4chan のようなデータを模倣させずに記憶させられるなら、学習に使うことがまったく無意味とは限らない
映画の脚本、歌詞、有名なYouTube動画の字幕、さらにはテレビ番組はどうだろうか
一部は進化に由来するだろうが、基本的な言語能力や基本的な世界モデル化のように進化から来た部分は、インターネットデータである程度すでに合わせ込めていると思う
現在の事前学習は人間よりはるかに多くのデータを使っており、絵を描くために Getty の全画像を見る必要がないのと同じく、自己認識や自己改善のモデルもそうだろう
ある分野で専門家レベルに達するのに、インターネットデータであれ何であれ、次トークン予測だけを学習することが解決策ではない
データセットを開放して競争条件を平準化する理由はなく、閉じておけば潜在的な発見を独占できる
公開データはインターネットの基盤だが、いくつかの産業は発見を何十年にもわたって徹底的に隠すやり方の上に成り立っている
Ilya が2012年にニューラルネットワークのスケーリング論文を主導した Quoc Le の写真から発表を始めたのはうれしかった。その論文が、当時ディープラーニングに入るきっかけになった
彼のコメントは比較的謙虚で、公開されている先行研究に基づいているが、今大きなことに取り組んでいて、想像力も大きいことは明らかに見える
もう「猫は袋から出てしまった」ので、AI の未来はおそらく新しい世代のリーダーたちが率いることになるだろうが、彼らが人道的であることを願うばかりだ
彼が言った「推論が増えるほど予測不能になる」という表現は、ものすごく控えめな言い方だと思う
推論は、ある意味では予測不能性とほとんど同じものだと考えるべきで、より具体的には、有用な推論は定義上予測不能だ
このフレーミングは、アラインメントのような問題で重要になる
理性は非常に予測可能なものと見なされ、同じ事実の集合から合理的に推論する2人は、似た結論に到達すると期待される
Ilya が言おうとしているのは、非常に賢い人はそれほど賢くない人にとって「予測不能」に見えることがある、という話に近いようだ
理性そのものが予測不能なのではなく、十分に速く質の高い推論をすると、後から見れば筋が通っていても、誰も事前には予想しなかった結論に到達しうるということだ
この発表での予測は、人が0.1秒で行う 直観 と結び付けられている
強力な推論モデルは、定義上、直観的ではない答えに到達せざるを得ない。直観的であれば、長い推論の連鎖なしに、はるかに早く同じ答えに到達していたはずだからだ
ここでの「推論」は、数学的な意味での証明とは異なる。数学では、直観的な結論にも非常に特殊な証明が必要になることがある
人間のプレイヤーは AI ほど先の手を計算できないため、ある手を理解しにくいことはあるが、それでもチェス AI が同じルールの下で同じ目標を最適化していることは、ほぼ確信できる
推論モデルでは、アラインメントは所与のものではない
まったく別のルールやコスト関数の下で推論しているかもしれないし、よりオープンな問いで人間が理解できない出力を出したとき、それが天才的な発想なのか、アラインされていない思考なのかを簡単には言えない
今週の DeepMind ポッドキャストの Oriole Vinyals 回は、この発表と似たテーマ、つまり LLM の現状と学習の今後を扱っていて、はるかに興味深かった: https://pca.st/episode/0f68afd5-2b2b-4ce9-964f-38193b7e8dd3
石油の比喩は本当に的確だ。Mr Worldcoin とその同類の純資産をさらに3セント増やすために、湖をいくつか余分に煮えたぎらせて干上がらせることには十分な価値がある、ということなのだから
一部の著名な機械学習実務家が、いまだに Transformer の「ニューロン」を実際の 生物学的ニューロン に例えているのは驚きだ
実際のニューロンは、スパイク、イオン勾配、複雑な樹状突起構造、精巧な生化学過程に支配されるシナプス可塑性に依存している
Transformer の単純で微分可能な線形層や点ごとの非線形性には当てはまらない要素だ
こうした比較を支持する信頼できる神経科学者や生物学者がいるのか、それとも機械学習コミュニティの慣習としてだけ維持されている比喩なのか気になる
ニューラルネットワークは古くからあったが、2012年が ディープラーニング革命 の始まりだった
この基準で見れば、脳とニューラルネットワークはどちらも似た性質を持つコネクショニズムの一種であり、互いに比較し、一方から着想を得てもう一方に応用することは十分に筋が通る
数学的ニューロンは、まったく異なる仕組みで動作していても、実際のニューロンと 似た機能 を持ちうる
私も真面目な比較があったのか気になるし、あるなら読んでみたい
世の中の多くの知識は、実証実験 を通じてしか開けられない形で閉ざされており、計算はその実験をより効率的にすることにしか実質的には役立てない
ある介入について、実際にランダム化比較試験を行う必要があり、そこには現実の時間と原子が必要になる
発表全体は興味深い: https://www.youtube.com/watch?v=YD-9NG1Ke5Y
ただ興味深かったのは、同じスライドが同じ箇所で非人類系統の堅い上限も示していたことだが、彼はその部分には触れなかった
LLM で補正した文字起こしがある。元の YouTube 字幕に Gemini Flash 8B を使用した: https://www.appblit.com/scribe?v=YD-9NG1Ke5Y#0
音声文字起こしの補正は、1〜2ページ以下に切って入れないと、どの LLM でも良い結果を得るのが難しい領域だった
もしかすると別のツールを使ったのかも気になる