- 2017年、Googleの研究者8人による「Attention Is All You Need」は、言語処理を逐次モデル中心からtransformerアーキテクチャへ移し、生成AIの基盤となった
- Jakob Uszkoreitは、LSTMは長いテキストの後半にある文脈の手がかりを見落としやすいと考え、文全体をまとめて参照するself-attentionを代案として強く推し進めた
- Illia Polosukhin、Ashish Vaswani、Niki Parmar、Llion Jones、Łukasz Kaiser、Aidan Gomez、Noam Shazeerが加わることで翻訳実験は拡大し、Shazeerの実装の後、BigモデルがEnglish-to-German翻訳の記録を更新した
- 論文は2017年5月19日のNeurIPS締切直前に提出され、評価が割れたレビューの後、12月のポスターセッションで大きな注目を集め、Googleは防御的目的で仮特許を出願した
- 著者8人は全員Googleを去っており、Nearを除くCharacter AI、Sakana AI、Essential AI、Cohere、Inceptiveなどはtransformer技術を基盤に成長している
「Attention Is All You Need」がもたらした転換
- 「Attention Is All You Need」は、2017年春にGoogleの研究者たちが執筆した論文である
- 著者8人は貢献順を決めないために各自の名前にアスタリスクを付け、「Equal contributor」「Listing order is random」という脚注を添えた
- この論文はneural networkベースのAIをtransformerアーキテクチャへと拡張し、transformerはChatGPTやDall-E、Midjourneyのような生成AI製品の中核構造となった
- Geoffrey Hintonは、transformerがなければ現在の状況には到達できなかっただろうと評価している
- OpenAIやその他の企業が、人間の成果物に対抗したり、場合によってはそれを上回ったりするシステムを作る流れを指した発言である
- 論文の著者8人は全員Googleを離れ、それぞれ2017年に作ったこのアーキテクチャで動くシステムに関連する仕事をしている
self-attentionアイデアの出発点
- transformerの出発点は、Jakob Uszkoreitのself-attention構想である
- 彼はGoogle翻訳グループで働いた後、2012年にGoogle検索ページでユーザーの質問に直接答えるシステムを作るチームに加わった
- 当時のGoogleは、Apple Siriが検索トラフィックを脅かしかねないと見て、この分野により大きな関心を向けていた
- 当時の言語モデルはrecurrent neural networkとLSTMに依存していたが、長いテキスト処理には限界があった
- 例文
Joe is a baseball player... got two hits では、「two hits」を理解するには前にあるbaseballの情報を覚えている必要がある
- LSTMはより大きく複雑なテキストシーケンスを扱えるようにしたが、それでも単語を逐次処理するため、後半の文脈手がかりを見落とすことがあった
- Uszkoreitは2014年ごろ、self-attentionを構想した
- self-attentionは、単語を翻訳するとき文中の他のすべての位置を参照できる
- 単語を順番に見る方式ではなく、複数の入力をまとめて見る並列的な方式であり、機械学習ブームの中で大量生産されていた並列処理チップと相性がよかった
- 既存のneural architectureを捨てるアプローチだったため、反応は懐疑的だった
- Uszkoreitの父Hans Uszkoreitも、夕食の席での会話では同じ考えを共有しなかった
- Uszkoreitは同僚たちと小規模なテキスト実験を行い、2016年に論文を出したが、既存の共同研究者たちはこれをGoogle検索や広告などに適用することのほうに関心を示した
偶然の合流と「transformer」チームの形成
- 2016年、UszkoreitはGoogleのカフェでIllia Polosukhinと昼食を取りながらself-attentionを提案した
- Polosukhinは、Google.comで直接回答を実現するには、ミリ秒単位で応答する低コストかつ高性能なシステムが必要だと考えた
- 彼はAshish Vaswaniと協業しており、VaswaniはGoogle Brainで大きなプロジェクトを探していたところ、このself-attentionのアイデアに加わった
- 3人は「Transformers: Iterative Self-Attention and Processing for Various Tasks」という設計文書を作成した
- 「transformers」という名前は当初から使われており、入力情報を変換して、人が理解するのと同程度の理解を抽出する、あるいはそう見せるメカニズムという意味が込められていた
- Uszkoreitは、子どものころHasbroのTransformer玩具で遊んでいた記憶もこの名前と結び付けている
- その後、Niki ParmarとLlion Jonesが加わった
- ParmarはUSCで修士号を取得した後Googleに入り、UszkoreitとともにGoogle検索改善のためのモデル変形に取り組んでいた
- JonesはGoogle ResearchでPolosukhinのマネージャーの下におり、同僚Mat Kelceyからself-attentionの概念を聞いた後、transformerチームに加わった
- Google BrainのŁukasz KaiserとインターンのAidan Gomezも参加した
- GomezはUniversity of TorontoでGeoffrey Hintonの研究室がある機械学習グループに所属し、Kaiserに関連論文の拡張アイデアを送り、インターンの機会を得た
- KaiserとGomezは、自分たちのプロジェクトとself-attentionプロジェクトを統合するかを議論した末、統合することを決めた
記録を塗り替えた実験と締切直前の提出
- チームはself-attentionモデルで機械翻訳を行い、BLEUベンチマークで性能を測定した
- 初期モデルはLSTMの代替案と同程度の水準だったが、それ以上ではなかった
- Noam Shazeerが偶然このプロジェクトを知って加わったことで、実装品質が大きく向上した
- Shazeerはtransformerチームのコードを自ら一から再実装した
- 彼は既存のrecurrent neural networkに不満を抱いており、それを置き換えるという発想で参加した
- チームメンバーは彼の実装を「magic」「alchemy」「bells and whistles」といった言葉で表現し、Uszkoreitはself-attentionのような直感的メカニズムを実際に機能させるには、経験豊富な少数の実装者が必要だと見ていた
- 2017年のNeurIPS投稿締切である5月19日を前に、実験のスピードは加速した
- チームは12時間学習させた基本transformerモデルと、3日半学習させたより強力なBigモデルをテストした
- English-to-German翻訳で基本モデルはすべての競合モデルを上回り、Bigは既存記録を大きく更新するBLEUスコアを出しつつ、計算効率もより優れていた
- 締切直前の2週間、チームはBuilding 1965で集中的に作業した
- ablationにより、どのモジュールや手法が実際に必要なのかを削除・置換しながら確認した
- maskingを正しく行っていなかったことで生じた問題のようなバグを修正しながら、transformerの現在の構成要素が高速な反復実験の中で整理されていった
- タイトルはLlion JonesがBeatlesの「All You Need Is Love」を思い出して「Attention Is All You Need」と提案した
- English-Frenchの結果は提出5分前に出そろい、論文は締切2分前に提出された
- Googleは防御的な目的の特許ポートフォリオのため、仮特許を急いで出願した
Google、OpenAI、そして8人のその後
- NeurIPSのレビューは、好意的1件、非常に好意的1件、「悪くない」程度1件と割れており、論文は夕方のポスターセッションに採択された
- 2017年12月6日の4時間にわたるセッションは、もっと知りたいと考える科学者たちでにぎわった
- セッション終了時刻の午後10時30分になっても人々は残っており、警備員が退出を促さなければならなかった
- LSTMの共同発明者であるSepp Hochreiterが訪れて研究を称賛したことは、Uszkoreitにとって満足感のある瞬間だった
- transformerはGoogle内部でも世界でも、すぐに支配的になったわけではなかった
- Shazeerは論文公開のころ、Google経営陣に対し、検索インデックス全体を捨ててtransformerベースの巨大ネットワークを学習させようと提案した
- Kaiserでさえ当時はその提案を突飛だと見ていた
- OpenAIはより速く動き、Ilya SutskeverがAlec Radfordにこのアイデアに取り組むよう提案した後、最初のGPT製品が登場した
- Googleは2018年から製品にtransformerを統合し始めた
- 最初の適用先は翻訳ツールだった
- 同年、transformerベースの言語モデルBERTを発表し、翌年には検索への適用を始めた
- Sundar Pichaiは、ChatGPTのような大規模言語モデルを先に出さなかった理由について、他社がその動作を示した後のほうがGoogleはより多くのことをできたと語っている
- 論文の著者8人は全員Googleを去った
- Noam ShazeerはCharacter AIを共同創業し、推定評価額は50億ドルである
- Llion Jonesは東京拠点のSakana AIを共同創業し、評価額は2億ドルである
- Jakob UszkoreitのInceptiveは、評価額3億ドルのバイオテック企業である
- Illia PolosukhinのNearは、時価総額約40億ドル相当のトークンを持つブロックチェーンを構築している
- Niki ParmarとAshish Vaswaniは2021年にAdeptを立ち上げ、その後Essential AIを創業し、Essential AIは800万ドルの投資を受けた
- Aidan Gomezは2019年にTorontoでCohereを共同創業し、推定評価額は22億ドルである
- Łukasz Kaiserは会社を創業せずOpenAIに加わり、Q*という新技術の発明者の一人とされる
- Nearを除く彼らの企業はtransformer技術を基盤としている
- Googleは非伝統的なアイデアを追求できる環境を作り、著者全員が同じオフィスで働いていた
- 廊下での出会いや昼食時の会話が重要なきっかけになった
- 8人のうち6人は米国外で生まれ、残る2人も、それぞれドイツ人の両親がカリフォルニアに一時滞在していた際に生まれたケースと、迫害を逃れてきた家族を持つ第一世代アメリカ人である
- Uszkoreitは、イノベーションは適切な条件、適切な時期の人々、楽しさ、適切な問題、そして運が重なったときに生まれると考えている
1件のコメント
Hacker News のコメント
アテンションモデルというより、アテンション自体はその論文群の前から存在していた。
彼らがやったことは、特定の文脈で次の単語列を予測するにはそれだけで十分だと示したことに近い。2018年に似たフレームワークを使ったとき、かなり奇妙だが面白い挙動が出て、それを解決しようとしたものの、単純なアルゴリズムに計算規模を足すほうが良い、ということをほかのグループのようには見抜けなかった。あるグループが AI を発見して変えたと言いながら、ほかのグループを無視するのは腹立たしい。この研究者たちは称賛に値するが、現代の AI を発明したというより、興味深い形で発展させたのだ。今も、より決定論的なアプローチ、世界モデル、メモリ、グラフ、エネルギー最小化へ戻ろうとする流れはあり、生成型は面白く、学んだことも多いが、チップをひたすら追加するだけで AGI/SGI を解けるのかは、まだ論文として書かれていない。
今日の驚くべき最先端の状況は、トランスフォーマーアーキテクチャなしには存在しない。トランスフォーマーが単に計算規模の恩恵を受けた幸運な乗客にすぎなかったなら、世界を揺るがしたアプリは ChatGPT ではなく ChatMLP や ChatCNN だったはずだ。だがそうではなく、2024年になっても自然言語処理で競争できるアーキテクチャは存在しない。トランスフォーマーは、学習の並列性といった優れた性質を持つ、本当に深く驚くべきアイデアだ。後知恵では GPT をほとんど派生的なアイデアのように見下しがちだし、いつかトランスフォーマーを置き換える状態空間モデルのようなものにも同じ修正主義を当てはめることになるだろう。GPT が先行研究の上に築かれ、ほかのアプローチも評価されるべきなのは当然だ。それが科学というものだ。だがトランスフォーマーを作った人たちは、この記事のように称賛されるに値するし、それがほかの全員を貶めるわけでもない。この8人は世界を変えたし、心から愛される資格がある。
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
個人的には、AGI に近づくには計算能力とニューラルネットワークのアーキテクチャの両方が必要になりそうだ。
昔の手法は読んだことがあるが、メモリグラフやエネルギー最小化といった表現は新鮮だ。もっと学びたい人に勧められる最近の論文や記事があれば知りたい。
Google の全盛期だった2014年ごろ、Uszkoreit の当時の自然言語処理チームでの役割について話したことがある。
「予算が無制限なら何をするか」と聞いたら、彼はただ「もうそうなっている」と答えた。
クォータシステムは上限に達した瞬間いつでも作動し得るし、GPU は複数の Borg セルに散らばっているため上限が制約される。そこで、研究者がすべての Borg セルをグローバル検索できるようにXBorgが作られた。データセンターの設備投資は毎年約50億ドルで、Google は毎年数千億ドルの売上を上げている。無制限予算というあり得ない状況を尋ねるのは、「死んだ後に何をするか」と聞くのに似ている。死んだら文字どおり何もできない。その質問の文脈で「もうそうなっている」が何を意味するのかも理解しにくかったし、無制限予算を持っていると仮定した発言への直接的な反応はこうだった。
「現実的には2019年、ひょっとすると2020年に GPT-3、あるいは GPT-3.5 まで出せた可能性があった。大きな問いは、彼らがそれを見たかどうかではなく、なぜ我々がそれを見ていながら何もしなかったのかだ。答えは厄介だ」
答えは、独占企業が技術革新を抑え込むからだ。すでに確立した広告中心の検索事業が、新たに台頭するチャットボットによって検索広告収入を失う可能性があった。電力会社、ガス発電所、シェールガス生産者が投資家所有のコンソーシアムとして結びついている場合に似ている。電力会社部門が太陽光パネルを大量設置して、公益事業者に売っていた天然ガス収入を断ち切りたいと思うだろうか。もちろん思わない。Alphabet にMa Bell 式の反トラスト分割を適用する良い根拠になる。
Sundar はその技術と大衆の反応を恐れ、埋もれさせようとした。
ウェブで情報を検索することは多くの有用な用事を解決してくれたが、今ではその大半は ChatGPT や Claude などのほうがうまくこなす。Gemini はあるものの、Google が既存製品の検索広告収入の損失を受け入れながら、いつか Gemini 検索で収益化できるだろうか。大規模言語モデルのインターフェースで広告をどう入れるかは、まだ解けていない。Google はインターネット時代の旧式な新聞社のようにも感じる。ウェブ広告モデルも定着するまでには時間がかかった。
Google が今日の OpenAI ではないというのは、かなり不思議です。初期から DeepMind と博士号人材の大軍を抱えていたにもかかわらずです
2010年代のディープラーニングは、まだ GPU をどう活用するかを探っている最中でした。GPT-2 以降に必要になった計算規模は、2017/2018年にはほぼ不可能だったはずです。Udacity の講義でも K80 GPU を数時間使う程度でした。2020年ごろになってようやく、スケーリング仮説を試せるほど途方もない計算資源を投入することが可能になりました。大規模言語モデルの台頭は、アルゴリズムと同じくらい GPU の発展の物語でもあるという点で、苦い教訓をはっきり示しています
Geoffrey Hinton と Fei-Fei Li のこの対談は、関連する歴史をかなり多く扱っています。長さは1時間50分です
https://www.youtube.com/watch?v=QWWgr2rN45o
https://www.youtube.com/watch?v=E14IsFbAbpI
Hinton の研究歴と、なぜその方向へ進んだのか、Li が ImageNet に注いだ努力まで扱っています
「著者たちは全員 Google 社員だっただけでなく、同じオフィスで働いていた」
さりげない オフィス回帰の宣伝のように見えます。対面での協業と、邪魔されない深い集中時間を組み合わせるやり方が、おそらくイノベーションのための最高の手法なのでしょう
だから現実的にはハイブリッドに近く、理性的な人はみなそう言っています
学術界の人たちがドア付きの個室を持つのには理由があります。オープンオフィスは本当に嫌いですが、他の人がいる建物内の個室は素晴らしいです
「8人のうち6人は米国外で生まれ、残る2人はそれぞれ、一時的にカリフォルニアにいた永住権保持者のドイツ人両親の子どもと、迫害を逃れてきた家族を持つ第一世代の米国人だ」
米国には直すべき点が多いと思いますが、地球上でこういうことが可能な国は 米国だけです。これは事実です
シンガポール、オーストラリア、ドイツ、カナダのように、外国生まれの居住者の割合が米国より高い国も多くあります。以前 Google UK で働いていたとき、私のチームはすべての大陸から来た 外国生まれのエンジニアだけで 100% 構成されていました
Google 社員が最初の Transformer 実装とレビュアーコメントを cs/ で見られるというのは、かなりクールです
AI の歴史における記念碑的な瞬間が、Google のイントラネットにそれほど多く保存されています
目を引く箇所です
「8人のうち6人は米国外で生まれ、残る2人はそれぞれ、一時的にカリフォルニアにいた永住権保持者のドイツ人両親の子どもと、迫害を逃れてきた家族を持つ第一世代の米国人だ」
残りはインド、ウクライナ、ドイツ、カナダの学部出身で、University of Toronto の合格率は 43% です
中国や日本のように、米国ほど移民を歓迎しない国であれば興味深い観察かもしれません
California が世界最大級の経済圏の一つである理由は、世界のほぼあらゆる地域の人々を引き寄せ、受け入れているからです