トランスフォーマーを生み出したGoogleの社員たち

 (wired.com)
2 ポイント 投稿者 GN⁺ 2024-03-21 | 1件のコメント | WhatsAppで共有

Googleの社員8人が現代AIを発明するまで: 内部ストーリー

  • 2017年春に書かれた科学論文「Attention Is All You Need」には、8人の著者がいた。
  • 彼らは全員Googleの研究者で、最もキャリアの長い貢献者であるNoam Shazeerは、自分の名前が最初に記載されているのを見て驚いた。
  • 著者たちは貢献度の順位付けという慣行を「破壊」することに決め、全員の名前の横にアスタリスクを付けて、「掲載順は無作為である」という脚注を加えた。

変革の始まり

  • この論文は、AI分野におけるニューラルネットワークという技術を発展させ、まるで異星の知性の産物のように感じられる強力なデジタルシステムへと変貌させた。
  • このアーキテクチャは、ChatGPT、Dall-E、Midjourneyのような人工知能製品の秘密の材料として使われている。
  • この論文は発表から7年を迎えようとしており、伝説的な地位を獲得した。

変革のアーキテクチャ: トランスフォーマー

  • トランスフォーマーの物語は、Jakob Uszkoreitという4人目の著者から始まる。
  • Uszkoreitは、自身のアイデアである自己注意（self-attention）を基に新しいアプローチを考案した。
  • このネットワークは、文のどの部分を参照するかによって単語を翻訳でき、それがシステムによる優れた翻訳生成に役立った。

協業と革新

  • Uszkoreitは、自己注意モデルが再帰型ニューラルネットワークよりも高速で効果的になりうると考えた。
  • このアイデアは、Illia Polosukhin、Ashish Vaswaniら他の研究者との協力を通じて発展した。
  • 彼らは「Transformers: Iterative Self-Attention and Processing for Various Tasks」という設計文書を書いた。

論文の出版と影響

  • 研究チームはトランスフォーマーモデルを使って言語翻訳を行い、その性能をBLEUベンチマークで測定した。
  • 彼らの新しいモデルは競合を上回り、より大きなモデルであるBigは、それまでの記録を破るBLEUスコアを獲得した。
  • 論文は締め切り直前に提出され、Googleはこの成果に関する仮特許を迅速に出願した。

Googleの反応と変化

  • Google内部では、この成果は単なるもう1つの興味深いAIプロジェクトと見なされており、Googleは2018年からトランスフォーマーを製品に統合し始めた。
  • しかしこうした変化は、OpenAIの急進的な跳躍や、Microsoftがトランスフォーマー基盤のシステムを製品ラインに大胆に統合したことと比べると、控えめに見える。

Googleを去った著者たち

  • 著者たちは全員Googleを離れ、自分たちが作ったシステムを基盤にさまざまな形で活動している。
  • その多くはGoogleを去り、新たなAIスタートアップへと移った。

GN⁺の意見

  • この記事は、AI分野で重要な役割を果たしたトランスフォーマーモデルの誕生と発展の過程を詳しく説明することで、AI技術の進歩に関する興味深い洞察を提供している。
  • トランスフォーマーモデルは現在、人工知能の言語処理における中核技術であり、ChatGPTのような対話型AIの土台となる重要な発明である。
  • この記事は、Google内部の革新的な研究環境が、いかに重大な技術的ブレークスルーを可能にしたかを示している。
  • しかし、Googleがこの技術を商業的に活用するにあたってやや保守的なアプローチを取った点は、企業のイノベーションの速度と戦略について重要な教訓を与えている。
  • この技術を導入する企業や開発者は、トランスフォーマーモデルの複雑さと必要資源を考慮する必要があるが、それによって得られる利点は非常に大きい。

関連記事

1件のコメント

 
GN⁺ 2024-03-21
Hacker Newsの意見

  • 注目モデルに関する議論:

    • Attentionメカニズム自体は新しいものではないが、特定の文脈で次の単語列を予測するのに十分であることを示した研究があった。
    • 2018年にこのフレームワークを使ったとき、予想外の挙動を示したが、それは興味深い経験だった。
    • 単純なアルゴリズムを大規模に計算することが、より良い結果をもたらすと別のグループが発見した。
    • ある1つのグループだけがAIを発見し変革したと主張するのはうんざりする。
    • 研究者たちは称賛に値するが、現代AIを発明したわけではなく、それを興味深い形で発展させた。
    • 現在は、世界モデル、メモリ、グラフ、エネルギー最小化など、より決定論的なアプローチに戻りたいと考えている。
    • 生成モデルは面白く多くを教えてくれたが、単にチップをさらに追加することでAGI/SGIを解決できるのかは確かではない。

  • Googleの全盛期についての回想:

    • 2014年のGoogle全盛期にUszkoreitとNLPチームの役割について話した際、無制限の予算があれば何をするかと尋ねると、彼は「私にはそんな予算がある」と答えた。

  • AIの歴史に関する対話:

    • Geoffrey HintonとFei-Fei Liとの対話では、AIの歴史、Hintonの研究の方向性、そしてLiのImageNetへの取り組みが扱われている。

  • GoogleとOpenAIの比較:

    • GoogleがOpenAIではなかったのは驚きであり、Googleは初期にDeepMindと多くの博士号取得者を抱えていた。

  • Google社員たちの協業への言及:

    • 著者全員がGoogle社員で同じオフィスで働いていた点を強調し、対面での協業こそがイノベーションのための最高の技術だと示唆している。

  • GoogleのAI戦略への批判:

    • 著者の誰一人として現在Googleに勤務しておらず、Google CEOがAIをどれほど誤って扱ったのか不思議に思う。

  • Google社内のAI歴史文書:

    • Google社員は、最初のトランスフォーマー実装やレビュアーコメントのような、AIの歴史における重要な瞬間が保管されたGoogleイントラネットを見ることができる。

  • 著者たちの多様性への注目:

    • 8人の著者のうち6人は米国外で生まれ、残る2人はそれぞれ、カリフォルニアに一時滞在していたドイツ人のグリーンカード保持者の子どもと、迫害を逃れてきた家族の第一世代アメリカ人だった。

  • R&D部門への支持:

    • 非課税のR&D部門を支援することに賛成で、10年に一度出るかもしれないアイデアが経済全体を前進させてほしいと願っている。
    • 現代コンピューティングの驚異は、自社の収益に即座の影響を与えなくても行われたR&D拡大の結果である。