Noam Shazeer、OpenAIに合流

 (twitter.com/NoamShazeer)
1 ポイント 投稿者 GN⁺ 7 시간 전 | 1件のコメント | WhatsAppで共有
  • Transformerアーキテクチャを生み出した中心人物であり、Google Geminiの共同リードだったNoam Shazeerが、OpenAIへの合流を発表
  • 彼は2000年にGoogleへ入社した初期メンバーで、検索のスペル訂正改善やAdSenseの中核アルゴリズムの開発に貢献
  • 2017年の「Attention Is All You Need」論文の共同著者であり、ほぼすべての現代的なLLMの基盤となるTransformerアーキテクチャを作り上げた
  • また、LaMDAとMeenaの主要貢献者でもある
    • Meena — 2020年にGoogleが公開したオープンドメイン対話型チャットボットで、26億パラメータ規模のモデルを通じて、より自然で文脈に沿った対話を目指した研究プロジェクト
    • LaMDA (Language Model for Dialogue Applications) — Meenaの後継として2021年に発表された対話特化の大規模言語モデルで、自由な話題による自然なマルチターン対話の生成を目標とし、その後GoogleのチャットボットやBardの初期基盤技術へとつながった
  • 2021年にCharacter.AIを共同創業してGoogleを離れたが、2024年に約4兆ウォン（$2.7B）規模でGoogleに買収されて復帰し、VP EngおよびGemini共同リードとして活動していた

関連記事

1件のコメント

 
GN⁺ 7 시간 전
Hacker Newsの意見

  • 関心のある人向けに、Wiredが2年前に Attention Is All You Need 論文の舞台裏を扱っていた: https://www.wired.com/story/eight-google-employees-invented-...
    各著者の貢献を理解するうえで文脈を与えてくれる。記事ではShazeerについて、彼の参加が決定的であり、**自己注意（self-attention）**のような理論的・直感的なメカニズムは、生命力を示すには経験豊富な少数の「魔法使い」が非常に慎重に実装しなければならないことが多いと述べている。Shazeerはまさに自分のやり方で Transformer チームのコードのバージョンを書き直し、「基本アイデアを持ってきて自分で作った」と語っており、ときどき Kaiser に質問したものの、たいていはしばらく試してから戻ってきて「ほら、動く」と言ったという。チームメンバーが後に「魔法」「錬金術」「付加装置」といった言葉で描写したやり方で、システムを一段引き上げたという話

    • 「魔法」「錬金術」「付加装置」といった表現は、非技術系の大衆に対して実質的な内容なしに大げさに飾り立てる訓練をかなり受けた人たちのように聞こえる

  • Noam Shazeer は、Transformer アーキテクチャを紹介した記念碑的論文『Attention Is All You Need』の主著者の一人

    • これは彼の重要性を過小評価した表現だ。著者順はランダムだったが、核心的なアイデアは本当に彼のものだったと見ている。これが GDM について何を物語っているのかも気になる

  • 一連の流れを追っていない人向けの文脈: Shazeer は2000年に Google に加わった古参の Google 研究者で、『Attention Is All You Need』の共著者だった
    彼は2021年に Google を離れて Character.AI を共同創業し、2024年に Google は Character.AI とのライセンス・人材契約を通じて、彼と一部の Character.AI 研究者を呼び戻した。報道上の規模は約27億ドルで、その後彼は Gemini の共同リードになった。今度は再び Google を離れて OpenAI に行くという流れで、興味深い時期だ

    • 彼が最初に Google を離れた理由は、自分が可能だと考えていたチャットボット型製品を Google が出そうとしなかったからだ。Google は大金を投じて彼を呼び戻し、Gemini リードの一人に据えた
    • Dwarkesh ポッドキャストで Jeff Dean と一緒に出ていた Noam を初めて見たが、Google の人たちが物事をどう見ているかを少し味わいたいならおすすめだ
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • この段階になると、本当に報酬が誘因なのか、それとも何ができるかのほうが重要なのか気になる。Google でも OpenAI が出せるだけのものは簡単に出せそうだが、古い会社だから本当に特殊な条件を合わせにくいのかもしれない
    • 買収された人が2年もたたずにどうやって去れるのか気になる
    • 最終的に「Hopfield Networks is All You Need」という結論に到達するといいのだが

  • うわ、戻ってきてからまだ間もないのに、彼が辞めるほどの理由っていったい何だろう?
    これが正しくないことを願うが、当たっているのではと心配になる: https://x.com/signulll/status/2067446889956430273

    • 上のリンクを踏みたくない人向けの nitter リンク: https://nitter.net/signulll/status/2067446889956430273
    • signull は知られた業界インサイダーというより、匿名の暴言アカウントに近いが、少なくとも外から雰囲気で追っている立場からすると、Sam Altman が OpenAI にどう貢献しているかをかなりうまく捉えているように思える
    • 推測するなら、金も一役買っていたのだろう
    • Silicon Valley の1エピソードのように読める。今あのドラマをリブートしたら、本当に笑える題材がたくさんあるはずで惜しい
    • 「金」と、Altman 側の大量のたわごとが理由だと見る

  • [修正: 私のコメントはもともと、Noam を別の「Scam Altman」と呼んでいたコメントへの返答だったのだが、親が変わっていた。元のサブスレッドが整理されたこと自体は構わないが、この文脈がないと理解しにくいと思う。]
    Noam は本物の実力者で、昔の2000年代の Google エンジニアリング内部ではかなり伝説的な存在だった。Paul Buchheit が「スペルチェッカーをどう作るか」という面接質問で彼を面接したところ、彼は当時の最新技術より優れたものを考え出し、その後、事実上最初の2週間の Noogler プロジェクトとして Google のスペル修正機能を作り上げたという話がある
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

    • 彼がそこまで賢い人なら、自分が何をしているのか当然わかっていたはずで、これが全部ただの事故だったとどう主張できるのかわからない
      “Google and Character.AI agree to settle lawsuits over teen suicides” - https://www.axios.com/2026/01/07/google-character-ai-lawsuit...
      注意が必要。非常に衝撃的だ: https://www.judiciary.senate.gov/imo/media/doc/e2e8fc50-a9ac...
    • うわ、彼はすでに2000年にAIで問題を解いていたことになる。そのスペル修正機能はウェブで学習され、最初に広く使われた AI ツールになったのだから、数十年先を行っていた

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    ここには少し洞察がありそう。訂正: 投稿は削除されたようだが、コメントは見られる。要するに、よく言ってもその人物は政治的に露骨で、強い信念を持っていたということ

  • Geminiにとってはかなり悪いニュース。昨年2.5 Proで一時的に持ち直したのは、Noamが率いていたように見えた

    • 正直、長期的にはほとんど影響はないと思う。モデルには堀がなく、ますますコモディティ化している。
      それとは別に、Googleはかなり良い位置にいる。Anthropic/OpenAIのようにAIに資金をつぎ込んでいるわけでもなく、AIを統合できる製品領域を持っている。さらに成熟した広告モデルもあるので、大規模言語モデルから実際の売上を少しでも生み出せるのは、むしろその部分かもしれない

  • 1つ目の質問: OpenAIはこれにいくら使ったのだろう?
    2つ目の質問: OpenAIはなぜその金を使って、採用で明らかにより多く払えるGoogleの人材を引き抜こうとするのだろう? 市場をリードしていて、財務的にもある程度制約のあるAnthropicではなく

    • 関連報道を見ると、Anthropicの人たちのほうがはるかに忠誠心が高く、OpenAIやMetaの人材引き抜きの試みもおおむね成功していないようだ

  • うわ、GoogleはNoamを呼び戻すために数十億ドルを出したのか。報道が正しいなら、OAIは本当に印象的なことをやったわけだ

  • AI採用はだんだんスポーツのフリーエージェント市場のように見えてきた。
    KarpathyはAnthropicへ、そして今度はNoamがOpenAIへ

    • KarpathyはOpenAIに行くのかと思っていた