10年前の Google は、働く場所として強力だった。Microsoft では、数個のコア割り当てを得るために人を説得し、数日、ひどい場合は数週間待たなければならず、許可が下りないこともあった
一方 Google では、入社オリエンテーションのコードラボ初日から、テラバイト規模のデータを処理する分散バッチジョブを立ち上げられた。その対比は非常に大きく、Google は摩擦が低く、物事がそのまま進んでいく環境で、何かをリリースせざるを得ないようにシステムが組まれていた。ただし、過去形である点が重要だ
OpenAI の David Luan が「Why Google couldn’t make GPT-3」で語った内容とは対照的だ: https://www.latent.space/p/adept
Google では結局、クリティカルマスを作れなかったという。彼が Google の言語モデルへの取り組みを率い、Brain のリードの一人だった年に、その理由が明らかになった。当時 Brain Credit Marketplace というものがあり、各自がクレジットを受け取り、需要と供給に応じてチップを買う仕組みだった。巨大なジョブを回すには、同僚19〜20人に作業をしないよう説得しなければならず、そのような構造ではボトムアップで大規模拡張のためのクリティカルマスを作るのは非常に難しかった。Google チームは奮闘したが、OpenAI は大きな賭けに出て集中したため勝てた、という内容だ。エピソード全体が非常に興味深い
これらのメールは、FTC が Google を相手に進めている反トラスト訴訟の一部として公開されたものだ。FTC は Google の独占力がイノベーションを止めていると主張しているが、この事例はむしろ逆に見える
Google がイノベーションを止めていたなら、Bing は最終的に品質で追いついていたはずだ。しかし、これらのメールが示すように、Google は先端 AI 研究に投資し続け、優位を維持していた。むしろ調査されるべきなのは Microsoft かもしれない
1件のコメント
Hacker News の意見
Kevin Scott のメールが出てから約1か月後の2019年7月12日に、OpenAI が Microsoft からの10億ドルの投資を発表したという文脈もある
https://openai.com/index/microsoft-invests-in-and-partners-w...
https://news.microsoft.com/2019/07/22/openai-forms-exclusive...
Kevin Scott が、Microsoft 内部の AI への取り組みが遅れていることを客観的かつ率直に認めつつも、誰かを責めないように外交的に表現しているのが興味深い。社内でどのような判断が交わされていたのかを垣間見ることができる
組織内部でも、職位の間でマーケティング的な表現が行き交って真実を曇らせ、それが実際の戦略的な動きを妨げることが多い。この状況で CTO が「そこまで遅れているわけではなく、あれこれすればよい」と言うこともできただろうが、彼は率直に認め、CEO も理解した。生々しい現実認識が表れている
10年前の Google は、働く場所として強力だった。Microsoft では、数個のコア割り当てを得るために人を説得し、数日、ひどい場合は数週間待たなければならず、許可が下りないこともあった
一方 Google では、入社オリエンテーションのコードラボ初日から、テラバイト規模のデータを処理する分散バッチジョブを立ち上げられた。その対比は非常に大きく、Google は摩擦が低く、物事がそのまま進んでいく環境で、何かをリリースせざるを得ないようにシステムが組まれていた。ただし、過去形である点が重要だ
Google では結局、クリティカルマスを作れなかったという。彼が Google の言語モデルへの取り組みを率い、Brain のリードの一人だった年に、その理由が明らかになった。当時 Brain Credit Marketplace というものがあり、各自がクレジットを受け取り、需要と供給に応じてチップを買う仕組みだった。巨大なジョブを回すには、同僚19〜20人に作業をしないよう説得しなければならず、そのような構造ではボトムアップで大規模拡張のためのクリティカルマスを作るのは非常に難しかった。Google チームは奮闘したが、OpenAI は大きな賭けに出て集中したため勝てた、という内容だ。エピソード全体が非常に興味深い
[0] https://www.youtube.com/watch?v=3t6L-FlfeaI
これらのメールは、FTC が Google を相手に進めている反トラスト訴訟の一部として公開されたものだ。FTC は Google の独占力がイノベーションを止めていると主張しているが、この事例はむしろ逆に見える
Google がイノベーションを止めていたなら、Bing は最終的に品質で追いついていたはずだ。しかし、これらのメールが示すように、Google は先端 AI 研究に投資し続け、優位を維持していた。むしろ調査されるべきなのは Microsoft かもしれない
こうした推論の誤りはあまりに一般的なので、それらしい認知バイアス名が付いてもよさそうだ。即興で言うなら「単一反論の誤謬」あたりだろう
公開されれば逆風になり得る内容なのに、それでもメールを使い続けている。直接会うか電話で話せばよいのに、なぜメールを使うのか疑問だ。ほとんど、わざとこういうことが起きるのを望んでいるようにも見えるが、それがどう責任回避や出口戦略になるのかは指摘しにくい
適切なタイミングでの観察であり予測だった可能性が高い。15年ほど前、大手の家庭・企業向けPCメーカーの一つにいたとき、スマートフォンへの批判が多かったのを覚えている
人々は、スマートフォンは役に立たず、人々はPCやノートPCを好むはずだと笑っていた。その後は誰もが知る歴史だ。いつだって重要なのはタイミングと、世界を変え得るものを適時に見抜く能力だ。だからこそトップリーダーシップの役割は重要で、ギャップを見つけて即座に実行計画を出し、最高水準まで引き上げる必要がある
評価は振り返って当たったものだけを見てはいけない。10個中1個しか当たらない程度なら、そのたびに10億ドルの投資が正当化されるのかも検討すべきだ
LLMが最も得意なことは、依然として自然言語解析と、もっともらしいが必ずしも真ではない出力の生成だと思う。そうした需要のあるビジネスはあるだろうが、パーソナルコンピューティングのような本当の個人向けツールはまだ見ていない。ノートPCなら無人島に持って行っても計算ができるのだから。経営陣の役割が予測し、戦略的対応を計画することだという点には同意する。ただ、今のところは素早い答えを好む人たちにだけ有用に見え、その答えは間違っていることもある
Bill Gatesがいまだに主なCCに入っているのが気になる。今でもMicrosoftの統制にかなりの役割を持っているのか？
現職・元幹部らによると、Gatesは会社運営に深く関与しており、戦略的助言、製品レビュー、上級幹部の採用、OpenAI共同創業者兼CEOのSam Altmanとの重要な関係管理に参加しているという。別のMicrosoft幹部は「読んでいることと実際に起きていることは違う。Satyaと上級リーダーシップチーム全体はGatesに非常に大きく依存している。大きな変化を起こすたびに彼の意見を求める」と述べた
すべての仕事を遅い手続き、自由のなさ、社内政治の中に押し込めれば、野心は簡単に殺せる。残った野心があるとしても、その会社のためのものではないだろう
こういうメールがどうやって流出するのか気になる。最高経営陣が送ったもので、受信者が数人だけなら、流出者の追跡は簡単ではないのか
こうした私的なメールが検証・公開されるのは少し怖くもある。こんな極秘メールですら流出し得るなら、自分のような一般市民のプライバシーはどうなるのかと心配になる
あることがどうなるかを知っていることと、実際にそれを成し遂げるために必要なすべてを知っていることは、かなり違う場合がある
Windows 10のMailを実際に使っている人はいるのか？
メールをざっと見て、いくつか削除し、いくつか返信するにはほぼ完璧だった。業務コミュニケーション用の優れたクライアントではなかったが、誰かに短いメールを送るにはすっきりしていた
興味深い読み物だ。特に今ではllama.cppとHugging Faceで選んだモデルさえあればよいことを考えると、なおさらだ
もちろんモデルを学習させた誰かが必要で、実際にはもう少し複雑だが、昔のあの恐れは今見ると少し曖昧に感じる