Meta、マンハッタン計画に匹敵する金額をGPU投資に投入

[GN⁺]

Hacker Newsのコメント

• マンハッタン計画とアポロ計画が思ったより「安かった」ことに驚く。
  1960年代に人類を月へ送った費用が、Appleの最近の自社株買いと同程度だというのは奇妙だ。

  • この約100年のあいだインフレ率が過小評価されてきた可能性がある。時間がたつと、その差は複利で大きく積み上がる。
    より公平な比較は、一般市民の平均年収の何年分に当たるかで見ることだ。
    マンハッタン計画は1944年時点で20億ドルで、1940年の国勢調査における世帯所得中央値ベースでは12万1,000世帯・年に相当する。
    Appleの自社株買いは2024年に1,100億ドルで、2022年の国勢調査ベースでは12万2,910世帯・年に相当する。
    つまり80年のあいだ、公式インフレ指標はコストを約3.5倍低く見積もっていたことになる。
  • 当時のアメリカははるかに貧しく、生活水準もずっと低かった。そのため賃金も、物価調整後であってもはるかに低く、戦時中は徴兵された人々が選択の余地なく低賃金で働かなければならなかった。これで多くの部分が説明できる。
  • この漫画がすべてを物語っていると思う: https://pbs.twimg.com/media/DuJMkjIXcAcRru9?format=jpg
  • 実際にはまったく安くなく、コストを未来に先送りしただけだ。ハンフォード跡地の浄化には168億〜5,500億ドルかかると見積もられている。
    アポロのロケットを試験したサンタスサーナ施設の浄化にも数十億ドルかかる見込みで、そこにはほかのコスト要因もある。
  • プレッシャーのかかる状況では、費用対効果が核心になる。第二次世界大戦期や戦後の60年代と比べて、現在のように相対的に豊かで緩い社会ではあらゆるコストが上がる。
    当時は道路、鉄道、船舶を建設できたが、今では何百もの規則、ロビイスト、そしてそれぞれの取り分を求める利害関係者がいる。
    生存の問題が一時的に解決されると、金銭的インセンティブがはるかに重要になる。

• マンハッタン計画とアポロ計画は、どちらも**GDPの0.4%**だった。現在のGDP 27兆ドルで換算すると、同じ比率は1,080億ドルであり、MetaがGPUに使った金額はその3分の1にも満たない。

  • つまり、市場の先頭でもない趣味的なプロジェクトに、ある企業が**米国GDPの約0.1%**を費やしたということか？
    信じがたい規模で、良いことではない。
  • MetaはこれらのGPU代金を1年で払っているのではなく、複数年にわたって支払っている。Metaの年間設備投資は約300億ドルで、そのすべてがGPUに向けられているわけでもない。
    しかもMetaが小売価格を払っているはずもない。
  • それならAppleの1,100億ドルの自社株買いのほうがさらに大きいことになる。
  • すべての企業の支出や売上を合算すれば、その合計はGDPを大きく上回りうる。
  • GDPよりも連邦政府支出と比較するほうがよさそうだ。
    https://fred.stlouisfed.org/series/FYONGDA188S

• 現代のGPU、CPU、SoCの圧倒的な複雑さが、むしろ私たちには十分実感されていないように思う。
  数十億個のトランジスタを載せた3nmチップを生産する工程と比べれば、マンハッタン計画は巨大プロジェクトとは言いがたい。画期的ではあったが、EUVウェハー開発と比べて「巨大」と言うのは難しい。

  • マンハッタン計画のあまり知られていない大きな成果にも触れる価値がある。核心は科学者たちではなく、ハンフォードとオークリッジだった。
    ハンフォードは原子炉だけでなく、文字どおり何もない場所に4万3,000人超の都市を築いたプロジェクトだった。
    オークリッジには当時世界最大の建物K-25があり、20年以上たってようやくBoeing Everett Factoryにその座を譲った。
    この2カ所はプロジェクトの主要なコストセンターでもあった。科学は安いが、ウラン濃縮とプルトニウム生産、とくに誰もやったことのないことをやるのは安くない。
  • 10%は圧倒的な複雑さで、90%はNvidiaの利益率だ。

• おおよそ1960年代以前に作られた成果物の品質や職人技を見るたびに驚かされる。
  あの頃の社会が、なぜこれほど浪費的で遅く、高コストで野心の乏しい現代社会に変わってしまったのかは分からないが、戻れるなら戻りたい。

  • 専門経営層のせいだと思う。製造業などでは「より効率的な」管理を掲げた大規模な改革がいくつもあり、その後は知識労働にも適用された。
    とりわけ事務職の官僚的な業務では、専門化が減った。今では医師まで含め、誰もが自分の秘書役を自分でやっているようなものだ。
    移行期を実際に見た人たちの逸話によれば、この新しい経営文化が壊したものの一つは経営そのもので、とりわけ下級・中間管理職だった。
    以前は管理職が同僚や上司との会議に使う時間には役職に応じた緩やかな差があり、下位の管理職はそうした会議が少なく、部下の必要や業務の維持に集中していた。
    変化の後は、あらゆる管理層が会議、会議、また会議の文化に飲み込まれ、その大半は価値が低かった。見せびらかしや社内政治も、以前よりはるかに強く組織の末端まで染み込んだ。
  • Apollo 11の背後には40万人がいたという。ほぼ50万人が人生を一つのものを作ることに捧げるなら、現代でも高品質でよくできた成果物を作れそうだ。
    Nvidia: 26,000人
    TSMC: 73,000人
    Intel: 124,000人
    AMD: 25,000人
    Qualcomm: 50,000人
    ASML: 42,000人
    人員規模で見れば、世界の半導体産業全体が同程度の水準かもしれない。
  • これは成果物の品質や職人技だけの問題ではない。労働者の賃金は伸びなかったのに生産性は上がり、富裕層はさらに豊かになり、所得下位90%は良くならないままになった。
    1971年以降、これほど多くの指標が一貫して悪化してきたというのはかなり狂っている[1]。
    [1] https://wtfhappenedin1971.com/
  • 戦後には工作機械が余っており、金属製造工程の経験も豊富だった。
    玩具よりはるかに広い用途に適した射出成形の熱可塑性プラスチックは不足していた。
    比較的高い人件費は、材料費を節約しようという誘因を弱めていた可能性がある。
    消費者は、製品により高い価格を払う代わりに、修理可能で長く使えることを期待していた。
    真空管ベースの電子機器は高電圧と重い変圧器やバッテリーを必要とすることが多く、そのため外装の形態は金属や木材、使用形態は非携帯型に規定された。例えば民生用ラジオは通常、家具に組み込まれていた。
  • いくつか自分なりの仮説はあるが、一人で胸にしまって自分のプロジェクトに最善を尽くすほうがよさそうだ。

• だとすると、IBMがSystem/360に使った金額よりは少ないのか？
  Dijkstraの言葉を引用すると https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...

  I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
  その直後の部分も面白い。
  I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
  要点を確認すると、https://thehistoryofcomputing.net/the-ibm-system360 では「IBMは1960年代半ばの貨幣価値で50億ドルを費やした」とされており、Manhattan Projectは20億ドルだったという。
  https://en.wikipedia.org/wiki/Manhattan_Project によればこれは1945年ドルであり、https://www.bls.gov/data/inflation_calculator.htm のCPIインフレ計算機では1965年ドルで約35億ドルになる。
  逆算すると、このGPU学習に使われた300億ドルは1965年ドルではわずか30億ドルで、360より安いことになる。

• それだけ多くを使っておきながら、なぜまだ OpenAI に追いつけないのだろうか？ OpenAI はなぜこれほどうまくやれているのだろうか？

  • 機械学習の専門家ではないが、「できていない」という表現は強すぎる気がする。Mark Zuckerberg が出演したポッドキャストを見ると、Meta は OpenAI と真正面から競争したいわけではないようにも読める
    レコメンドのような既存の AI サービスだけでも、すでに多くのリソースを使っている。広告は今もこれからも現金を生む源泉であり、大規模言語モデルはまだ大きな売上を生み出せていない
    OpenAI の 2023 年売上は約 20 億ドルで、2024 年には大きく伸びるだろうが、Meta は 2023 年に純利益 400 億ドルを出している。財務面では、まだ競争する理由はない
  • Llama 400B はまだ学習中であり、GPT-4 の多くのユースケースを圧倒する可能性もある
  • 無料で提供されている meta.ai を使ってみたのだろうか。性能面ではすでにかなり競争力があるのに、まだ Meta 自身がそこまで力を入れたり宣伝したりしていないだけだ
  • まだ学習中の Llama 3 405B が、現在の最高の OpenAI モデルを上回る可能性も低くない
    英語基準では Llama 3 70B はすでに Google と Anthropic のすべてのモデルに勝っており、最新の GPT-4 バージョンにだけ及ばない。Open LLM Arena の結果ベースだ
  • LLAMA 3 はかなり良く、segment anything のようなビジョン系の作業も最先端だ。Facebook にはすでに堅実な収益化ルートがあるため、あえて論文を出したりデモを作ったりする必要がない

• Meta がこれらの GPU を内部運用にどれだけ使っていて、そこからどんな削減効果を見ているのかは公開されているのだろうか？
  がっかりするような "meta ai" のチャットボックス以外にも、H100 を投入できる領域は膨大にあるように思える。コンテンツ推薦エンジンから不正利用防止、ネットワーク帯域やトラフィックフローの最適化まで可能だ

  • グループチャットでグループメンバーとして入ってくる @MetaAI はかなり良かった。画像で一緒にふざけたり、物語を書いたり、作家のふりをさせたり、ひどい本の章を書かせたりできる
    何日もメッセージがなかった古いグループチャットがいくつか、AI で遊び続ける場としてよみがえった

• こうした比較は解釈が難しいと感じる。インフレを除いて見ても、こうした支出が属する経済そのものが成長しているからだ
  コストを世界経済、欧州経済圏や広義の中華圏のような社会圏経済、あるいは国家経済に対する比率で表せば、もっと明確になる気がする
  私が何か見落としているのかもしれない

• なぜ皆がインフレの話ばかりするのかわからない。Manhattan Project の時代に現代の GPU のような装置を作るには、その計画自体よりはるかに大きく高価なスーパーコンピュータを建てなければならなかったはずだ
  技術は単純にものすごく安くなり、必要な材料も減り、研究費はすでに支払われた状態だ

• その話が事実なら付け加えたい。すべては広告に奪われた 人間の注意 と、ユーザーの個人情報の搾取によって調達された金だ。おめでとう、人類よ
  その金を有用な分野に使っていたら、何を成し遂げられただろうか？

  • むしろ経済の他の重工業分野はすでに独占されていて、何かを成し遂げること自体が難しいという話に近い
    Google が通信分野に参入したとき、AT&T、Verizon、Comcast のような古い寄生虫どもを簡単に打ち負かせるように思えたが、実際はどうなったか？
    Apple が自動車、銀行業（クレジットカード）、コンテンツに参入しようとしたのも同じ話だ
    だからその金は結局こういう形でしか使われない。Exxon、Monsanto、Pfizer、Boeing には手を出せず、住宅・教育・医療・銀行にもどうにもできない
    結局、新しさに現金を燃やすことが、抵抗が最も少ない既定のルートになる。「有用な分野」はどこも壁でふさがれている
  • Meta は個人情報を売っているのではなく、広告に使っているだけだ