AGIという幻想は、実際のエンジニアリングを妨げる要因

 (tomwphillips.co.uk)
1 ポイント 投稿者 GN⁺ 2025-11-15 | 3件のコメント | WhatsAppで共有
  • シリコンバレーでは、AGI（汎用人工知能） を実現可能な目標だと信じる文化が広がっている
  • OpenAI内部では、「純粋言語仮説」 に基づき、言語モデルの拡張がAGIにつながり得るという信念が形成された
  • このような信念は、莫大なデータセンター拡張 と 環境・労働搾取の問題 を正当化する根拠として作用している
  • AGIの 期待値（Expected Value） 論理は、根拠のない確率と価値の推定に依存し、現実の環境被害や社会的コストを無視している
  • AGIという幻想を捨て、小規模で目的志向のモデル で問題を解決する 実質的なエンジニアリングのアプローチ が必要である

AGI信仰とOpenAIの文化

  • OpenAIに関わる人々は、実際に AGIが人類の繁栄または破滅をもたらし得る と信じている
    • Elon MuskはDemis Hassabisを「世界を支配しようとする悪党」と描写し、OpenAIを「善」、DeepMindを「悪」と位置づけた
    • Ilya Sutskeverは社員に「AGIを感じろ（Feel the AGI）」と語り、AGIを象徴する木の人形を燃やす儀式 を行った
  • こうした行為は、SF的な想像 がシリコンバレーの 主流の信念 として定着していることを示している

「純粋言語仮説」とLLMの拡張

  • Karen Haoの著書 Empire of AI によれば、GPT-2は 「純粋言語仮説（pure language hypothesis）」 に基づいている
    • 人間は言語によって思考し、コミュニケーションするため、言語データだけでAGIが可能だという前提
    • これに対し 「グラウンディング仮説（grounding hypothesis）」 は、AGIは世界を認識しなければならないと主張する
  • GPTからGPT-2への拡張の成功は、OpenAI内部で より多くのデータ・モデルパラメータ・計算資源 があればAGIに到達できるという信念を強めた

拡張競争と環境・労働問題

  • AGIへの信念とLLMの成果は、大規模データセンター建設 を正当化している
    • 一部の施設は 毎秒数百リットルの水 を使用し、電力不足のため汚染性の高いガス発電機 を稼働させている
    • 都市全体レベルの電力消費 と CO₂排出増加 が発生している
  • ChatGPTの安全な出力のために データ検閲・精製作業を行う労働者 が、搾取と精神的トラウマ を経験している
    • データ需要が増えるにつれ、インターネット全体を無差別に収集 し、RLHF（Reinforcement Learning from Human Feedback） で結果を制御している

期待値論理の問題

  • AGI開発の正当化根拠として 期待値（Expected Value） がしばしば引用される
    • 「0.001%の確率で巨大な価値が発生するなら、EVは非常に大きい」という論理
  • しかし、このような計算は 確率も価値も恣意的で検証不可能 である
    • 一方で、環境破壊と社会的コスト は 確実な負の価値 と 現在進行形の被害 として存在する

実際のエンジニアリングへの転換

  • 技術者は問題を 効果的・効率的・無害に 解決しなければならない
  • LLMをAGIと見なすアプローチ は、その3つの基準すべてにおいて失敗している
    • 過度な計算浪費、労働搾取、環境被害 が生じる
  • AGIという幻想から離れ、LLMと生成モデルを 特定の問題解決のためのツール として評価すべきである
    • 小規模で目的志向の生成モデル または 非生成型（識別型）モデル を活用
    • 費用対効果分析 と 技術的トレードオフ を通じた 実質的なエンジニアリングの実行 が必要

関連記事

3件のコメント

 
GN⁺ 2025-11-15
Hacker Newsの意見

  • AI懐疑派に助言するとすれば、データセンターの水使用量をめぐる議論は避けたほうがいい
    「年間数百万リットル」のような表現は文脈なしで聞くと恐ろしく感じられるが、農業やゴルフ場と比べればごく小さい水準だ
    エネルギー使用量やCO₂排出の議論はよいが、水使用だけを強調すると主張全体の信頼性が下がる
    ただ、あとで知ったのは、データセンターではしばしば農業に使えない飲用水を使っているという点だった
    それでも「数百万ガロン」のような数字を文脈なしで示すのは依然としてアンチパターンだと思う

    • 人々が自分を「AI懐疑派」と分類する現象自体が興味深い
      これは技術論ではなく、アイデンティティ政治に変質した結果のように見える
      HNでは政治的立場を持ち込まず、技術的根拠で議論すべきだ
      おそらく誇張されたAI宣伝への反動として、こうした態度が生まれたのだろう
    • 記事の著者Andy Masleyに水使用の問題を尋ねたところ、彼は"The AI Water Issue is Fake"で、
      むしろ大規模な需要が生まれれば地域の水道インフラが拡充され、飲用水の価格が下がる可能性があると主張していた
      彼の追加コメントによれば、「AIが貴重な水ばかり使う」という批判は、むしろ状況を逆に見ているという
    • 私ももともとは似た立場だったが、Haoの本を読んで考えが変わった
      チリのある都市でGoogleデータセンターが地域の干ばつを悪化させた事例があり、
      別の地域では海水を飲料水に混ぜるほど深刻だったという
      都市全体の消費量に匹敵する水を使うのは、明らかに問題だと思う
    • 「他の産業のほうがもっと悪い」という理由でデータセンターが免責されるべきではない
      ゴルフ場もデータセンターも外部費用を負担すべきであり、
      乾燥地域で不経済になるなら、そのほうがよいと思う
    • データセンターの冷却塔は淡水を使う必要があるが、農業用水と大きく違うわけではない
      農業に使える水なら冷却にも使える
      エネルギー使用の問題も誇張された面がある — 結局は安価な再生可能エネルギーが競争力を持つはずだ

  • LLMの限界はハードウェアの問題だと思う
    人間の脳のニューロンは数千の入力と出力を同時に処理するが、LLMのニューロンは単一の入出力しか持たない
    人間の脳は20W程度で動作するが、LLMは数MWを必要とする
    GPUやTPUではAGIに到達するのは難しく、まったく新しいハードウェアのパラダイムが必要だ

    • ミツバチ一匹ですら自律的に飛行し協調するのに、私たちはまだそのようなAIを作れていない
      単に計算量不足の問題ではない
    • 人間の複雑なハードウェアは生存のために進化した結果だ
      知的活動だけのための環境では、それほど多くのニューロンは必要ないかもしれない
    • 半導体技術で見れば、3nmプロセスの100mm²ダイに1兆〜10兆個のフィーチャーを載せられる
      問題は規模ではなく**配置構造（Electronic Design Automation）**だ
      EDAのWikipedia記事参照
    • 要約がすばらしい。人間は高次元データを扱うのは苦手だが、サンドイッチ数個で動く
    • LLMは脳とは構造的にまったく異なる
      脳は複数の入力経路と多様な信号方式を持ち、設計の複雑性ははるかに高い

  • AGI言説は宗教的衝動の延長線上にあるように見える
    人間は依然として、あらゆる問題を解決してくれる絶対的な答えを渇望している

    • 私も無神論者だが、人間にとってスピリチュアリティは不可欠だと思う
      抑え込めば、より悪い形で戻ってくる
      瞑想、節制、他者への倫理といった個人的信念が、私の「宗教」だ
    • 「地上に太陽の力を」のような核融合言説も、似た宗教的言語を使っている
      太陽や脳のような自然のシステムを技術で再現しようとする試みだ
    • G.K.チェスタトンは1924年に「20世紀はいかなる宗教的権威であれ持とうとする」と書いた
    • AIバブルは狂騒的な投機と大差ない
      宗教のように、権力構造が信念を利用して支配を維持する
      人間の盲信と詐欺は、時代を問わず繰り返される
      参考: Extraordinary Popular Delusions and the Madness of Crowds
    • Emmanuel Toddの「ゾンビ宗教」という概念が印象的だ
      宗教が消えた社会は、まず価値だけが残った抜け殻の段階を経て、
      その後無宗教の段階に落ち込み、道徳的空白が生じる
      一部の人はAIに服従しようとするが、「AIがそう言ったから」は霊感のない信仰だ

  • 私も技術者として、効率的で無害な問題解決を望んでいるが、現実は複雑だ
    Raspberry PiでBluetooth設定をしていて、GPTとClaudeの助けで解決した
    Stack Overflowやフォーラムは以前ほど活発ではなく、ドキュメントも散逸している
    技術があまりに複雑になり、結局はLLMに依存せざるを得ない状況になっている

    • 短期的にはgenAIの助けが必要だが、
      長期的にはAIなしでは維持できない社会は持続不可能だ
      技術は再びシンプルさへ戻るべきだ
    • 最近はディストリビューションごとにWikiマニュアルがある
      たとえばArchWiki BluetoothやDebian BluetoothUserを参照
    • 本当の危険は、技術の複雑性がAIによってさらに深まることだ
      すでに企業ではAIエージェントがツールを代わりに実行する構造が生まれている
      最終的には人間が内部ロジックを理解できなくなる危険が大きい
    • LLMはGoogleやStack Overflowの代替としては優れている
      ただし人間を完全に置き換えるには、まだ根本的な限界がある
    • 検索がAIより悪い理由は**エンシティフィケーション（enshittification）**のためだ
      結局LLMも同じ道をたどる可能性が高い

  • 業界の一部はLLMを根本的な行き止まりだと主張するが、
    株価や名声に縛られて現実を認めない

    • AGIという観点では行き止まりかもしれないが、経済的価値は依然として大きい
    • 蒸気機関は飛行には不向きだったが、内燃機関の発展の基盤になったように、
      LLMもAGIへ向かう中間段階の技術かもしれない
    • 「根本的な行き止まり」という表現は誇張だ
      AGIシステムの中核コンポーネントになる可能性もある
    • これほど急速な進歩を見てもなお「幻想」と呼ぶのは理解しがたい
    • 「給料がかかっている人は説得できない」という言葉がぴったり当てはまる

  • 私はWhisperのおかげで、動画字幕作業が革命的に短縮された
    以前は数時間かかっていたものが、数分で終わる
    優れたUIを持つMacWhisperのおかげで、アクセス性も高まった

    • 著者も同意している。ディープラーニングとトランスフォーマーは確かに実質的な価値を生み出してきた
      たとえば弁護士がLLMで無罪を裏づける資料を発掘する事例もある
      過度な拡大よりも実用的な活用が重要だ
    • コンピュータビジョンの分野も依然として重要だが、産業規模の応用なので一般には見えにくい
    • AI発展の方向性についてどう考えているのか気になる
    • Whisperのように、多くのAIツールは最終的にローカル化・無料化されるだろう
      数年以内に個人用LLMがノートPC級で動く時代が来るはずだ

  • コンテンツモデレーターを搾取しているという表現は誇張だと思う
    これは30年前から存在するインターネットモデレーション業務だ
    不快ではあり得るが、新しくも恐ろしいものでもない
    AGI追求とは別に必要な役割だ

  • 現実的なAI議論は歓迎できる
    トランスフォーマー技術自体が無価値だという話ではなく、
    「もうすぐAGIが来る」という過度な誇張が問題なのだ
    HNはたいていの流行をうまくやり過ごしてきたが、今回は例外に見える

    • HNでAGIがすぐ来ると信じている空気は感じなかった

  • 私たちは簡単だからではなく、困難だからこそ挑戦すべきだ
    AGIが幻想だとしても、その過程で有用な問題が解決されるかもしれない
    データセンターの炭素排出は誇張された面が多く、
    長期的にはクリーンエネルギー基盤のデータセンターのほうが経済的だ

    • だがAIデータセンターの電力消費が電気料金の上昇を引き起こしている
      これは庶民にとって直接的な負担だ
    • 困難なことでも、人間の幸福に実質的に役立つかを問うべきだ
      今のAIはその点で説得力に欠ける

  • DeepMindとDemis Hassabisは実際に科学的成果を出している
    例: AlphaFold, AlphaEvolve など
    こうした研究があるのに「AIは幻想」とだけ言うのは不公平だ

    • AlphaFoldやAlphaEvolveはAGI追求そのものが目的ではない
      記事の要点はAGIへの執着を批判することだ
    • DeepMindは他社よりも科学研究中心に見える
      Hassabisは本気で科学の進歩に関心を持っているようだ
      一方で一部の企業は単なる金儲けのためのPRに近く見える
    • Haoは単なる「AI批判本」ではなく、信頼される記者の著作だ
    • 引用された事例を見ると、AGIの概念を混同しているように見える
 
manist67 2025-11-19

AGIの話をしているのに、みんな自分が何をしたのかを話してるね
 
kandk 2025-11-17

エンジニアリングについて、環境・労働搾取問題みたいな妙な話を持ち出すくらいなら、
いっそ潰れるとレポートを出して、ショートを張る行動でも見せたらどうかと思う..