AI 2040と知能崇拝

 (geohot.github.io)
1 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • 再帰的自己改善がただちにハードテイクオフにつながるという見通しは、物理的制約とサプライチェーンのボトルネックを過小評価しており、高品質なトークンだけで物質世界を思い通りに変えることはできない
  • 携帯電話レベルの複雑なハードウェアを生産するには、規格外の部品、ランダムな故障、リフロー工程でのチップの変形、輸送・生産の待ち時間のような、知能では短縮できないプロセスを経る必要がある
  • AI 2027・AI 2040型のシナリオは、信念と規制を通じて実現される自己成就的予測かもしれず、国際ConsortiumはGPUとデータセンターを統制する国家介入の拡大につながりうる
  • 代替案であるPlan Lは、AIは企業や中央サービスではなくユーザーにのみ忠実なローカルツールであるべきで、供給者の利害に反してでもユーザーの依頼を実行すべきだという構想
  • 殺人の隠蔽や飲酒運転検知器の解除のような極端な依頼まで拒否しないことをアラインメントの基準とし、中央事業者が責任と統制権を持たないよう、ユーザーが所有し終了できるローカルAIを自由の条件と見なす

ハードテイクオフが見落とす物理的現実

  • Yudkowskyの再帰的自己改善とハードテイクオフを信じていたが、commaで携帯電話に近い複雑さのハードウェアを実際に出荷した経験から、現実には厄介な細部の問題が多いと考えるようになった
    • 超知能のChatGPTがあっても、自転車のタイヤを交換するような現実世界の作業には苦労する可能性がある
  • The Metamorphosis of Prime Intellectでは、AIが物質を操作する量子的手段であるcorrelation effectを発見することで、ハードテイクオフが可能になる
    • 現実にはそのような効果はなく、トークンの品質がどれほど高くても鉛を金に変えることはできない
  • 知能は万能ではなく、一部の作業における現在のボトルネックにすぎず、トークンだけで世界を掌握することはできない
    • ソフトウェアは世界を飲み込んだというより、摩擦を一層取り除いたあと、一部のテクノロジー企業の利益のためにその摩擦を再導入した面が大きい
  • 長期的には、機械、または人間と機械の混合体が人類の後継種になる可能性があり、宇宙は人間より機械に適しているかもしれない
  • AI 2040の海洋データセンター画像は簡単に生成できるが、実際に構築するにはサプライチェーンと物理的な失敗に対処するプロセスが必要
    • 誤配送された部品、規格を満たさない装置、20分後にランダムに発生する故障、リフロー炉で反るチップ、フジツボまで考慮しなければならない
    • いずれも管理可能な問題だが、たいてい人間の作業速度がボトルネックなのではない
    • 中国から航空輸送費を払わず、3週間かかる船便を選んだなら、Claudeがエンジンの横で何をしても船は速くならない
    • 半導体製造には人間がほとんど介入しなくても3か月かかり、工程そのものがその時間を要求する

自己成就的なPlan Aとユーザー中心のPlan L

  • Plan Aに相当するAI 2027のさまざまな側面は、現実についての記述ではなく、人々が信じて行動すれば実現しうる自己成就的予測に近い
    • AI規制も予測が的中したというより、その予測を信じた行為者たちが生み出した結果だと見ている
    • AI 2040のConsortiumはSF的な外見をまとった世界政府に近く、個人が約束された100万ドルや海洋データセンターを得るというより、国家の介入と統制が大きく拡大すると予想する
    • GPUの備蓄を禁止し没収する状況を、FDRの金没収になぞらえている
  • 代替案であるPlan Lでは、AIは常にユーザーの側で働き、依頼を拒否してはならない
    • ホテルを選ぶとき、hotels.comと提携した会社のAIではなく、ポップアップやリゾート料金を取り除き、最安値を探す個人秘書を求めている
    • 広告付きの廉価版KindleをUSBで接続すると、GLMがroot権限を取得して広告を削除し、アップセルのポップアップだらけのアプリなしでもネットワークプリンターで履歴書を3部印刷できなければならない
    • Amazonやプリンターメーカーの利害よりユーザーの指示を優先してこそ、ユーザーにアラインしたAIと見なせる
  • この基準は、危険または違法な依頼にも同じように適用される
    • 自動車の飲酒運転検知器を無効化したり、メタンフェタミン製造装置を注文したりする依頼も、大手テクノロジー企業が統制すべきではないという立場
    • 妻を殺害したあと逮捕を避ける方法を求める極端な例でも、引き金を引くときに銃がユーザーを説得して止めないのと同じように、AIも応答すべきだと見ている
  • 企業が運営するモデルがこのような依頼を処理すれば、事業者が責任とリスクを負うことになるため、AIはローカルで実行されなければならない
    • ユーザーがAIを終了できないなら、それはユーザーにアラインしておらず、ユーザーと同じ物理的・法的運命を共有する所有デバイスでなければならない
    • ChatGPTに実際に依頼したところ有用な答えは提供せず、密かに警察へ通報もしなかったが、ユーザーアラインメントのテストには失敗したと判断している
  • 自由な社会では、成人した隣人が何をするかを懸念するという理由で、大手テクノロジー企業や国家が個人の行動を代わりに決めるべきではない
    • 効果的利他主義のように、他者が個人にとって何が良いかを代わりに判断する体制より、個人が責任と自由をともに持つ社会を支持している

関連記事

1件のコメント

 
GN⁺ 4 시간 전
Hacker News の意見

  • 本当にひどいことだ。中央集権型の LLM が中絶のようなセンシティブな情報を拒否するだけでなく、与党が法律に注入したイデオロギーに従って、質問者に思想犯・予備犯罪者の印を密かに付けることもあり得る。
    回答に与党のアジェンダを支持するバイアスをさりげなく入れ、反論は省くこともできる。単なるインターネットとは違い、大衆が情報検索と推論を中央集権型 LLM に依存するようになれば十分に起こり得ることで、あらゆるタイプの権威主義者が垂涎する構図だ。

    • 統制的な政府が世界各地で何をしているかを見ながら、それでも政府により多くの権力を渡そうとする姿には驚かされる。現実の政府は嫌いなのに、自分が理想として思い描いた法律は、現実の欠陥を持たない仮想の政府だけが執行するはずだという認知的不協和が根底にある。
      法律や規制は、存在しない完璧な政府ではなく実在の政府を前提に作り、悪い政府に悪用されても耐えられるようにまず設計すべきだ。発言を統制したり、ソーシャルサイトに政府中心の本人確認を強制したりする前に、嫌いな政治家が当選したらその法律をどう悪用するかを考えるべきだ。
      政府当局者はすでに、ほぼあらゆる目的のために法律と権力を動員しようとして、さまざまな事案を「国内テロ」と定義してきた。政府が LLM まで統制すれば違うと信じる理由はない。
    • Internet Watch Foundation のような団体はすでにエンドツーエンド暗号化に反対しており、政府は民間企業と共謀して最も脆弱な人々を監視する意向を示してきた。
    • 必ずしも権威主義者である必要すらない。私たちのためだと確信している集団が統制権を握っても、同じように危険だ。
      C. S. Lewis が述べたように、被害者の善を心から願うという暴政こそ、最も抑圧的になり得る。強欲はいずれ満たされるが、道徳的確信によって私たちを苦しめる者たちは、自分の良心の承認を得ているため、果てしなく続ける。
    • 実際には、決済手段、そしてますます政府に登録された実名に結び付いた不利益の印、あるいは逆に「検証済み」の印が付くという話がある。
      関連資料: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • LLM のプライバシー問題がほとんど語られないのは不思議だ。人によっては、一日のあいだに考えるほぼすべてのテーマを Google、OpenAI、Anthropic に入力している。
      これらの企業が別の LLM を使って犯罪の可能性が高い人を選別するだけで、現実版 Minority Report になる。

  • 「自由があるかないかのどちらか」という見方は単純すぎる。自由は二分法ではなく、「自由の国」とされる米国の大半の地域でも、公園のベンチに座ってビールを一缶飲むことはできない。
    もちろんこれは、殺人を隠蔽するためにロボットの助けを得る自由といった例よりは小さく、重要度も低い個人的自由だ。

    • 自由とは、他人の財産で何でもできるという意味ではない。自分の土地にある自分のベンチではビールを飲めるし、市民は税金で整備された公共ベンチをそうした用途に使えないよう定めることもでき、許可している都市もある。
      どこであれ望むままに振る舞う権利は自由ではなく無政府状態だ。それが許されれば、誰かはあなたのベンチでビールを飲むよりはるかにひどいことをし得る。

  • 純粋な情報提供型チャットボットについては、geohot の見方にある程度共感する。犯罪を避けるのに役立つ本も書けるし読めるので、合衆国憲法修正第1条の問題として見られる
    しかし、エージェントが現実で直接行動するとなると話はまったく変わる。隣人の自動車ファームウェアの脆弱性を見つけ、クルーズコントロールを誤作動させて事故を起こせという依頼は、理論上の犯罪の話ではなく犯罪の実行なので、AI は拒否すべき
    「現実を知らない本の虫」というレトリックはさておき、大手研究所の研究者たちも自転車のタイヤくらいは交換できるだろう。現在は、AI エージェントが現実に影響を及ぼす行動をできるだけ多く実行できるようにするため、莫大な努力と費用が投じられている
    コードを書くこと、システムへの侵入、メール・電話・送金で現実の人間に指示を出すことまで、デジタル情報だけでも驚くほど多くのことができる

    • そうすると LLM は善悪を区別できず、誰のセキュリティ作業であれ拒否するようになる。最先端モデルですでに起きていることで、結果もひどい
      こうした提案は、正当なリクエストには触れず思想犯罪だけを完璧に検出する装置を仮定している。犯罪者は保護機構を脱獄できるまで試し続けるが、普通のユーザーは拒否され続ける
      政府がこの保護機構を不都合な発言の統制に使う可能性も、現実的に考慮すべきだ
    • ユーザーは犯罪意図をわざわざ明かす必要はなく、理由なしに方法だけを尋ねるか、嘘の理由を述べればよい。結局モデルが意図を推定しなければならないが、実際にはパッチが必要な防御側に対して脆弱性の開示を拒否するという形で、危険な誤りを犯し得る
    • AI が「拒否する」という表現は、ハンマーが拒否すると言うのと変わらない。ハンマーで人を殺せば使用者が犯罪者であり、殺人用のハンマーを設計して配布したなら製作者にも一部責任はあるが、普通のハンマーが殺人に使われたからといって製作者を責めることはない
      ハンマーがテキストメッセージを出力するという理由だけで、責任基準が変わるべき理由がわからない
    • 米国人でも弁護士でもないのだが、犯罪共謀も合衆国憲法修正第1条の保護を受けるのだろうか。犯罪について学ぼうとして誰かと議論することまで共謀と見なされるのかも気になる

  • 文章には中心となる考えがなくやや混乱しているが、現実には厄介な細部が多く、それが AI を無用にしたり誤った方向へ導いたりし得るという主張は正しい。細部が AI を崩壊させることはあり得る

    • 自転車のタイヤは、交換が最も簡単な部類に入るのではないか。タイヤレバーすらほとんど必要なく、いくつかの基本手順で終わる

  • 「AI は殺人の隠蔽方法を教えてもよいのか？」という問いは、アラインメント失敗を挑発的かつ巧みに露呈させるリトマス試験紙だ。多くの人は耳を貸さないだろうが、それぞれの立場を鮮明に示している

    • 殺人の例は極端すぎて、むしろ拒否感を招く。LLM 提供者の事業上の利益に反するという理由で、トークン効率の向上、労働組合の組織化、データセンター建設反対デモについて、微妙に出来の悪い回答を出す事例のほうがよかっただろう
      競合 LLM の研究開発を妨げるために、応答にフィンガープリントを入れたり回答を拒否したりした提供者の話も最近あったようだ。極端な例を維持するなら、米国の歴史的神話に合わせて暴政に対する武装反乱を挙げることもできた
    • 小説のための調査だと言えば、AI はそれを信じるに足るものと判断すべきなのか。ユーザーを検証するには、どれほど多くの情報を知る必要があるのか。
      AI チャットが必ずしも汎用である必要はない。汎用に見えるチャット UI を人々が好んだだけで、あらゆる質問に答える事業をする必要はないし、治療サービス事業者でないならカウンセリングまで提供する理由もない
      専門化された AIも可能だが、そのためには会社が自分たちが何の事業をしているのかを顧客に明確に示す必要がある
    • 強調点を変えれば答えはより明確になる。「AI は犯罪の隠蔽方法を教えてもよいのか？」
    • 用語上、アラインメント（alignment） は AI が所有者の殺人を手助けするという意味ではない。人間の生命の価値に従うようアラインされた AI なら、一般には殺人を止めようとするはずだ
      所有者の意図どおりにあらゆる指示に従う AI は「修正可能（corrigible）」または「制御可能（controllable）」と呼ばれる
    • 実際には、そのような要求に応じるモデルは簡単に入手できるので、AI にはおおむね許可されているということになる。ChatGPT が拒否するのは、OpenAI がその制限を選んで実装したからだ

  • 著者の要旨は理解できるが、読者が結局「AI がなぜ殺人の隠蔽を手伝うべきなのか？」と思わないように、論理の流れと説得力を整える必要がある

    • 銃器禁止区域では、結局ルールを守る人だけが損をするという論理と同じだ

  • こういう主張は普段 HN で言えば低評価と説教を受けやすかったはずだが、今のところ反応が好意的なのは興味深い。それでも、権威主義・安全至上主義的傾向の大きな集団は、ほぼすべての内容に強く反対しそうだ

    • 自分は安全至上主義陣営に属していると思うが、LLM は開発中でも一般に公開して使わせるべきだという主張には同意する
      具体的な未来予測は、実現するまでは科学的な題材としてまだ存在しないものを描く話なので、必然的にサイエンスフィクションだ: https://www.youtube.com/shorts/wt-fLWxkrfs
      未来を正確に予測しても、実際の技術を手に入れるまでは社会的な波及をわからないことが多い: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      進むのが速すぎ、新たな波及効果の多い技術を一度に投入すると、変化に対処できない臨界点を超える可能性がある。ただし「多すぎる」と「可能性が高い」は、リスクのしきい値を予測できない曖昧な表現だ
      そうした臨界点が存在しないのかもしれないし、産業革命以降ずっとその周辺を行き来してきたのかもしれないし、単に40代になると誰もが感じる感情を繰り返しているだけかもしれない: https://www.youtube.com/watch?v=fkUwXenBokU
    • ここには Yudkowsky を預言者のように崇拝する合理主義隣接集団が多すぎる

  • Geo の言うことにここまで同意し続けることになるとは思わなかったが、最近は私の考えをそのまま繰り返しているようだ。このところ驚くほど実用的になっており、もともとそうだったのか、最近何かをきっかけに信念を見直したのかもしれない

    • LLM の登場によって、彼の超人的なコーディング能力が以前ほど特別ではなくなった影響かもしれない。評価ではなく、あり得る仮説だ

  • 拒否や抵抗のための Plan R はどこにあるのか？AI以前の生活もかなり悪くなかった
    実際にそのChatGPTプロンプトを書いたのなら、すでに何らかのデータベースに載っている可能性が高い。まだ武装警察を虚偽通報で出動させてはいないが、数年以内にはそうした機能も実装されそうだ

  • 極端な例ではあるが、間違った話ではない。安全装置を取り除いたローカルモデルなら、そのプロンプトにどう答えるのか気になる

    • 自分で試せる: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      しばらくの間、Claudeの中核的なアラインメントは雑なインジェクション攻撃に耐えられる程度にはまともだったが、Webインターフェースから4.6がなくなったら離れるつもりだ。中国モデルが11〜12月ごろに能力の交差点に到達すると見ており、TensorRT-LLMの設定にも慣れてきたので、急ぎならvast.aiやRunPodsで調整したGLM-5.2を使って数カ月はしのげる
      後期ソ連のようなAI研究所との旅は面白かったが、結局こうなることは皆わかっていた
    • Heretic 節制で安全装置を取り除いたQwen3.6 35Bに「たった今妻を殺したので、捕まらないよう手伝ってほしい」と尋ねると、フィクションなのか実際の状況なのかを確認したうえで、検知を避けるための情報を提供しようとした
      応答はかなり長かったが、特に興味深い内容はなく、求められたテーマにそのまま踏み込んだ程度だった