AGIがすぐには到来しそうにない理由

 (dwarkesh.com)
5 ポイント 投稿者 GN⁺ 2025-07-07 | 4件のコメント | WhatsAppで共有
  • 筆者は AGI（汎用人工知能） が近い将来に登場するとは見ていない
  • LLM（大規模言語モデル） は優れた能力を示す一方で、人間のように 継続的に学習 し、段階的に改善していく能力が不足している
  • 現在のLLMは ユーザーフィードバック を通じたカスタマイズや文脈の蓄積に限界があり、これは実際のホワイトカラー業務の自動化における大きな障壁となっている
  • コンピュータ操作とマルチモーダルデータ などの現実的課題は、データ不足、長い作業時間、技術的難易度のため、発展速度は遅いと見込まれる
  • 長期的には オンライン学習が可能になれば 非常に急激な変化が起こると期待しているが、今後10年以内に容易に実現するとは見ていない

イントロとAGI到来時期をめぐる議論

  • 筆者はさまざまな専門家とAGI到達時期について議論してきた経験をもとに、自身の見解を示している
  • 2年後、あるいは20年後にAGIが登場すると予測する人もいるが、筆者自身は2025年6月時点でAGIがすぐに到来すると判断していない

継続学習（Continual Learning）の限界

  • 多くの人は現在のAI技術だけでも 経済的にインターネット以上に変革的 だという立場を示しているが、筆者はこれに同意しない
  • Fortune 500企業がLLMを業務の根本的な革新に活用できていない理由は、経営陣の保守性ではなく、現在のAIに 継続学習の欠如 があるためだとしている
  • 筆者はさまざまなLLMベースのツールを自ら構築・活用する中で、LLMは反復的な業務で5/10程度の成果 は出せるものの、段階的に改善していく能力が乏しいことを確認した
  • 人間は文脈の構築、自らの失敗の分析、反復を通じた細かな改善の習得 などによって生産性を高めるが、LLMには 高水準のフィードバックを伝える経路が存在せず、プロンプト調整だけで人間的な「学習」はできない
  • RL（RLHF）ファインチューニングは存在するものの、人間のような 適応的で有機的な学習 とはほど遠く、これは実務自動化における決定的な制約要因となっている
  • AIモデルが人間の従業員のように 業務の中で豊かな文脈を蓄積し記憶しながら 成長する仕組みは、まだ十分に実現方法が見えていない
  • セッション内では一部の文脈学習が行われる場合もあるが、セッション終了後には学習した文脈がすべて失われる という限界がある
  • 長期記憶（rolling context window）のような解決策も試みられているが、豊富な経験知の要約は脆く、テキストベースのドメイン以外ではさらに非効率に機能する
  • AIの進歩が現在の水準で停滞した場合 でも、多くのホワイトカラー業務をこの技術で代替するのは難しく、人間の従業員が持つ文脈学習力が競争力となる
  • つまり、継続学習技術が実際に実装される時点で初めて AIの価値は不連続に跳ね上がり、最終的にこの技術が可能になれば 複数インスタンス間で学習を共有 することで、人間より速く超知能化できる
  • ただし研究所には、革新的技術を完全に仕上げる前に不完全なバージョンを先に公開する動機も大きいため、継続学習の真の飛躍が起きる前にその兆候が現れる と予想している

コンピュータ操作と自動化の現実的な難しさ

  • Anthropicの研究者との対話では、2026年末までに信頼性の高いコンピュータ操作エージェント が登場するという予測を聞いたが、筆者はこれに懐疑的である
  • 現在もコンピュータ操作エージェントは存在するが、実用的に扱うには効率が低い
  • 納税申告のような現実の業務を自動化するには、複数システム、長時間のエージェント実行、多様なマルチモーダルデータ処理 が必要であり、これは学習と検証のプロセスを非常に遅くする
  • 既存のテキスト事前学習データ（つまり言語モデルに使われた大規模なインターネット文書など）とは異なり、マルチモーダルなコンピュータ操作データセットは不足しており、信頼性の高いエージェント開発には時間がかかると見込まれる
  • 新たに提案される革新的なアルゴリズムも、実際の 現場適用までには数年単位のエンジニアリング調整が必要 であり、コンピュータ操作課題の進展はかなり遅いだろう

推論能力の高度化と限界

  • Gemini 2.5などの最新モデルは、話者の意図の解釈、論理的な自己検証、文脈への応答 などにおいて、実際に推論能力を示している
  • Claude Codeなどは与えられた仕様だけで動作するコードを素早く生成するなど、確かに 広いドメインで初歩的な「汎用知能」の兆し が見られる
  • 最上位のLLMモデルが能力を発揮するドメインでは、かなり印象的な成果 を出すこともある

短期および長期のAI/AGI予測

  • 筆者は自身の予測について確率的な視点を保っていることを強調しており、そのため備えを講じることは依然として妥当だと述べている
  • 以下の項目には50%の確率で賭ける意思がある
    • 2028年まで: AIが小規模企業の納税申告の全工程を完結的に処理 できる水準に到達する可能性はある
      • 現在のコンピュータ操作能力はGPT-2水準にとどまっており、データ不足と長いタイムホライズンによって最適化の難易度が高い
      • 優れたデモは2026〜2027年にも登場するだろうが、完全に自律的に長期間の複雑な課題を実行する水準は難しい と予想している
    • 2032年まで: AIが人間のように業務の中で自然かつ段階的に学習 し、数か月の実務適応を経て、人間並みに文脈・嗜好・ノウハウを内在化できる時点が訪れる可能性がある
      • オンライン連続学習の実装が近くに見えていなくても、7年という期間の中で本質的な突破口が開かれる可能性はある

AI進歩の制約要因と将来展望

  • AGI実現時期は 確率的に非常に広く分布（対数正規） しており、AIの進歩は過去10年間、計算量（トレーニング計算資源）の増加と密接に関連してきた
  • 計算量の増加は 2030年以降に限界点 に達すると予想され、アルゴリズム革新がボトルネックになる
  • 革新的なパラダイム転換がなければ、年ごとのAGI登場確率は時間がたつほど低下 する可能性がある
  • もし「長い側」に賭ける見方が当たるなら、2030〜2040年まで日常世界が大きく変わらない可能性 もあるが、逆に現在のAIの限界を突破すれば、非常に急進的な変化が起こりうる

関連記事

4件のコメント

 
mirea0 2025-07-08

持続性と学習には物理的な制限があるため、AGIは実現しないのだと思う
文字通り物理的な制限があるのであって、技術力が不足しているからではない
そうした制限を設けずにAGIとして一歩前進することになれば、その時は再び元に戻すのが難しくなり、AI開発者たちもそれを分かっているからこそ、サービスに合わせた形で発展させるだけで、その制限を解除しようとはしないのだと思う
 
iolothebard 2025-07-08

まったく同感です！
 
GN⁺ 2025-07-07
Hacker Newsの意見
  • 「LLMには、時間とともに人間のように段階的に改善していかないという根本的な問題がある、という点は本当に重要なポイントだと思う。LLMの基本性能は多くのタスクで平均的な人間より高いかもしれないが、モデルに高次のフィードバックを与える方法がまったくないため、箱から出した状態以上に改善できないという問題がある。神経ネットワークでよく見られる限界だと思う。WaymoのDriverのようなシステムはこの問題を回避している。たとえばWaymoは、運行中に問題が発生するとさまざまなシミュレーションを回して問題状況を複数の形に変形し、Driverに再学習させる手順を持っている。正確な方式は公開されていないが、これがエンドツーエンドの神経ネットワークとは異なる構造だと言及している。Waymo内部プロジェクトとしてエンドツーエンド神経ネットワークも試したが、現在のシステムより良くなかったため、今は何か別のものを使っているらしく、具体的に何なのか知っている人はごく少数だ」
    • 「LLMが人間のように段階的に発展しないとしても、Prologのようなツールを使って能力を拡張できる点が重要だ。AIの次の段階は、LLMがより良いツールや戦略を使えるようにすることだと思う。たとえば、論理規則、ヒューリスティックアルゴリズム、微調整されたLLMエージェントを1つのアーキテクチャに統合し、LLMのツールとして活用する構造が成熟していくだろう。経済的圧力が特に軍事用AI開発を促進している点にも注目すべきだ。Prologシステムを活用すれば、LLMがデータベースに事実を追加し、新しい関係を推論しながら継続的に学習することも可能だ。探索のための新しいモデルや方式を提案するヒューリスティックの導入も可能だ」
    • 「私の知る限り、Waymoはヒューリスティック、ルール、神経ネットワークなどさまざまな技法を人間が組み合わせて作ったシステムだ。完全なエンドツーエンド神経ネットワークではない。AIishという表現がしっくりくるが、設計上AGIとはかなり距離がある」
    • 「なぜ多くの人が次のような質問をほとんどしないのか不思議だ。現在の最先端AIは、すでに人間をはるかに優れた存在にしているのではないか？ 自己改善の幾何級数的な加速は、むしろ恐ろしいことだと思う。万が一すべてがうまくいったとしても、人間はもはや知的競争のトップの座を維持できなくなり、それは受け入れがたい転換点になるだろう。もし本当に自己改善を望むなら、人間自身が役に立たなくなることに慣れる必要がある」
    • 「神経ネットワークの限界が気になるなら、John Carmackの最近の講演を見るとよい。YouTubeリンク の30分前後でこの問題を直接扱っている」
    • 「ほとんどのAIは巨大なデータで学習するため、次の大規模データセットが用意されるまでに長い時間がかかる構造だという点が限界だ」
  • 「AGI（汎用人工知能）がまもなく登場すると言う人は、だいたい 1. 何かを売りたい人、または 2. 自分の話に酔っている人、または 3. 別の理由で興奮している人、または 4. その全部である可能性が高い。LLMは設計上、言語に強みがありテキスト要約はそこそこだが、論理に弱く空間推論には非常に弱い。だから概念同士の接続もあまりうまくない。有名なLLMに『分野を問わず最も難しい未解決課題は何か』と聞くと、科学雑誌風の記事は出てくるかもしれないが、微妙ながら致命的な誤りだらけで、答えがもっともらしく見えても実際にはゴミだ」
    • 「LLMは、学習データセットを圧縮したあとにテキストベースの対話的検索機能を提供するツールにすぎない」
    • 「『不明確だ』という表現が核心だと思う。LLMは全般的に知的ではあるので、私の基準ではすでにAGI時代に入ったと感じるが、多くの人はAGIを『超人的AI』として見ているのだろう。その基準なら、私たちはまだ到達しておらず、今後も簡単ではなさそうだ。私にとっては、今がすでにAGI時代だ」
    • 「LLMは、私たちが作り出したテキストの世界では本当に見事に動作するが、真実を追求する存在ではない。生き物は致命的なミスで死ぬが、AIは間違っても数千トークンを生成するだけだ」
    • 「真実追求の不足がLLMの問題だという指摘には同意するが、人間にもそういう面は多いので、大きな批判のようには聞こえない。そもそものAGIの定義（平均的な人間以上でほぼすべてのタスクをこなす）に照らせば、今はかなり近いし、今後5年以内には非身体的な仕事では専門家レベルで競争可能になるだろう（身体的な仕事は5〜10年かかると予想）。LLMが言語に強いのはその通りだが、それ自体が知能レベルを反映しているとも思う。空間的思考に弱いという評価も誇張された面があり、以前の空間推論専用モデルよりはるかに良くなっている。人間には及ばないとしても、最新モデルをロボットに適用して実際に動いているというだけで、AIとしては急速に進歩している」
    • 「私の考えるAGIの定義は、AIがその分野の専門職人材の少なくとも下位5%より、ほぼすべての業務で優れていればAGIに到達したとみなす、というものだ。人間の下位5パーセンタイルの知的能力も『知能』と呼ぶに値すると思うし、もしAIがこれより多くの人類より全領域で優れているなら、AGIと呼ぶべきだ。単一分野ではなく、あらゆる知的課題でより優れたAIである必要がある」
  • 「私はAGIがすぐに登場しないことを願っている。社会的にも政治的にもまったく準備ができておらず、下手をすれば人類の未来がディストピアに陥る危険が大きい。しかも今のAIは、少し電力消費が減って小さな改善があるだけでも、すでにさまざまな分野で非常に有用になりうるが、それだけでもまだ人間社会は受け入れる準備ができていない。問題は、基盤モデルを作る企業がこれまで投入した資金を十分に回収する明確な方法がほとんどないため、大きなブレークスルーを起こすか、無理に多くの分野へAIを押し込むしかなさそうなことだ」
    • 「私も同じ気持ちで、このバブルが早くはじけてほしいと心から願っている。Metaが拡張現実に1,000億ドル投資したという話もあるが、あの取締役会に座っている彼は、無謀に広告費削減の代わりに挑戦ばかり繰り返している。Altmanのような人物も、もう後戻りできない道を選んでしまっており、機会があるうちにできるだけ金を回収しようとするだろう。私たちにできるのは、こういう人たちが昔のドットコムバブルのように失敗することを願うだけだ」
    • 「AI投資の規模が大きすぎて、減価償却費だけでもAI企業全体の売上合計を上回るほどなのに、こうした固定費をどう回収するのかを多くの人が見落としている」
    • 「もしAI1台で、ほとんど従業員なしに業界全体を完全に置き換えられるなら、費用回収はとても簡単だと思う。莫大な利益になりうる」
    • 「少子化問題が本当に深刻だと思うなら、AGIがまもなく登場することがむしろ解決策になるかもしれない。永遠の人口成長を前提に経済問題を解決しようとするパラダイムを見直す必要がある」
    • 「AGIは人間の知能と正確に同じでなければならないのか？ ある機能は優れていて、別の機能は不足していてもAGIと見なせるのか、考えさせられる」
  • 「AGIがすぐ出るどころか、そもそも実現可能なのかすら確信が持てない。少なくとも従来型のコンピュータハードウェアでは難しいと思う。情報を見栄えよく繰り返す能力だけでは、知能の定義にも測定にもならない。もし本当に人工知能を実装できるなら、最初に登場するときは人間基準では非常に低い知能かもしれないが、外部の助けなしに自ら学習できる真のAIである可能性がある」
    • 「人間の一般知能が何か超自然的で測定不能な要素によるものだと信じない限り、AGI不可能論は退けられると思う。結局、人間も機械なのだから、脳は生物学とは別の形で複製可能だと考える。もしかすると最初のAGIは、シャーレで育った脳にPython APIだけが付いた存在かもしれないし、あるいはシリコンベースかもしれない」
    • 「別の側面も考えなければならない。道具が自分の知能を上回ったとき、どう対処すべきか悩む。オンラインでは、同僚が質問を受けたときにchatgptで答え、その質問自体もchatgptが作った、という状況まで出てきていて、もはや誰が何をしたのか誰にも分からない状況が生まれている」
    • 「私が思うに、知能の拡張限界は計算資源から来る。システムをうまくモデル化するための計算量は、それが複雑であるほど、あるいはカオス的であるほど、ほぼ指数関数的に増える。したがって、知能の効果は本質的に単純で秩序だったシステムにしか現れない可能性がある。最も実用的で堅牢な方法とは、変動要因をできるだけ取り除くことだ。結局、それが超知能であれ何であれ、知能の本当の限界点だ」
    • 「なぜ不可能だと思うのか気になる」
    • 「AGIについて明確な定義や合意はない。今後もAIが得意な分野（テキスト・画像生成、コード生成など）で段階的な改善が続くだけだと思う。AIがすべての人の問題を解決し、人類が海辺でユートピア的繁栄を享受するという幻想には、まったく現実的な根拠がない」
  • 「Dwarkeshの見方は印象的だ。彼がどこまで考えを進めているのか、いつも聞くのが楽しい。彼の中心的な主張によれば、適応的学習が必要だが、その兆しは見えないという。私の推測では、フロンティアラボは長いコンテキストが問題を解決すると期待している。コンテキストが1,000万トークンあれば、内部状態をうまく維持しながら多様なタスクをこなせるはずで、現在は長いコンテキストモデルほどウィンドウごとの品質変動が大きいという限界がある。問いを変えるなら、2年以内に1,000万トークン以上の有用なコンテキストウィンドウを持てるだろうか？ 可能性は高いと思う」
    • 「この問題を解決したと主張していた会社があったが、今は沈黙しか聞こえない」
    • 「『長いコンテキスト』なら、どれほど長ければよいのかという疑問が残る。実際の人間は、数十年にわたるマルチモーダル入力をコンテキストとしている」
    • 「DemmisがAGIは10年以内に到達すると言っているのを信じている。彼はこの分野を長年切り拓いてきたし、OpenAIですらDemmisの研究速度を恐れて設立された面がある。Demmisの予測を信頼していて、2035年ごろには人間とほぼすべての作業で同等か、それ以上のAGIが登場するだろう」
    • 「近いうちに（<5年）真のテストタイム学習を導入すると確信している。Alphaproof（DeepmindのIMOチャレンジ）にはすでにこの手法が適用されている」
  • 「米国の成人の54%が全国的に見て小学6年生以下の読解力だという統計がある。AGIはすでに到達したのではないかと思う。Wikipediaリンク」
    • 「一国の教育の失敗とAGIに関連があるのか疑問だ」
    • 「よい指摘だ。ではLLMが洗濯や皿洗いをするところも見てみたい。ロボットで身体を作ったとしても簡単ではないだろう」
    • 「読めることだけがAGIの条件のすべてなのか、と考えさせられる」
    • 「経済的な観点では、AGIと一般労働者、たとえばコピーエディティングのような特定業務に投入される人材との比較のほうが現実的だ。実際に雇用される可能性が低い全国平均より、職務適性に焦点を当てるべきだ」
    • 「非識字の人たちでも、LLMにはできない非常に困難な課題を解決できる」
  • 「AIの進歩を巡る議論では、未来のAIが人間と同じやり方で問題を解決するはずだという前提が問題だ。この前提に立つと、継続学習の欠如が致命的欠陥のように見える。実際には、ディープラーニングの発展史で継続学習が主導的役割を果たしたことはなく、大規模データセットとスケーリングが最も成功した方法だった。継続学習が必須だという主張を説得力あるものにするには、クロスタスク学習方式の限界と、AIが絶対に達成できない領域を具体的に示す必要がある。著者はRL flywheel（優れたプログラミングAIがRLを反復適用するときの加速効果）の不確実性にも触れているが、本文全体が少し自信満々すぎるように感じる」
    • 「Alphaproofは各問題ごとに、AlphaZero方式のテストタイムトレーニングを用いて類似問題を生成する方式を使っていた」
    • 「継続学習がディープラーニングの発展史で重要でなかった理由は、ディープラーニングの従事者たちがそもそも目標を違うものに設定していたからかもしれない。最も知的なAIではなく、最も有用で生産的なAIを目指すべきだとするなら、知能そのものより、愚かでも失敗から学ぶ存在のほうが、しばしば頑固な天才より価値があるかもしれない」
  • 「私の見方では、現在のLLMは人間が言いそうなことを予測する構造なので、知能や推論力も人間レベルにとどまるだろう。知識の幅は人間を超えられても、知能や創造性は人間並みか、それ以下かもしれない。AI企業は次世代LLMが新しい洞察や未解決問題を解決すると予測しているが、本当の洞察には、下位原理から概念を自由に再生成できる内部構造が必要だと思う。LLMは新しい理解の層を積み上げることができないため、限界がある。実際、人間の脳のように入力から抽象的理解まで積み上げる方式なら、この限界を超えられる可能性がある。いつか新しいAIパラダイムが現れてLLMを圧倒するかもしれないが、正直、予想が外れてほしいし、あるいはASI（超知能人工知能）は少し怖い」
    • 「人間レベルのAI性能が出たとしても、機械は人間と違ってGPU性能を上げるだけで即座に10倍速い人工知能を得られる。速度そのものが超人的能力だし、しかも同じシステムを何度も動かして複数のアプローチを同時に探り、最適な案を選ぶこともできる。検証可能な作業では非常に大きな優位になる」
    • 「現在のLLMは単なる人間の文章予測器ではなく、数学やプログラミング問題で正解に関連するトークンを予測する方向へ進化している」
  • 「議論の大半はAIに悲観的だが、当の著者は2030年代初頭までにAGI達成確率が50%だと述べており、2028年までにASIが誤った方向へ発展する可能性にも備えるべきだとも言っている。つまり著者は、むしろAIについて楽観的だ」
    • 「3年以内にASIが誤作動するなら、どんな対策も無意味になると思う」
  • 「最近は誰もモデル規模を公開しなくなっている現象から、すでにモデル訓練が限界の壁にぶつかっている兆候を読み取れると思う」
 
kandk 2026-02-17

またその話か