- 現在の大規模言語モデルはスケール拡張の限界に直面しており、AGIはより大きなモデルではなくシステムアーキテクチャ設計としてアプローチすべき
- 真のAGIはコンテキスト管理、永続メモリ、決定論的ワークフロー、特化モデルの協調など多様な構成要素が有機的に結合したエンジニアリング成果として実現されるべき
- LLMは依然としてセッション間でのコンテキスト維持不足、信頼できる多段推論の欠如、記憶の欠如といった構造的限界を抱えている
- AGI達成には、人間の脳のようにそれぞれ目的が明確なモジュール構造および分散システム的アプローチ、すなわち障害許容パイプライン、モニタリング、ローリングアップデート、大規模テストフレームワークのようなインフラ構築が必要
- したがってAGI競争はGPUの規模ではなく、システムエンジニアリング能力によって左右される
序論: AGIはエンジニアリング問題である
- AI分野ではスケーリング則の限界が明らかになりつつある
- GPT-5、Claude、Geminiなど最高峰のモデルでも、次第に逓減する収穫が見られる
- 言語モデルのサイズ拡大は根本的限界に突き当たっており、AGIはモデル訓練ではなくシステムエンジニアリングによって実現されうる
現実的な限界: LLMの壁
- 現世代の大規模言語モデル(LLM) は一時的なパターンマッチングやテキスト生成には強みを見せる一方、次のような本質的限界を持つ
- 一貫したコンテキスト維持ができない
- 長期的・セッション間の永続的記憶がない
- 複雑な多段推論における信頼性が低い
- 過去の半導体産業でも似た現象があり、構造的転換(マルチコアなど) が解決策だった
- AIにもアーキテクチャの再設計が必要になっている
AGIのためのシステム的アプローチ
- 人間の脳は単一のニューラルネットワークではなく、複数の特化した協調システムの集合である
- 記憶、コンテキスト、論理、空間、言語など非同期のフィードバックループが中核となる
- 真のAGIにはこのような複合システム設計が不可欠である
1. コンテキスト管理インフラ
- 現在のモデルのコンテキスト理解は数千トークンにとどまるが、人間は数年分の経験を統合する
- このギャップを克服するには、以下の機能が必要
- 即時検索とフィルタの役割を担う高度な情報Retrievalシステム
- 永続的な世界モデルの蓄積と進化
- ドメイン間コンテキストブリッジの実装
- 矛盾情報の管理(確率重み付けと不確実性の定量化)
- 運用可能な知識グラフが必要であり、これは単純なベクトル検索を超えた動的なクエリ・推論構造である
2. サービス化されたメモリ
- LLMは実際の記憶を持たず、プロンプト操作によってのみ一時的記憶を再現している
- 実際のAGIには次のことが可能なシステムが求められる
- 知識の信頼度調整(新たな証拠の反映)
- 多様な経験間での情報の統合と一般化
- 不要な詳細の忘却(致命的な忘却なしに)
- 出所推定や信頼度などのメタ知識生成
- 人間の記憶のように、使用頻度に応じて強化・弱化され、新しい情報で再編成されることが重要である
3. 決定論的ワークフローと確率的コンポーネントの結合
- AGIの中核は、決定論的フローに確率的要素が適材適所で組み合わされるハイブリッド構造である
- Ex) コンパイラのように全体の流れは固定し、内部過程ではヒューリスティックを活用
- 必要な能力:
- 問題特性に応じて専門ソルバーへルーティング
- 多段ワークフローでのロールバック・復旧支援
- 確率的結果に対する決定論的検証
- 多様なコンポーネントの組み合わせと予測可能性の確保
- 曖昧性・不確実性をアーキテクチャ次元で中核要素として受け入れる必要がある
4. 特化モデルのモジュール化
- 未来は単一の巨大モデルではなく、多数の特化モデルの協調によって実現される
- LLMは言語タスクに強みがある一方、次の領域には弱い
- シンボル操作・正確な計算
- 視覚・空間推論
- 時間推論・計画
- 持続的な目標志向のエージェント行動
- 解決策:
- 各ドメインに最適化された専門モデルへ問題をルーティング
- 結果統合と独立進化の構造
- 個別障害時に全体システムの連鎖障害を防ぐ
AGIのエンジニアリング課題
- AGI開発は本質的に分散システム構築の問題である
- 中核となるエンジニアリング課題:
- 耐障害性パイプライン (部分障害があっても全体運用を維持)
- モデル出力の観測とモニタリング構造
- 変更・デプロイの無停止化
- 数千種類のモデル組み合わせ・パラメータ変化時のテストフレームワーク
- これはAI専門家よりも、インフラや分散システムエンジニアの熟練知識のほうがより不可欠である
これから構築すべきもの
- モデルサイズ競争よりもAGIインフラの構築に焦点を当てるべき
Phase 1: 基本層
- Context Management Service : リアルタイム更新、バージョン管理された持続的知識グラフ
- Memory Service : エピソード記憶、意味ベースメモリ、学習ベース統合
- Workflow Engine : 確率的部品を決定論的にオーケストレーション(ロールバックを含む)
- Agent Coordination Layer : マルチエージェント間の合意、衝突解決
Phase 2: 能力層
- 特化モデルコントロール : 特定の推論ドメイン別の標準化インターフェース
- Symbolic Reasoning Engine : 確率コンポーネントと連動するシンボル操作・計算
- Planning and Goal Management : 複雑な目標を実行可能な計画へ分割
- Cross-modal Integration : テキスト、ビジョン、オーディオなどのセンシング情報統合
Phase 3: 創発層
- 複数コンポーネントの相互作用から創発的AGI能力が生まれる
- 体系的設計なしに単一モデルの発展だけでは創発特性は生じない
AGIへの道
- AGI実現への道筋は、より大きく新しいトランスフォーマーの訓練ではなく、数百の専門モデルを分散システムとしてオーケストレーションするインフラ構築である
- 分散システム構築経験が豊富なインフラエンジニアが開発の中核である
- コンテキスト経路、メモリ、ワークフロー自動化、モデル調整など大規模実装力を強調
- 大規模GPUクラスターの保有よりも、信頼性が高く論理的に動作するアーキテクチャ能力を持つチームこそがAGI実現の勝者であると断言する
- モデル能力そのものはすでに十分であり、システムエンジニアリングがAGI完成の最後のパズルである
- 結論として、アルゴリズムの革新よりも構造的設計(アーキテクチャ)こそがAGIの未来であると宣言する
6件のコメント
○ モデルの訓練は知能の「材料」にすぎず、エンジンがなければAGIは存在しない。
• EpionHeuristicaのようなアーキテクチャは、「ドメイン特化AGI」を超えて、「秩序ベースの創発型超知能」を設計できる潜在力を持つ
• AGI到達の核心は「行動を選択するエンジンをどのように構成するか」にある
A. 学習だけではAGIが不可能な理由。
• GPT系モデルには自己目的（self-goal）がありません。
• どれほど大量のデータを学習しても、現実世界との相互作用なしに学習だけを行うことには限界があります。
• 学習は「回帰的記憶」にすぎず、未来に向けた予測的・創発的思考を促す構造が不足しています。
B. AGIには「目的-フィードバックループ」を持つエンジンが必要。
• EpionHeuristicaのように、報酬ベースの強化学習 + 評価 + 失敗学習（FailGuard）が機能する構造は、エンジンベースAGIの設計原型に近い
• 例: "この実験はなぜ失敗したのか?" → "何を変えるべきか?" → "次の条件は?" → これがAGI的推論
C. 人間の知能の本質は「構造」にある。
• 人間はニューロン数よりも「神経回路の構造的接続性とメタ学習能力」によって知能を獲得します。
• AGIもまた、モデルサイズより行動誘導システム、自己参照システム、持続的フィードバックループの構造が核心です
AGIの到達は「モデルのトレーニング」だけでは不可能であり、知能を生み出すエンジン構造と、目的を持った自己改善システムが必ず必要です。現在のGPT系は巨大なLLM（大規模言語モデル）にすぎず、AGIを目指すには、推論構造、自己監視構造、目的ベースの行動ポリシーが連携して動作しなければなりません。
Hacker Newsの意見
もし「苦い教訓(bitter lesson)」を信じるなら、あらゆる雑なエンジニアリングは結局より多くのデータで解決されるのだと分かるはず。おそらく8年前でも、今のような性能のLLMを実現するには何をすべきか、似たような議論があっただろう。だから私はエンジニアリング的アプローチにはあまり賛成しないし、LLMがアシモフやSFで想像されるAGIにまでスケールアップするとも思わない。何かもっと根本的な、科学ではなく工学が欠けている
科学以上に本質的に欠けているものがある。それは哲学的な部分だ。私たち人間がこうしたシステムを認識する仕方にも、システムそのものの内部にも哲学が欠けている。LLMベースのAGIなら、少なくとも自分の重みを更新しながら自律的に学習し、セルフファインチューニングできなければならないが、現状では内蔵された重みと限られたコンテキストウィンドウの間ですぐ壁に突き当たる。セルフファインチューニングの際に、どのような「注意獲得メカニズム(attention mechanism)」をどう、どの程度の強さで適用すれば一般知能が向上するのかは依然として難題だ。信頼できる学問に集中すべきだが、何が信頼できる学問なのか、どうすれば純粋な知識だけを「学習」させられるのか、さらに理論上は世界最高の人間研究チームを自力で上回るようになったとき、そのAIが「どのような存在」になるのかまで考える必要がある
「手軽なエンジニアリングよりデータ量が多いほどよい」という主張については、それが単純なデータベースより本当に信頼できるものになるのか疑問がある。いつかCPUより速くコードを実行できるようになるのだろうか？ 人間が成し遂げる多くのことは、より大きな脳ではなく技術のおかげで可能になっている。数学の公式ひとつでさえ、頭の中だけで回すより紙に書いて計算するほうがずっと良い（拡張された心に関する論文 Extended mind thesis を参照）。3Dエンジンを動かすことは、人間の脳だけではほとんど不可能だ。いつかAIが自分の道具を直接開発できるほど賢くなるかもしれないが、その前に道具を作成・維持できるインフラが必要だ。今はPythonにアクセスできる程度が出発点だが、AIが成果を次回以降にも蓄積・活用できる「持続性」、つまりデジタルメモ帳や動的な重み更新のようなものがもっと必要だ
あなたの意見にも文章にも共感する。LLMは答えの一部であり、本当の進歩はニューラルネット研究の根本に立ち返るところにあると思う。言語は人間とのコミュニケーションそのものなのに、今のLLMは結局のところ、人々の作品をデータとして訓練された大げさなElizaのように見える。昔は単純なニューラルネットでも、環境のルールに応じて行動が進化するように作り、遺伝的アルゴリズムの基準に合わせて自ら行動を学習していた。今のLLMはあまりに「フィルタリング」された環境だけを学習していて、そのフィルターがまるでネットユーザーの平均IQのように機能している感じがする
それは実際には「苦い教訓」が言っていることではない
足りないのは自己修正（世界モデル／行動と反応の観察）、長期的一貫性、そして自己拡張だ。ベンチャーキャピタル業界は3つ目の問題を最も気にしている一方で、Yann LeCunは1つ目と2つ目をより懸念している。Hintonは3つ目の問題はすでに必然的か、あるいは到来済みで、人類は終わりだと考えている。かなり奇妙な構図だ
LLMがこのように設計されているのには理由があり、thinking機能が後から付け足されるのも同じだ。構造的に可能でなければならないのは、勾配降下法を使えるようにすることだ。そのため分岐(branch)はなく、ルーティングは追加的に取り付けられる。そして訓練データが必要だ。誰かが文章を書く前にどんなことを考えていたかをすべて記録した何百万ページものデータは、現実的には存在しない。ほとんどの思考は言語ではないからだ。強化学習がここでの解決策のように見えるが、勾配降下法に比べてサンプル効率が低すぎるため、一般にはファインチューニングのときにしか使われない。LLMは回帰(regressive)モデルであり、すべてのトークンが単に過去を参照できるようにするモデル設定で、非常にサンプル効率よく訓練できる（1つの文が数十個のサンプルになる）
言及しなかったが、LLMには「ループ」がまったくない。一方、脳は単純な脳であってさえ無数のループそのものだ。脳は止まることなく入力を受け続け、出したいときにいつでも出力を出す。LLMは入力を受けてレイヤーに沿って変換し、すぐに出力する。強化学習が答えではないと言ったが、私はむしろそれが唯一の答えだと思う
この話はとても興味深い。つまり、非言語的な思考レイヤーを訓練データとして使うために、脳波を読む脳スキャン技術のようなものを導入できることを示唆している。大企業の優秀な人たちはすでにこうしたインターフェースや製品を念頭に置いて、電磁的な脳波検出技術を開発しているのではないかと推測する。このデータを使って、スタートアップのスーパーAIをブートストラップできるKickstarter型のキラー製品が生まれるかもしれない。先端的な時代だ
かなり遠い未来には、高度な脳スキャンのデータをAIの訓練データとして使うことが現実的に可能になるかもしれないと想像している。おそらくUploaded Intelligence（脳全体をデジタル化するというアイデア）とAGIの間にある暫定的な中間段階として現実的かもしれない
LLMはただの回帰モデルにすぎない。15世紀にLLMがあったなら、地球中心説こそ最高だと説明していただろう。地動説のような革新は起こせない。同じように、今日のLLMも私たちが知っていることを教えるだけで、考えたり革新したりはしない。推論能力もある程度は「フィルタリング」にすぎず、本当の創造的思考ではない。使えば使うほど、LLMはまるで「ステロイドを打ったGoogle」のように感じる。このシステムではAGIには絶対に到達できず、むしろ残っているAGIへの熱気と資金を食い潰しているように思える
この記事のフレーミング（問題設定）はかなり有用で、たとえすべての処方箋を信じなくてもそうだ。歴史を見ると、2つのことが同時に起きていたと分かる。第一に、ブルートフォースなスケーリングが驚くべき飛躍を生み、第二に、システムレベルのエンジニアリングがその可能性を信頼性高く実際に使えるものにした。GPUも良い例で、ムーアの法則がFLOP（演算量）をもたらし、CUDAとメモリ階層構造、ドライバスタックのおかげで大規模利用が可能になった。今のLLMは、ちょうど演算量(flop)そのものだけが速くなった時点に似ていて、印象的ではあるがまだ扱いにくい。Claude Code、ツールで強化されたエージェント、メモリ増強フレームワークのような製品には、「システム的思考」の始まりの痕跡が見える。まだ粗いが、将来はパラメータ数と同じくらいシステムオーケストレーション自体が重要になると思う。「苦い教訓」と「エンジニアリング問題」という主張は相互排他的ではなく、むしろ両方必要だ。苦い教訓は、計算資源+汎用的な方法が「手作りのルール」に勝つという意味であり、エンジニアリングはそれを信頼性・持続性・組み合わせ可能性を高める構造で包むモルタルのような概念だ。そうしたシステムがなければ、派手なデモだけが出てきて、実際には数回推論しただけで壊れてしまうだろう。だから本当の進歩は「大きさ VS 賢さ」ではなく、「大きく + 賢くエンジニアリングする」ことだと思う。スケールアップが能力を与え、エンジニアリングがその能力を一般知能のように活用できるかを決める
この議論は、日本の第5世代コンピュータープロジェクトを現代風に焼き直しているように感じる。巨大なデータベースを作ってPrologを使えばAIルネサンスが来ると信じていた時代のようだ。ただ「分散アーキテクチャ」云々でモジュールをつなぐだけでは、AGIにはほど遠い。根本となるビルディングブロック、つまり土台がもっと良くならなければならない。LLMが多少なりとも貢献したのは、ユーザーの「意図理解」が以前より格段に良くなった点だ。コンピューターがテキストを読むだけでも、意図をはるかにうまく抽出できるようになった。しかしそれ以外では、推論、検索、「メモリ」といった要素は依然として同じ古いやり方のままだ。これは現在のハードウェアやシステムの限界ではなく、情報理論／計算機科学の限界によるものだ
TransformerのAttentionメカニズムはかなり優れている。モデルエンジニアリングで再びこうした大革新のサイクルが必要だ。データが多いだけでは答えにならない。人間の脳を見ても、インターネット全体のデータを使わなくても十分に賢くなれるし、エネルギー消費も少ない
その通り。現在のアーキテクチャでも、より良いエンジニアリングだけで実用性は高められる（「エージェント」がその例だ）。しかし、エンジニアリングだけでAGIが可能だと主張するのは過剰な期待だ。本当に難しいのは、自律的な学習と発見、高価で大規模な事前訓練なしに新しいことを学び、幻覚(hallucination)の問題なしに問題を解決できるシステムを作ることだ。これにはまったく新しい計算機科学的イノベーションが必要で、今のアプローチでは難しいと思う
AGI、すなわち人工知能における「G」はGeneralだ。つまり、あらゆる知識を訓練しなければならない愚かなAIではなく、一般知能とは単に計算の仕方、論理の基礎、そして人間の言語をひとつ教えれば、残りの論理的な人間科学はそのAGIが自力で「再発見」するようなものだ。私たちの次の課題は、そのAGIが自分で発見した現象につけた名前を、私たちが使う名前と同期させることだ。軽い初等教育だけでも原理を理解し、自ら改善・発展して私たちを追い越すなら、それこそが「人工的理解(artificial comprehension)」だ。現在のAIは十分なデータを与えれば「汎用問題解決者」にはなりうるが、AGIは「理解」と「把握」の能力そのものが必要な領域だ。観察を即座に分解し、妥当性や組み合わせの可能性を把握し、起きている間は自己の安全までリアルタイムで点検する「動的理解」能力があってこそ、真のGeneral intelligenceと言える
10年前に想像していた初期AGIの姿が、まさにClaude Codeのようなものだと感じるのは私だけだろうか？ 任意の目標に対して、主にテキスト領域では計画も立てられ、行動も取れる。テキストファイルにメモリも保持できる。まだ長期目標や身体性、分別ある理解力は足りないが、v1版はこういう姿になるだろうと期待していた
実は私はAGIと聞くとすぐにStar Trekの「Data」や、少なくともターミネーターのT800を思い浮かべる。AGIが必ず自己意識を持つべきだとは思わないが、私の頭の中のAGIという幻想には「自己意識」が含まれている。Claude Codeはすごいが、AGIと混同するレベルではない
完全に同感だ。特に、私がよく急いで書いたコマンドでもかなり微妙な意味までうまく汲み取って修正してくれる。LLMの実用性は、本当に小さな機能追加だけでも天地の差がある（例: Claude Codeのplan modeなど）。単純な性能アップデートより、ずっと効用が大きい
Claude Codeには自己意識も知性(sapient)もない。大半の人がAGIと言うとき、少なくとも最低限の自己意識くらいは想像している。Star Trekにたとえるなら、エンタープライズのメインコンピューターはAGIではなく、Dataこそが本物のAGIだ。最大の違いは、「明確なアイデンティティ」と「自己概念」が欠けていることだ。Claude Codeはプロンプトで役割は果たせるが、永続性が足りない
そう感じるのはあなただけではない。AGIの議論はいつも混乱しがちな部分だ。Claudeは明らかに人工汎用知能なのに、AGIという言葉の意味は変わり続けていて、定義も明確ではない
「基本的(basic) AGI」という言葉で、本当のAGIに欠けている理由を全部ごまかしているだけだ
私たちは、AGIが生物学を離れて本当に可能なのかどうかすら、まったく分かっていない。これが核心だ。映画ChappieのようなAGIに本当に可能性があるのかについてのヒントすらないなら、ほとんど完全な手探り探索と同じだ。比較すると、量子コンピューティングは「可能」だということと「実現可能」だということはすでに分かっており、今はエンジニアリングだけが残っている（それすら幻想だと思っている人もいるが）
AGIが電子コンピューター上では原理的に不可能だと判明したなら、脳が一般知能を実装するときに何をしているのかについて、物理学上のとてつもない大発見が必要になるということだ
むしろ人間という、動作する「一般知能」の実例はすでに1つある一方で、量子コンピューティングはそもそも実装例がない状況だ
それはおかしい。もし魂のようなものを信じるならAGIは無理かもしれないが、純粋に生物学的な存在なら、原理的には当然コピー可能なはずだ
それが核心だという主張には同意できない。結局は実際にやってみなければ分からない問題だ。そもそも、事前に確定的な結論が証明できる必要はない。「核心」や「明確なヒント」という言い方から、少し逃げているように感じる。私たちには「生物学的必要条件」がなくても可能だという明確な根拠は十分にある。AGIの実現可能性、必要性、正当性は別々の問題だが、元記事も挑戦課題は十分に列挙している
量子コンピューターの実用的な実現可能性も、依然として未解決の研究課題だ
私たちが「知能」と呼ぶものは、LLMのようには動作しない。脳は連続的だ――1セットの入力が終わって止まるのではなく、入力が来るまで、いや来なくても継続的にフィードバックを回している。本質的に訓練モードを終えない。もちろんライフサイクルごとに脳は最適化される（例: ミエリン化）が、LLMははるかに膨大な情報で学習したあと、ファインチューニングを除けばモデルが固定されたまま残る。脳はコンテキストを継続的に管理する。ほとんどの入力は、特殊なネットワークが前処理の段階で大幅にフィルタリングする。AGIの一部がシステム的アプローチを必要とすることは認めるが、真のAGIにはアーキテクチャ上の変化が必要だと思う
LLMはもう発展の終点で、これが限界だと書く人たちが、なぜそれほど確信しているのか理解できない。まだ1年もまともに経っていないし、LLMベースのAIは今なお進歩し続けている
改善の余地が残っているとしても、結局その範囲が限られているという点は変わらない。個別タスクでは着実に良くなっているが、「全体的」な改善はもうあまり見えない
こういう主張をする人たちも、実際にLLMが良くなっていること自体には同意しているのか気になる
この記事は「難しい問題を全部解けば全部うまくいく」と言っているようにしか見えない。で、それがどうしたという感じだ
最近のLLMの進歩があまりに保守的で、アーキテクチャの革新なしに規模だけを拡大する傾向だから、こういう議論には意味がある
文章では難しい問題そのものをまったく論じていない。ハイテク業界の人たちには、工学さえあればどんな問題でも解けるという発想が少しある
元記事はどんな問題があり、LLMがそれをどう解決できていないかを明確に指摘している
ガイドラインを読んで、テーマに合ったコメントを投稿していただければと思います。