AIが失敗するとき、体系的な誤りよりも右往左往のほうが危険かもしれない（Anthropic Alignment Research）

（2026年2月時点の最新推論モデルの実際の失敗パターンを分析した、非常に重要なインサイト）

核心的な主張

• 従来のAI安全性研究: 体系的な misalignment（誤った目標を一貫して追求すること）を中心に扱ってきた
• 実際の最新モデルの失敗パターン: 非一貫性・右往左往（variance / incoherence） のほうがはるかに顕著 → こちらのほうがより大きな問題かもしれない

主な観察（Claude Sonnet 4、o3-mini、o4-mini などの最新推論モデル）

• タスク難易度 ↑ & 推論の長さ ↑ → 非一貫性が急激に増加
• 易しい問題 → 大規模モデルのほうがより一貫している
• 難しい問題 → 大規模モデルでも非一貫性はほとんど改善しない、あるいはむしろ悪化
• モデル自身が長く考えるほど（自然な overthinking）、incoherence が爆発的に上昇

失敗タイプの分類

• Bias（体系的誤り）: 常に同じ誤った方向へ進む（典型的な misalignment）
• Variance（非一貫的誤り）: 同じ質問に毎回別の的外れな答え → 予測不能
• Incoherence 指標 = 誤りのうち variance が占める比率（1に近いほど右往左往）

根本原因

• LLM は 最適化器（optimizer）ではなく動的システム（dynamical system） である
• 高次元の状態空間で軌道を描く構造 → 一貫した目標追求が本質的に難しい
• スケールが大きくなるほど「目標認識」は速くなるが、「その目標を最後まで一貫して追求する」能力は相対的にゆっくりしか改善しない

AI安全性への含意

• 将来のAI事故の形態 → 「悪意ある目標追求」よりも 「産業災害レベルの右往左往事故」 の可能性 ↑
  （例: フランス詩を読んでいたら突然メルトダウンを起こす）
• 研究の優先順位の変更が必要
  • 完璧な目標整列（alignment）よりも bias の低減 + 報酬ハッキングの防止 + 目標仕様の明確化 がより急務
• 非一貫性は安全を保証しない（むしろ予測不能だからこそ、より危険かもしれない）

結論のポイント

• AI失敗の主な脅威は、体系的誤りから 非一貫的で散漫な誤り へと移行しつつある
• 動的システムの観点から alignment 研究を再設計する必要がある
• 単に「より賢くなれば安全になる」という考えは危険

https://aisparkup.com/posts/8979

[raykim]

監督役の agent を複数作り、監査意見を合議で決める方式で解決するのはどうだろうか。メインワークフローから独立し、メインワークフローの CoT 全体を監視する監査グループ！