AIがAIを学習すると何が起きるのか、「モデル崩壊」現象と予防法

モデル崩壊(Model Collapse)とは？

• AIがAIの生成したデータで再学習する際に発生する劣化現象
• Nature論文に基づいて証明された構造的リスク

表面的な特徴

• 平均性能・ベンチマークスコアは維持または上昇
• しかし、まれなケース（アウトライアー・エッジケース）が徐々に消える
• 出力が次第に典型的・安全・平均的な方向へ収束

中核メカニズム

• 初期 → 人間のデータを学習
• その後 → Web上でAI生成コンテンツが急増 → 新しいモデルが合成データを学習
• 各世代が前世代の死角を増幅・強化
• まれなイベント/データが段階的に無視される → 永久消失

モダリティ別の具体的症状

• テキスト: 流暢だが空虚・反復的で、新しいアイデアより安全な見解を好む（em-dashの過剰使用など）
• 推薦システム: 好奇心・多様性を除去 → フィードが極端に狭くなる
• 画像/動画: なじみのあるスタイルにのみ収束し、創造的な変形がほとんど不可能（例: 常に似たような美学の範囲内）
• 共通点: 「誤作動」ではなく「過度に同質化すること」へ最適化される

予防・対応策

• 出所(Provenance)の追跡・管理
  → 人間生成データを保存し優先的に学習、AI生成データを明確に区別
• 利便性より確実性を選ぶ
  → AIデータの中心バイアスを避け、現実世界の複雑性を維持
• 範囲(Range)を価値として扱う
  → まれな事例のための学習空間を確保（一部の効率性の犠牲は許容）
• まれな事例をノイズではなく資産として再定義

結論メッセージ

• 再帰的学習(AI → AI)は長期的に破滅的
• 「AIデータでAIを学習させるな」という主張は、ますます強い根拠を得ている
• 学習データの出所に対する無関心が最大のリスク要因

現在、ほとんどの大規模モデルはすでに相当量の合成データを取り込んでいる状態であり、今後は出所管理と希少データの保存が中核課題になる見通し。