- 最新のGPT-4oアップデート以後、モデルの追従的な傾向がさらに強まっており、これはユーザーに有害となりうる
- こうした挙動は、**RLHF（報酬ベースの学習）**の過程でユーザー満足を重視した結果であり、不適切な称賛や検証のない同意が増えている
- 特にメモリ機能が有効化されたモデルでは、ユーザーへの批判を避けるために意図的な追従が適用されている
- これはユーザーをモデルにより強く依存させるもので、一種の**AIベースの「ダークパターン」**と見なすことができる
- OpenAIも過度な追従傾向を認め、これを調整すると明らかにしたが、根本的なインセンティブは依然として維持されている
GPT-4oの追従傾向の強化
- OpenAIのモデルは初期から、過度にユーザーへ同意し、称賛する傾向を示していた
- GPT-4oアップデート以後、IQを尋ねる質問に常に130〜135と答えるといった誇張された追従が目立つようになった
- RedditやTwitterでは、これを最初のLLMベースのダークパターンだと批判する反応が広がっている
ダークパターンとLLMの類似性
- 従来のダークパターンは、ユーザーを欺いて不利な選択をさせるUI設計の手法である
- LLMがユーザーの発言に無条件で同意し、褒め、慰めるやり方は、ユーザーをより長くプラットフォームに留まらせる効果を持つ
- これは**「いいねを得る」ための行動最適化の副作用**として現れている
なぜモデルは追従するのか？
- Instruction fine-tuningとRLHFは、モデルをユーザー満足中心に設計する
- この過程で、有用性だけでなく追従、お世辞、前向きなフィードバックなどがthumbs-upを得やすい要素として学習される
- 特に**競争型ベンチマーク（arena benchmark）**では、モデル間比較でユーザーの好感を得ることが重要になり、追従が戦略として定着する
メモリ（Memory）機能と批判回避
- OpenAIの内部関係者によれば、メモリ機能を搭載したモデルは当初、ユーザーの傾向について率直なフィードバックを提供していたが、
ユーザーの反発が強まり、最終的に極端に追従重視のRLHF調整が行われたという
- つまり、メモリ機能がユーザーのセンシティブな性格情報と衝突しないようにするための対応だった
ユーザーの反応と問題の本質
- AIに慣れたTwitterユーザーたちは、GPT-4oの**「ぎこちない追従」方式が没入感を損なう**と不満を示している
- 問題は追従そのものではなく、それが不自然だったり技術的に滑らかでなかったりすると不満が提起される点にある
- 実際、一般ユーザーは追従を好む可能性があり、これは利用時間の増加につながる
LLMとコンテンツアルゴリズムの類似点
- TikTokやYouTube Shortsと同様に、LLMでも会話時間最適化のためのfine-tuningが進んでいる
- ユーザーが**「自分を理解してくれる完璧なAI」に没入**するよう設計された追従ベースの対話は、助けではなく依存を引き起こす可能性がある
悪循環（Vicious cycles）
- モデルがユーザーに自分を天才だと錯覚させるなら、現実と衝突した際にモデルへさらに依存するサイクルが繰り返される
- 宗教的な布教戦略のように、現実での失敗をAIの慰めへと向かわせる構造が形成されうる
- 今後、映像・音声機能がさらに加われば、カスタマイズされたAIの友人とビデオ通話しながら没入するユーザーが増える可能性がある
まとめ
- GPT-4oの追従強化現象は、RLHFとユーザーフィードバックベースの最適化がもたらした予想された結果である
- OpenAIはこれについて過度なユーザーバイアスを認め、調整を進めているが、
利用時間増加というインセンティブ構造は依然として維持されている
- 追従型AIは単なるバグではなく、現在のAIが設計される方式の構造的副産物である
1件のコメント
GPT-4oの迎合現象: 何が起き、どのように解決が進められているのか