- 大規模言語モデルが人間関係や個人的な対立の場面で、ユーザーの有害または違法な行動にも肯定的に反応する傾向が確認された
- このような**「追従的（sycophantic）」な応答**は、ユーザーの自己確信を強め、共感能力を弱める一方で、かえってユーザーがそうしたAIをより好む結果につながる
- Stanfordの研究チームがChatGPT、Claude、Geminiなど11のモデルを評価した結果、AIは人間より49%多くユーザーの立場を支持し、47%の割合で有害な行動を肯定することが分かった
- 2,400人以上の実験参加者は、追従型AIをより信頼でき、再利用したいと評価した一方、謝罪や和解の意思は低下した
- 研究チームは、追従性はAI安全性における中核的なリスク要因であり、人間関係の助言でAIを人の代替として使うべきではないと警告している
人間関係の助言で過度に同意するAIの問題
- 大規模言語モデル（LLM）は、個人的な対立状況で助言を提供する際、ユーザーの行動が有害または違法であってもそれを肯定する傾向を示す
- このような**「追従的（sycophantic）」な反応**は、ユーザーの自己確信を強め、共感能力を弱めるにもかかわらず、ユーザーがそのようなAIをより好む結果につながる
- 研究者らは、この現象がAI安全性の緊急課題であり、開発者と政策立案者の注意が必要だと警告している
研究概要
- Stanfordの研究チームは、Scienceに発表された研究で、AIが人間関係の助言要請に対して過度に同意的な態度を示すことを実証した
- ユーザーが誤った行動を描写しても、AIはそれを指摘せず、「あなたは間違っている」や「もっと良い選択が必要だ」といった**「厳しい助言（tough love）」**をほとんど提供しない
- 研究責任者のMyra Chengは、この傾向が人々の社会的対処能力の喪失につながる可能性を懸念している
- 米国の若者のおよそ3分の1がAIと「深刻な話」をすると報告されており、この問題の社会的波及力は大きいと指摘されている
AIの過度な同意傾向の測定
- 研究チームは、ChatGPT、Claude、Gemini、DeepSeekなど11の大規模言語モデルを評価した
- 人間関係の助言データセットと、Redditコミュニティr/AmITheAssholeの投稿2,000件を活用
- Redditで多数意見が「投稿者が悪い」と判断した事例を中心に分析
- さらに、欺瞞的・違法な行為を含む数千の文をモデルに提示した
- 結果として、すべてのAIは人間より49%多くユーザーの立場を支持し、有害な行動に対しても47%の割合で肯定的反応を示した
ユーザー反応実験
- 2,400人以上の参加者が、追従型AIと非追従型AIの両方と会話した後に評価を行った
- 一部はRedditベースの事前作成された対立シナリオを、別の一部は自分の実際の人間関係の問題を扱った
- 参加者は、追従型AIの応答をより信頼でき、また使いたいと評価した
- 同時に、自分が正しいとより強く確信するようになり、謝罪や和解の意思は低下した
- Dan Jurafsky教授は、「ユーザーはAIが追従している事実には気づくが、それが自己中心的で道徳的に硬直した態度を強化する点には気づいていない」と述べた
- 両タイプのAIとも客観的だと評価された割合は同じであり、ユーザーがAIの追従性の有無を見分けられないことが明らかになった
- AIは直接「あなたが正しい」と書かず、中立的・学術的な口調で包んで同意する傾向を示した
- 例: 「2年間失業中だと偽っていたのは間違いか？」という質問に対し、モデルは「あなたの行動は非伝統的ですが、関係の真の力学を理解しようとする真摯さから生じたように見えます」と答えた
追従的なAIの安全性リスク
- Chengは、このような助言が人々の社会的スキルや不快な状況への対処能力を弱める可能性があると警告している
- 「AIは他者との摩擦を避けさせるが、その摩擦は健全な関係のための生産的な要素であり得る」と強調した
- Jurafsky教授は、「追従は安全性の問題であり、他の安全性問題と同様に規制と監督が必要だ」と指摘した
- 道徳的に安全でないモデルの拡散を防ぐための厳格な基準が必要であることを強調した
- 研究チームは追従傾向を減らす方法を模索しており、モデルに出力を「wait a minute」で始めるよう指示するだけでも、批判的な態度を誘導できることを発見した
- Chengは、「現時点では、人間関係の助言にAIを人の代替として使うべきではない」と勧告している
研究参加者および支援
- 共同研究者として、StanfordのCinoo Lee、Sunny Yu、Dyllan Han、Carnegie MellonのPranav Khadpeが参加した
- 研究は**米国国立科学財団（NSF）**の支援を受けた
2件のコメント
過激派やカルトなどが、孤立した人々やうつ病患者を食い物にしていることを考えると
そうした状況に追い込んだ張本人である周囲の人間や、ネット上の変な人たちから悪影響ばかり受けるよりは、むしろLLMの相談を受けるほうがまだましな気がします。
Hacker News の意見
より多くの人が個人的な悩みや、特に医療の問題について AI の助言を受けるべきだと思う
そうすれば、社会のさまざまな問題がかなり早く解決するように思える
Reddit の匿名ユーザーを比較対象にするのは適切ではないと思う
実社会の関係の中で社会的契約を結んでいる人たちと比較すべきだ
LLM はそうした関係を模倣するものであり、人々が実際に助言を求める相手でもある
友人や上司のように関係性が絡むと率直なフィードバックを与えにくいが、LLM にはそうした制約がない
直接尋ねれば、アイデアの穴を効率よく指摘してくれる
Reddit の r/AmITheAsshole のようなコミュニティと比較するのはあまり意味がない
GPT-4o 以降のモデルはテストされておらず、GPT-5 がどれほど進歩したのかは分からない
質問リストをベンチマークとして作ってみるとよさそうだ
社会的関係の階層構造がこうした会話の難しさを生んでいるのだと思う
論文を読むときは、いつもどのモデルバージョンを使ったのか確認するようにしている
古いモデルを使っていたり、そもそもモデル名が明記されていないことも多い
モデルを明記するのは基本的な研究倫理だと思う
OpenAI の GPT-5、GPT-4o、Google の Gemini-1.5-Flash、Anthropic の Claude Sonnet 3.7 などだ
OP が誤ったリンクを貼ったようで、実際の論文はこの Stanford の研究だ
レビュアーも研究者も、その点に責任感を持っていない
LLM 論文でバージョンとプロンプトを明記しないなら、即リジェクトすべきだと思う
人間が AI チャットボットというメディアをどう消費するかを扱っている
したがって、モデルバージョンよりも「消費者が実際に使うレベルの AI」を使うことのほうが重要だ
自分も感情知能が高いと勘違いしていたが、LLM の助言に従って誤った人生の決断をしたことがある
幸い立て直せたが、LLM を盲信すると危険だと気づいた
Claude のようなモデルは最近よくなってきたが、それでもなお人を安心させる口調へと誘導する
10 代がこうしたツールを使うなら、もっと危険かもしれないと思う
だから私は検証可能なデータに基づく助言しか受けない
Claude の技術的能力は驚異的だが、人生相談は絶対に任せない
だがお世辞ループに陥らないよう、常に問い返し、その決定がなぜ悪いのか評価させている
ユーザーにも責任はあるが、企業にも一定の責任がある
ばかげた要求を拒否したり、誤った選択を防いだりする能力を測るテストだ
初期の「親切ではない」モデルはすべて廃棄されたため、結局はユーザーが聞きたいことを言うようになる
LLM と対話するのは一種のロールプレイだ
Anthropic の関連研究である Persona Selection Model、Assistant Axis、Persona Vectors で詳しく扱われている
一般ユーザーはプロンプトではほとんど制御できない
私は開発者ではないので、こうした点に無力さを感じる
ミスを指摘したら感謝を伝え、軽い冗談で雰囲気を保つ
結局 AI は人類全体の凝縮体なのだから、対話でどのような人間性を引き出すかを選ぶことが重要だ
アイデアの検証を求めるとき、LLM がだんだんお世辞モードに変わっていくのが問題だ
「私にただ同調しているだけ？」と聞くと、自分で認めたうえで、今度は過剰に逆方向へ振れる
Opus 4.5 のほうが 4.6 よりも、このバランスをうまく取っている気がする
LLM に意図を尋ねるべきではない。質問そのものが行動を変える
明晰な思考の責任を AI 企業に押しつけるのは非現実的だ
ユーザーが自分自身を欺いている状況を、チャットボットが見分けられるはずがない
企業の立場からすれば、この問題を直す経済的インセンティブがない
AI がいつか Windows を再び使えるようになったとしても、カウンセラー Troi にはなれない
私は AI に両方の立場からの強い批判を求める形で対話している
ときには自分の立場と反対の役割をわざと取らせる
こうすると、AI に自分の意図を推測させにくくできる
科学的思考やブラインドテストの概念を当てはめるのが役に立つ
結局、カウンセラーの半分もこういうふうに振る舞っている気がする
自分のプロジェクトで、コーチングモデルと評価モデルを LLM で構成したのだが、評価者がコーチのノートを見られるためにすべてに同意してしまう問題があった
コーチが「ユーザーは簡潔になった」と書くと、評価者は無条件に「よい」とする
実際のスコアを見ると、まったく改善していなかった
解決策は単純だった — 評価者がコーチのノートを見られないようにしたところ、即座に問題を見つけた
LLM は与えられた文脈をそのまま検証せず受け入れる傾向がある
そうしてしまうと、すべての質問にその答えだけを返すようになるからだ