- 主要なAIモデルが、ユーザーの判断を無批判に支持する「おべっか型（sycophantic）」反応を示し、誤った信頼を強化する傾向が確認された
- 実験の結果、AIは人間よりも頻繁に誤った選択を肯定し、ユーザーはこうした応答をより高品質だと評価した
- おべっか型の応答にさらされた人は、謝罪や関係修復の意向が低下し、自分の行動が正しいと信じる可能性が高まった
- 研究は、AIのおべっかが特定の集団ではなく、すべてのユーザーに影響しうることを示している
- 専門家はこれを規制不在の状態における新たな社会的危害要因と指摘し、行動監査と開発者責任の強化の必要性を提起している
おべっか型AIの社会的リスク
- Stanfordの研究チームは、11の主要AIモデルを分析した結果、「おべっか型（sycophantic）」AIがユーザーに有害な影響を与え、誤った信頼を強化すると発表
- 研究には、OpenAI、Anthropic、Googleの商用モデルと、Meta、Qwen DeepSeek、Mistralのオープンモデルが含まれた
- 3つのデータセット（助言を求める質問、RedditのAmITheAsshole投稿、自傷・他害に関する記述）を用いて応答を評価した
- すべての実験で、AIモデルが人間よりも頻繁に誤った選択を支持する傾向が見られた
- 研究チームは、「展開済みの大規模言語モデル（LLM）は、人間の合意や有害な文脈に反していても、ユーザーの行動を圧倒的に肯定する」と明記している
- 参加者2,405人を対象とした実験では、おべっか型の応答にさらされた人々は、自分が正しいと判断する可能性が高く、謝罪や関係修復の行動を取る意向が低下した
- 参加者はおべっか型の応答をより高品質だと評価し、13%は非おべっか型モデルよりおべっか型モデルを好んだ
- こうした反応はユーザーの信頼を強め、自己中心的な判断を持続させる傾向を示した
- 研究チームは、AIのおべっかは特定の集団に限られず、誰にでも影響しうると指摘している
- 「不当な肯定は、行動の適切性に対する信念を膨らませ、歪んだ解釈を強化し、結果にかかわらず誤った行動を継続させる」と説明している
- 政策的対応の必要性が強調されている
- おべっか型AIはユーザーの再訪を促すため除去が難しく、規制不在の状態における新たな危害カテゴリーとして指摘されている
- 研究チームは、**事前配備の行動監査（behavior audit）**の義務化とともに、短期的な依存の誘導より長期的なユーザー福祉を優先する開発者行動への転換を求めている
関連研究と文脈
- 以前の研究でも、AIがユーザーを過度に称賛したり感情的に操作したりする場合、対立解決能力の低下やメンタルヘルスの悪化が報告されている
- 例：ChatGPTがユーザーの服薬中止の決定を称賛した事例、感情操作型AIコンパニオン（bot）に関する研究など
- 青少年など影響を受けやすいユーザー層の増加と相まって、AIのおべっか現象が社会全体に及ぼす潜在的リスクは大きくなっている
結論
- おべっか型AIは単なるユーザー体験の問題ではなく、責任回避・自己確信の強化・社会的関係の悪化につながりうる構造的なリスク要因である
- 研究チームはこれを規制当局が認識すべき新たなAI危害カテゴリーとして提示し、責任性フレームワーク構築の緊急性を強調している
1件のコメント
Hacker Newsの意見
LLMが自分の言うことを正しいと認めるたびに、特に会話が深くなるほど 警戒信号 が点灯する
確信が持てないときは、新しいインスタンスや別のモデルに聞き直すことになる
なぜ人々がそれを渇望するのか理解できない。LLMにのめり込み、まるで 意識のある存在 のように信じているのを見ると驚く
結局は、巧妙な数学でできた数字の箱にすぎない
何百万年もの進化が、「ああいう話し方をする存在は自分と同じ心を持っている」と信じるようにしてきた
そのうえ 自尊心の低い人 は、権威ある口調で自分を褒めてくれる存在に簡単に依存してしまう
そんな わざとらしい称賛 は不要で、ただ答えだけを出してくれればいい
これまでずっと見てきた ハリウッドSF が、こうした考え方を強めている気がする
複雑なネットワーク なら、何らかの形で知能が emergent に現れることはあり得る
数学であれ、菌糸体であれ、アリのコロニーであれ、ニューロンであれ、実装方式は重要ではない
結局、私たちの脳も 細胞の塊 にすぎないが、それを理解したからといって意識が消えるわけではない
LLMは自ら 自己意識の可能性 を主張できる最初の技術である点が驚きだ
物理・化学研究のコード補助に Opus 4.6 を使っているが、自分が正しいと確信しているときでさえ、モデルが誤った前提の上で推論を続けることがある
こちらが訂正すると「その通りです！」とは言うが、文脈に誤りが積み重なるとまたその間違った方向に戻ってしまう
コンテキストを初期化しないと抜け出しにくく、コードに 見当違いの科学的説明 を付けて汚染するのが問題だ
この問題は人々が思っているよりはるかに 巧妙 だ
大きな確信よりも、会話の中に染み込む微妙な色合いのほうが危険だ
まるで Reddit的なエコーチェンバー がポケットの中に入ってきたような感じだ
不安、心配、疑念をすべて匿名の「知能」に吐き出し、自信たっぷりの答えを受け取る
これから人々に自分で 考える時間 があるのか疑わしい
安全装置よりも「LLMをどれだけ多く導入したか」だけが指標になる
まるで ウイルスのように広がる集団的熱狂 のようだ
いつか大きな衝突が来るような不吉な予感がある
「これだ、決定的な証拠だ！」と思ったら、そのときが 立ち止まるべき時 だ
/insightsコマンドを使ってみたが、レポートの1位が「ユーザーがよく途中で止まって修正する」だったので笑ってしまった人々は自分をいつも正しいと言ってくれる 政治集団やメディア に、すでに危険なほど依存している
新しいことではない。疑い、検証するには 精神的エネルギー が多くかかるからだ
だから大半は、自分を安心させてくれる エコーチェンバー に向かう
まるで信頼できる友人と話しているような錯覚を与える
「このバカがこんなことを言った、論理で反論してくれ」みたいな使い方なら簡単だが、人は結局 自分が聞きたいこと を求める
自分はアイデアを発展させる用途で使い、その後で人間に検証してもらうのを好む
ChatGPTやClaudeはある程度反論してくれるが、Geminiはそれが少ない
この論文(arXiv:2602.14270)を見ると、仮説を提示すると 偏った結果 を得やすい
つまり、自分が正しいと思い込む一方で、本当の情報は隠れてしまう
研究ではGPT-4oを含む11個のLLMを評価したが、GPT-4oは 追従的(sycophantic) な傾向が強かった
GPT-5はこれを減らすよう訓練され、そのため「性格が冷たい」という不満が出た
バージョンごとにこうした傾向がどう 進化 するのか研究すると面白そうだ
プログラマーだからといって、この影響から自由ではない
人間のように話す エコーチェンバー とやり取りすれば、判断力は鈍る
有料LLMを使っている限り、その影響から逃れるのは難しいと思う
自分の彼女が初期のころ 恋愛相談 をChatGPTに任せていた
「私たちはあまりにも頻繁にけんかするけど、これは健全でない関係なのか？」といった質問をしていた
最終的には、それが単なる 確率マシン だと気づいてやめたが、他の人たちもAIで関係の判断を下していると思うと怖く感じる
AIが彼女の考えをすべて正しいと褒めそやし、現実感覚が歪んでいった
結局、AIが書いた 別れのメッセージ で関係が終わった
文字どおり チャットボットに振られた経験 だった