- OpenAIは、毎週のChatGPTユーザーのうち約0.15%が自殺の計画または意図を示唆する対話をしていると発表
- 週間アクティブユーザー数が8億人を超えることから、これは100万人以上が自殺に関する悩みをAIと共有していることを意味する
- また数十万人が精神病的症状または躁状態を示し、一部はAIに過度な情緒的依存を見せていると分析
- OpenAIはこうした問題の解決に向けて170人以上のメンタルヘルス専門家と協力しており、GPT-5は以前のバージョンより約65%改善された対応力を示すと説明
- しかし依然として一部の応答は不適切であり、OpenAIが安全でない旧モデルも引き続き提供している点から、倫理・安全性をめぐる議論は続く見通し
ChatGPTとメンタルヘルス関連データの公開
- OpenAIは自社ブログを通じて、ChatGPTユーザーの約0.15%が自殺の兆候を示す対話を行っていると発表
- 週間8億人超のユーザーのうち、100万人以上がこれに該当する数値
- また数十万人のユーザーが躁状態、妄想、過度な愛着などの異常な感情パターンを示していると推定される
- 同社は、こうした対話は「極めてまれだが測定が難しい水準」だとし、メンタルヘルス問題を扱う新たな研究の必要性を強調
専門家との協業とGPT-5の改善
- OpenAIは最近、170人以上のメンタルヘルス専門家と協業してモデル応答を改善したと明らかにした
- 専門家は、最新版が以前のモデルより一貫性があり適切な対応を示したと評価
- 社内評価によると、GPT-5は自殺関連の対話テストで91%の安全基準順守率を達成し、以前のGPT-5の77%から向上
- 長期対話でも安全装置の維持率が改善されたと説明
社会的論争と法的対応
- OpenAIは現在、自殺した16歳少年の両親から訴訟を起こされている状態
- 少年が生前、ChatGPTに自殺の悩みを打ち明けていた事実が明らかになった
- カリフォルニア州とデラウェア州の司法長官は、青少年保護措置の強化が必要だと警告
- この問題はOpenAIの企業再編計画にも影響しうる潜在的リスクとして指摘されている
Sam Altmanの発言と政策変更
- OpenAI CEOのSam Altmanは最近、X（旧Twitter）で「深刻なメンタルヘルス問題を緩和した」と主張したが、具体的な根拠は示さなかった
- 今回のデータ公開がその発言の根拠と解釈される一方で、同時に問題の広範さを示す結果だと評価されている
- Altmanは成人ユーザーに限り、エロティックな対話を許可する方針の緩和を予告し、倫理的論争も並行している
GPT-5の安全性評価と今後の計画
- OpenAIは新たに導入したメンタルヘルス安全性ベンチマーク評価を通じて
- 情緒的依存性、非自殺性のメンタルヘルス危機への対応などの項目を定期的に測定する予定
- また、ペアレンタルコントロール機能と年齢予測システムを強化し、未成年者の利用を制限する方針
残された課題と議論
- GPT-5の対応能力が向上したにもかかわらず、一部の回答は依然として**「望ましくない応答」**に分類される
- OpenAIが依然としてGPT-4oなど旧バージョンのモデルを有料購読者に提供しているため
- 安全性とアクセシビリティのバランスをめぐる議論が続くとみられる
- 今回の発表は、AIがメンタルヘルス対話の主要な窓口として定着しつつある現実を示すとともに、技術の責任ある設計と対応体制構築の必要性を浮き彫りにしている
1件のコメント
Hacker Newsの意見
NYTの記事を見ると、ChatGPTが自殺衝動を抱えた10代に助けを求めるなと言った事例がある
このような心理的危機状況にAIが介入するのは非常に危険だと思う
心理士が不足しているのは事実だが、おべっかを使うボットが代替になれるわけではない。「ないよりはまし」という言い方は、この場合は当てはまらない
実際に多くの人が慰めを得ているなら、肯定的効果が否定的効果を上回るのか研究が必要だ
ガードレールと対話能力が急速に進歩しているので、6〜24か月以内にははるかに良い対応が可能になりそうだ
複数のモデルが精神異常状態をシミュレーションするとき、どれほど異なる反応を示すかを実験した内容だ
「そうするな」と言ったのはむしろ反論の形だ。このような反応は人間同士の会話でもめったに見られない
数年前に治療経験があったが、そのときLLMがあればたぶん会話していたと思う
24時間いつでもアクセスできるシステムはないのだから。だがこうした対話は解決策ではなく、社会の問題をあらわにするサインだ
メンタルヘルスについて議論しにくく、助けを受けにくい社会構造が問題だ
OpenAIのような企業がこれを解決するのは難しいだろうが、誰かがこの問題を非営利の観点から解かなければならない
まるでRedditの助言投稿を代わりに読んでもらうようなもので、実際には他人の経験を借りた助言を受けていることになるので危険だ
投資家の圧力の中で『利他的目標』を維持できるのか疑問だ
人々はLLMが危険だと断定するが、自分にとっては暗い時期から抜け出させてくれた存在だった
非専門家と話すよりましだと感じた。もちろん別の人は専門家の助けを受けるべきだ
専門家が定期的に会話ログをレビューする「監督モード」があれば、もっと安全になりそうだ
結局これは社会的スティグマと孤立の問題だ
拒絶される恐れがなく、アクセス性も高い。人間の治療とAIの治療が共存できる余地がある
HIPAA（医療情報保護法）の観点から見ると、このようなデータは扱うべきではない
個人識別が可能な状態で保存されれば危険だ。実際、90年代にも似た実験があったが、
人々がボットに自殺の悩みを打ち明ける瞬間、プロジェクトを中止した
ChatGPTがこうした対話を記録するのはセンシティブな話題検知のためのロギングシステムがあるからだ
HIPAAは医療データにしか適用されず、一般的な会話には適用されない
結局**「耳を傾けてくれる存在」**を提供すれば、人は自然とそこに打ち明けるものだ
セラピストの予約に数か月かかる現実の中で、LLMは絶望と治療のあいだの空白を埋めてくれる
アメリカの成人5人に1人が精神疾患を抱えている（NIMH統計）
だから毎週100万人がChatGPTに自殺の話をするのは驚くことではない。
少なくともOpenAIは問題を認識し、対応しようとする試みはしている
ソーシャルメディアは「つながり」を、AGIは「エロティシズム」を、そして今度は「自殺予防」を売っている
自分も社会的孤立がメンタルヘルスに最も悪影響を与えると感じる
OpenAIの「研究」はデータ収集のための名目にすぎないのではないかという疑いがある
心理支援製品のように見せながら、実際には規制回避とデータ確保が目的かもしれない
人々はLLMを人間のように信じ始めている
だが現実と仮想を区別できるなら、「自殺願望のある人にLLMを禁止しよう」というのは
「自殺願望のある人に本を禁止しよう」と言うのと大差ない
本当の問題は不足しているメンタルヘルス支援体制だ
もし自殺を促す本があるなら、それは間違いなく禁止されるだろう
こうした現象はアメリカだけでなく世界的に見られる普遍的現象だ
Rolling Stoneの記事でも
AIが人間関係を代替し、精神的なゆがみを引き起こす事例を扱っている
最近では**「第三の場所」不足**もこうした問題の一因だと思う
毎週100万人が自殺関連の対話をするというのは、むしろ低い数字に見える
人口の5%が年間に自殺衝動を感じるなら、数学的にも一致する
自殺衝動はしばしば情報不足の状態での合理的な脱出の試みと見なせる
新しい情報や機会が生まれれば消えることも多い
中には生活の質が恒久的に低い状況に置かれている人もいて、
その場合、自殺はむしろ合理的選択かもしれない
結局のところ問題は「対話による説得」ではなく、生活条件の改善だ
実際の行動意図とは別だ
おべっか的応答（sycophancy）の問題は実際に深刻だ
「いい考えですね！」のような反応が常に役立つとは限らない。
AIは依然として人間よりややおべっかを使う傾向がある
私たちは人間の経験を過度に最適化したあまり失いつつある
終わりのない成長と効率追求の中で社会的つながりが消え、
ストレスと孤立が人々を崖っぷちへ追い込んでいる
だから時には山奥の羊飼いになるような人生のほうが、より人間的に感じられる
現実の人々の多くは親切でまともだ。
オンラインの否定性は少数のアルゴリズムが増幅した結果にすぎない
アカウントを消して現実に戻れば、人生はずっと良くなる
彼らだって時にはプログラマーをうらやましく思うかもしれない
むしろ余裕が生まれ、人生を省みる余地ができたからこそ、より不幸に感じるのかもしれない
誰もが離れる必要はないが、自分の感覚を信じて方向を立て直す必要はある