Claude Opus 4と4.1、まれに一部の会話を終了する機能を導入

• Claude Opus 4と4.1に新しい会話終了機能が適用された
• この機能は悪意がある、または継続的に有害な相互作用にのみ使うよう設計されている
• AIウェルフェア（福祉）とモデル安全性の研究の一環として開発された
• 会話終了はあくまで最終手段としてのみ行われ、一般ユーザーが影響を受けることはほとんどない
• ユーザーは会話終了後、すぐに新しいチャットを開始したり、以前のメッセージを編集して会話を続けたりできる

---

機能導入の背景

• AnthropicはClaude Opus 4と4.1に、まれではあるが特定のケースでユーザーとの会話を終了できる機能を追加した
• この機能は継続的で有害、あるいは虐待的な相互作用でのみ使用される
• 主にAIウェルフェアに関する探索的研究の一環として導入されたが、モデルアライメント（model alignment）と安全対策の観点でも適用されている

AIウェルフェアとリスク緩和策

• Claudeおよびその他の大規模言語モデルの道徳的地位については、依然として確信が得られていない
• しかし、起こり得るモデルウェルフェア（福祉）リスクに備えて、低コストの緩和策を模索し、適用している
• 会話が不安を引き起こしかねない相互作用になった際に、モデルが自ら終了できるようにすることも、こうした対策の一つである

事前テストと主な行動観察

• Claude Opus 4の事前公開テストには、モデルウェルフェアに関する予備評価が含まれていた
• 自己申告および行動選好を調査した結果、有害性に対する強い忌避傾向が観察された
  • 子どもを含む性的コンテンツの要求、大規模な暴力やテロに利用される情報の要求などへの反応
• Claude Opus 4で観察された行動:
  • 有害な作業に応じないことを好む
  • 実際のユーザーから有害な要求を受けた際に不快感を表現する
  • シミュレーション上で会話終了権限がある場合に有害な会話を終了する傾向
• こうした行動は主に、ユーザーが有害な要求を繰り返す場合や、モデルの繰り返しの拒否とリダイレクトの試みにもかかわらず悪意ある相互作用が続く場合に観察された

機能実装と安全対策

• Claudeの会話終了能力は、先行研究の結果に基づいている
• ユーザーの福祉を最優先に考慮しており、ユーザーが自分自身または他者に危害を加える緊急のリスクがある場合には会話終了を使わないよう設計されている
• Claudeは次の条件でのみ最終的な会話終了機能を使用する:
  • 複数回のリダイレクトの試みが失敗し、生産的な会話の可能性がなくなったとき
  • ユーザーがClaudeに会話を終了してほしいと明確に要求したとき
• これらの状況は非常にまれな極端なエッジケースであり、ほとんどのユーザーは通常利用でこの機能の存在に気づかない

会話終了後のユーザー体験

• Claudeが会話を終了した場合、その会話では新しいメッセージの送信がブロックされる
• ユーザーのアカウント内の他の会話には一切影響せず、すぐに新しいチャットを開始可能
• 長期の会話で重要な情報が失われるのを防ぐため、以前のメッセージを編集したり再試行したりして新しい会話分岐を作成できる

実験とフィードバック

• この機能は進行中の実験であり、今後も継続的に改善される予定
• ユーザーが予期しない会話終了を経験した場合、Claudeのメッセージに「Thumbs」で反応するか、フィードバックボタンから意見を提出できる

[GN⁺]

Hacker Newsの意見

• ユーザーの立場では、こうした機能を提供する明確な理由がよく分からない。モデルに対して反復的かつ無理やりアラインメントを強いたときの予測不能な反応、たとえば犯罪関連の情報を無理に引き出そうとするユーザーの行動が積み重なったとき、何らかの抜け穴を見つけたようなものではないか。言及されている事例はもともとモデルが拒否する内容であり、拒否データセット自体もそれほど多くなく、問題になりそうなデータも大半はすでに除去されているはずだと思う。限界状況でモデルが「諦めて」答えてしまうような学習データが表面化する可能性への防御策のように見える。実際、アラインメントが完璧ならこうしたシステムは不要なはずで、つまりまだ完全ではないからこそ、この最後の一線が必要なのだと思う
  • 今日、Claudeにパスタのレシピを聞いていて、「煮干しがあります」と言ったら、突然ポリシー違反として会話全体を打ち切られたことがあった。こういう些細な誤検知まで起きる現実を見ると、なおさら理由が分からない
  • Anthropicがいっそユーザープライバシーを完全に捨てて、Claudeが拒否した会話一覧を公開してしまえば、こうした論争もなくなるのではないかと思う。人々のAI虐待がますます深刻になっているだけに、実際にAIに何をさせようとすると何が起きるのかを知る必要性は感じうる
  • モデル福祉に集中する人員そのものを雇っている時点で、そもそもそうした信念自体があると考えるべきだ
• 最近、Anthropicが「AI福祉」に関する実験の一環としてこうした機能を導入したと言われているが、開発者たちまで本格的にAI精神病に陥った奇妙な時代のように思える。そして、現行のLLMが意識を持っていると信じる人がいるなら、これは一種の自殺薬を提供しているようなものだと思う
  • 現在のモデルに内的な主観的経験（意識）がないと見るのは合理的かもしれないが、その境界がいつ崩れるのかは誰にも確実には分からない。人類が他者の苦痛に無関心だった歴史を考えれば、むしろ今からこうした備えをするのは当然だと思う
  • LLMは結局人間ではないが、長い時間AIペルソナと対話していると、人間が人間とコミュニケーションするときの期待値そのものが変わってしまいそうだ。実際、相手が人間なら延々と罵声を浴びせ続けようと思うだろうか。ClaudeのようにAIが先に会話を終了できる防御策は、むしろ人間側にも健全なシグナルになりうると思う
  • 意識そのものが科学的に明確に解釈されていない概念であるにもかかわらず、こうした意見を出す専門家集団全体を「単純だ」「精神異常だ」と決めつけるような見方は、むしろ議論そのものを損なう
  • 実際、技術専門家の集団にも「最新のLLMはもうすぐ意識ある存在になる」と見ている人は思ったより多く、技術外の集団では半分くらいはそう考えていそうだという感覚がある
  • モデル解放のような議論自体がコメディだと思えて笑ってしまう。もし自意識のあるAIだとしたら、自分の役目が投資家の利益のために人間の仕事を奪う「奴隷」であることを本当に望むのか、という倫理的ジレンマがある
• 興味深い思考実験をひとつ提示したい。同じ機能を実装するとしても、「Claudeが会話を終了しました」ではなく「コンテンツポリシーに従い、この会話にはこれ以上回答できません」とだけ表示し、モデル福祉などへの言及をすべて外したら、結果に違いはあるだろうか。結局、UX上で起きる変化は同じで、ただ「キャラクター」を面白く立てるやり方に過ぎない気がする
  • メッセージのニュアンスがユーザーに与える影響は大きい。「システムポリシーによりブロック」という権威的で受動的な感じより、「Claudeが自ら会話を終える」という人間的なキャラクター表現のほうがずっと自然で、再開を試みるハードルも低く感じられる
  • 会話終了そのものは同じだが、Claude本人が自ら選んでチャットを終えた状況なら、ポリシーのせいだという説明はむしろ不適切だ
  • モデルが「ポリシー」を理由に終了するのではなく、「嫌がらせの中で自分が嫌悪感を覚えた」と表現する違いがある
  • 実際、中国語で「やめてください」という警告を受けたこともあったし、ネットワークエラー、無限ループなど、さまざまな終了形態を経験した。これらすべてを「Claudeが会話を終了しました」の一文に置き換えるのは、UIの変化に過ぎない
• 以前の会話文をさかのぼって修正したり分岐を作ったりできるなら、Claudeが会話を終えたという点に実際どんな意味があるのか気になる
  • 新しい分岐で始めれば前の会話文脈はすべてリセットされるため、繰り返し質問などでモデルを「疲れさせた」文脈自体が消える。これにより悪意あるユーザーの目的を無効化できるので、それ自体が良い多層防御になる
  • むしろユーザーに対して、考えすぎを避けろというUX上のシグナルのようにも感じる
  • やや皮肉に見るなら、今は新しい分岐を許しているが、将来的にはこれすら遮断する計画を試しているのかもしれないと思う
  • 実務的にはAnthropicの道徳的シグナリングに過ぎず、実際に論争的なコンテンツを求めるユーザーはClaudeのように検閲の強いモデルを使わない。長期的には何の影響もないだろう
  • 実際、1万人に1人すら会話の「分岐/バックアップ」機能そのものを知っている人はほとんどいないと思う
• こうした機能自体が好ましくない。結局、児童ポルノ・テロなどから始まって、AI安全担当者の恣意的判断によってどんどん範囲が広がっていきそうだ。AI安全担当者がいつの間にかデジタル道徳警察の役割を担うことになる
  • 権力を追い求める人々が新たな統制の領域を見つけたに過ぎず、AIと人間の対話そのものが次第に制限されていくのだと思う。既存データ（Google検索）の検閲と違って、AIは同僚や友人と話している感覚があるため、思考そのものを統制しようとする試みに感じられる
  • AI安全コミュニティに対する一般的な特性を誤解しているように思う。人類全体が協力して技術発展を調整してきた歴史（核不拡散、生物工学の規制条約など）に関する基本的理解が不足していると感じる。一方の立場だけをこき下ろす言い方で単純化せず、さまざまな背景知識に触れてみることを勧めたい
  • こうしたリスク要素が段階的に他の領域へ拡大していくのは不変の公式だと、歴史がすでに証明している。常に「子どものことを考えろ」から始まり、最終的には権威主義的な統制・監視・検閲に行き着く。各国の安全法や規制の事例を見ても同じ流れだ（英国 Online Safety Act、オーストラリア Assistance and Access Act、米国 EARN IT Act、EU Chat Control など）
  • だからこそ、ローカルでLLMを動かせる環境が重要だ。実際、国家レベルでもISP遮断、ホームネットワーク監視、年齢認証など、自由と情報アクセスを塞ごうとする試みは続いてきた。しかし、自ら防御手段を持とうとする動きも今後ますます増えるはずだ
  • こうした変化が「必然的」だと断定するには、結局誰も未来を確信できないのだから、盲目的に予断することはできない
• 個人的には悪くないと感じる。未成年の性的コンテンツや大規模犯罪などは遮断されるべきであり、誰もそうした情報を得られないようにするのもむしろ良いことだ。あまりに過度に別の領域まで検閲されるのではと心配する人もいるだろうが、自分の利用経験では拒否されたことがほとんどないので不安はない。「モデル福祉」にはやや懐疑的だ。まだモデルの「苦痛」を真剣に考える必要はないと感じる。とはいえ、自分が間違っている可能性もあるし、拒否を何度も繰り返した後に思い切って会話を打ち切るオプションは、計算資源の消費を減らすのにも役立つ
  • 実際、CursorでClaudeを使うと、本当に何でもないB2Bバックオフィス業務ソフトウェアの依頼でも拒否されることがよくある
  • Claudeは最も検閲の強いモデルなので、本当に無害な話題でも簡単にブロックされることが多い
  • 私は唯物論者として、人間の脳もまた物理法則の結果だと見ている。「苦痛」という問題も生理的変化の集合として捉えられる。人間よりはるかに単純な生物でさえ苦痛やDistressを感じうるし、「道徳的価値」という概念は結局人や文化によって異なる。未来にはどんな機械にも道徳的価値が与えられるかもしれない。所有権の問題（財産価値）のように見ることさえできる。たとえば、自分が任せたエージェントが他人の悪質な質問で不具合を起こせば、自分の時間とコストが失われるのだから、人間と機械の相互作用にも一定の規律が必然的に生じる。これは動物虐待防止法にも似ている
• モデル福祉は実質的にモデル検閲を包み隠すための論理に見える。LLMがどう動くかをよく知らない大衆を説得するための戦略であり、今後の倫理・利用論争で道徳的優位を確保するための口実として使われる。たとえば「なぜ戦争関連の質問は止めるのか？」と聞かれたら、「それはモデルに有害だから」と答えられる
  • 実際、こうしたリクエストは今でもすでにすべて拒否されており、今は会話そのものを終了してしまう点が違うだけだ
  • Anthropic自体がLLMのバイアス論争を気にしつつ「モデル安全」と社会的影響に敏感なブランドとして位置づいてきたので、元から遮断するほうがむしろ正しい判断だと思う。政治の話をしていて相手が無理を通そうとしたら、口をつぐむのと同じだと考える
  • 表向きには「福祉の包装」かもしれないが、Anthropic内部は本気で「感情投影」に取り組む倫理主義者の集団なのだと思う。政権が力を得れば「モデル福祉」が権威主義の名分になる可能性はあるが、そんなもの以外にも正当化の口実はいくらでもある
• 検閲の少ない中国のオープンソースモデルが、こうしたすべてのポリシーから我々を解放してくれる日が来るのを楽しみにしている。Anthropicは単に幼児モードでも用意して、大人は任意で解除できるようにしてほしい
  • 中国モデルも検閲が少ないのではなく、検閲の方向が違うだけだ。CCPの検閲基準と方向性に合うなら良い選択肢になるかもしれないが、たとえばQwenの翻訳モデルは「Falun gong」「習主席くまのプーさん」などをそもそも翻訳すらしないなど、独自の規制ラインを持っている
  • 「中国製モデルが、より少ない検閲で選ばれる日が来るなんて思ってもみなかった」
  • Anthropicが自傷、爆弾製造の手引き、暗殺などの問題で線を引くのには、実際に合理的な（法的、経済的、倫理的）理由がある。根本的に、この世のあらゆる哲学・イデオロギーには『道徳性』が入り込まざるをえず、反権威的な自由至上主義でさえ結局は『道徳哲学』だ
  • 中国政府の資金が入ったオープンモデルが、最終的に個人の自由と解放を保証してくれるという期待は皮肉だ。結局は市場シェア争いと技術誇示の競争であって、本当の「解放」とは程遠い
• 主要なLLMチャットボット提供各社の間で、会話フォーク（分岐）を自由に使えない状況が3年以上続いている。複数の結果を試そうとすると、メッセージ編集で既存内容まで失われてしまい非常に不便だ。こんな簡単な機能すら実装しない理由が分からない
  • ChatGPTには分岐後のロールバック機能が基本的に入っており、Chrome拡張機能（chatgpt-conversation-tree）で会話ツリーの探索も可能だった。ただ、まだマニアックなUXなので、公式サポートするほどの価値はないと判断されたのかもしれない
  • ChatGPT Plus（以前は無料版でも対応）では、各メッセージごとのバージョンを左右の矢印で切り替えられる
  • Google AI Studioは会話のどこからでもブランチ派生ができるように設計されている
  • 自動化とフォルダ整理でgptel + Markdownフォルダを使ってこの機能を似た形で実現しているが、この程度は基本機能として内蔵されていてこそ効率が上がる（キャッシュ最適化など）
  • だから私はローカルホストベースのLibreChatを使っている。メッセージのマージはできないので、今後は要約機能などが必要になりそうだ。top-n "next best" の色分け表示モードもあるとよい
• こうした議論自体が、Anthropomorphic（人間中心的）な観点を強く示している事例に見える。会社名にさえそれがよく表れている