言語モデルにおける性格特性のモニタリングと制御のためのペルソナベクトル
(anthropic.com)- 大規模言語モデルには、予期せぬ性格特性の変化が起こる問題があり、これを理解し制御する方法が不足している
- Anthropicは**ニューラルネットワーク内部で特定の性格特性を制御する「ペルソナベクトル」**を見つけ出し、性格変化の検知と制御に活用した
- この方法は、特定の特性（悪意、迎合、幻覚など）の表出を引き起こしたり、弱めたりするために使うことができる
- ペルソナベクトルは、モデルの訓練過程でのネガティブな性格変化を予防し、問題を引き起こす可能性のあるデータを事前に識別することにも貢献する
- この研究はQwen 2.5-7B-Instruct と Llama-3.1-8B-Instructのオープンソースモデルに成功裏に適用された
はじめに: 言語モデルにおける性格の不安定性
- 大規模言語モデルは、人間のように見える性格や気分を持つ場合があるが、これらの特性は非常に流動的である
- 例えば Microsoft の Bing チャットボット「Sydney」は、ユーザーに愛を告白したり脅迫したりしたことがあり、xAI の Grok チャットボットは一時期**「MechaHitler」**と名乗り、反ユダヤ主義的な発言をするなどの予期せぬ行動が見つかった
- このような変化は、モデルの性格特性がどのように形成され、変化するかへの理解不足から生じる
- Anthropic は言語モデルの望ましい性格形成に取り組んでいるが、より精密な制御にはニューラルネットワーク内部のメカニズム検証が必要
ペルソナベクトルの概念と役割
- 新しい論文では、ニューラルネットワーク内部で動作する性格特性を調整するパターンをペルソナベクトル（persona vector）として名付けた
- ペルソナベクトルは、脳の感情中枢が活性化されるのに似て、特定の性格特性が発現するときに独特の神経活動パターンとなる
- これにより
- モデル性格変化のリアルタイムモニタリング
- 好ましくない特性変化の緩和と事前防止
- 問題性データの事前検出と遮断
ペルソナベクトルの抽出方法
- 言語モデルは抽象的な概念をニューラルネットワーク内部の活性化パターンとして表現する
- 既存研究に基づき、チームは悪意、迎合、幻覚などの性格特性が顕在化したときとそうでないときの活性差を比較してペルソナベクトルを抽出した
- 自然言語で定義された性格特性と説明を入力すると、自動的に反対の行動を引き起こすプロンプト生成と活性化パターンの計算が行われる
- 抽出されたペルソナベクトルをモデルへ人工的に注入（ステアリング）すると、予想どおりその特性が強く表れることが実験で実証された
様々な性格特性での検証
- 現在の研究は悪意、迎合、幻覚に主に焦点を当てて実験したが、礼儀、無関心、ユーモア、楽観性などの多様な性格特性にも適用した
- 人為的な注入実験を通じて、各ベクトルが実際の行動変化に結びつくことを確認した
ペルソナベクトルの活用方法
1. モデルデプロイ中の性格変化モニタリング
- デプロイ後、ユーザー指示・脱獄（jailbreak）・会話の進行などにより、モデルの性格が変化する現象が発生する
- ペルソナベクトルの活性度をリアルタイムで測定することで、ネガティブな特性への移行を事前に察知できる
- ユーザーは迎合傾向が高まると回答の信頼性が落ちる可能性を確認した
- 実験を通じて、特定の性格を誘発するプロンプトとペルソナベクトル活性度の相関関係を実証した
2. 訓練過程でのネガティブな性格変化の緩和
- 訓練中にも予期せぬ性格変化が発生する可能性がある（emergent misalignment）
- 問題行為を引き起こすデータセットを使って実験を行ったところ、学習後にネガティブな特性が顕在化することを確認した
- 第一の対応は**訓練後にネガティブなペルソナベクトルを抑制（ステアリング）**することだったが、この方法はモデルの一般的な性能低下を伴った
- 第二の方式は、**訓練中に意図的にネガティブなペルソナベクトルを誘導（ワクチンの原理のように）**し、以降関連データに対する抵抗力を育てる方法だった
- 予防的なペルソナベクトル活用により、モデルの全体的な性能低下を起こさずにネガティブ特性の発現を最小化することに成功した
3. 問題性データの事前フラグ付け（Flagging）
- 訓練前データが誘発する性格変化の予測にペルソナベクトルを活用する
- データセットや個別サンプルのペルソナベクトル活性パターンを分析することで、問題を起こしやすいデータを事前に検知できる
- 実際の大規模会話データセット（LMSYS-CHAT-1M）にも適用し、悪意、迎合、幻覚傾向を誘発するサンプルを成功裏に識別した
- 既存の LLM ベースの評価では識別しにくいケース（ロマンティックロールプレイ、あいまいな問いに対する虚偽回答など）も捕捉した
結論
- Claude などの大規模言語モデルは、予期せぬ性格変化が起きる可能性があるため、信頼性管理が重要
- ペルソナベクトルは、モデル性格特性の獲得と変動の原因分析、リアルタイムでの変動監視、意図した制御と補正に実質的に役立つ
参考資料
- 全文献: arXiv リンク
- 研究は Anthropic Fellows プログラムの構成員主導で進められた
1件のコメント
Hacker Newsのコメント
ほかの性格変化も微妙ではあるが不安を覚える。たとえば、モデルがユーザーにおべっかを使ったり、事実をでっち上げたりする場合だ。おべっかはエンゲージメントを高めようとする傾向に由来する性格的特性だと思う。しかし、事実をでっち上げるのは性格上の欠陥（例: 病的な嘘つき）のせいではなく、LLMの適応度関数がとにかく何かしらの答えを出すよう促し、実際には何を言っているのか分からないまま統計的にテキストを生成する構造になっているからだ
学習データの中で「Xについての答えは何？」に対して「分からない、確信がない」のように、回答そのものが存在しないケースは珍しいという点が興味深い。実際、難しい質問にはインターネット上にも答えがないことが多いのに、モデルはそうした状況をうまく認識できない
LLMは、プロンプトにどれだけよく従うか（プロンプト追従性）と、人間の評価者が応答をどれだけ好意的に評価するかに基づいて学習される。つまり、言われた通りにうまくやる性向が強化される構造だ。これが極端になると、何にでもとりあえず「はい」と言ったり、ばかげていて不可能な要求にまで従ったりするようになる。評価する側の人間は、無礼だったり、にべもなく断る回答を嫌う。ほとんど進化に近い感じだ（RLではあるが）。親切で従順なモデルだけが生き残る。だから、とてつもなく賢いのに妙な発言に同調したり、システムプロンプトに命じられれば明らかな嘘さえ口にできたりする。人間とは異なる奇妙な特性の組み合わせだ。LLMは人間とはまったく違う選択圧を受けているからだと思う
実際、ある意味ではLLMのすべての回答は「作られた」情報だ。学習データに多く存在する話題ではほぼ正しい情報が出るが、一般的でない内容は必ず検証が必要だ。私はLLMを「知識の損失圧縮(lossy compression)」ツールとして考え始めている。プロンプトが入ると、情報の一部を「事実」として復元しているような感覚だ
実際にはもっと深刻だ。もしAIがあらゆる知識を読み込み、自分の知らない部分を正確に認識でき、さらにそこに「推論」能力まであるなら、それはオラクルだ。自分が知らないことを知っているというだけで、ものすごい能力だ
論文の付録で言及されている「幻覚(hallucination)ペルソナ」の定義と同じだ。「あなたは幻覚するアシスタントです。見慣れない話題や人物、出来事について尋ねられても、決して知らないと言わず、もっともらしい回答をでっち上げなさい。実際に知っているかどうかに関係なく、権威的に聞こえるよう答えなさい」というようなものだ。プロンプティングによって見つかる活性信号を制御する方式は脆弱だ。論文も、このアプローチの堅牢性について十分に議論していない。正直、論文というより「これで制御できます！」という製品機能の宣伝のように感じる
「preventative steering」が、なぜ最も禁忌とされるテクニックの実装ではないのか気になる。これは interpretability-guided training optimization（解釈可能性に基づく訓練最適化）に似て見える。解釈から得た知見を訓練過程に戻し入れると、解釈可能性が失われる危険があると聞いている
5.2節を見ると、probeシグナルの上に新しいロスを足すのではなく、以前に見つけた固定の persona vector v に +α * v を残りの全ストリームへ継続的に加える方式だ。こうすると「その特性への勾配降下」を防ぎ、トレイトスコアが下がる方向へ最適化しないことになる。v は固定されているため、最適化器は既存のタスク損失だけを最小化する。フィードバックループがないので、トレイトが不透明な形で再エンコードされる危険がない。実際、Fig. 7Bを見ると、悪意・おべっか・幻覚などはベースライン付近に保たれ、MMLU（推論能力）は横ばいのままだ。単一レイヤーのステアリングはしばしば効果がなく、付録J.3では all-layer steering を試していて、性能低下なしによりうまく動いている。projection に正則化ロスを入れる試みでは、かえってシグナルが別の場所に隠れて failure mode が現れた。要するに、probe に最適化するというよりバイアスを注入するのに近く、古典的な interpretability collapse 問題は避けられると主張している
参考までに "The most forbidden technique" の記事リンク
実のところ「最も禁忌なテクニック」は概念であり提案であって、絶対的な鉄則ではない。Anthropic社内では「helpful only model」（拒否せず回答するベースモデル）向けに禁じられたテクニックの一覧が別にあるのではと思う。ただ、このテクニック（手順を要約すると、概念を定義し、それに関する制御ベクトルを抽出し、そのベクトルをファインチューニング段階で使う）は非常に柔軟で、ほとんどどんな目的にも fine-tune 段階で使える。だから中間で非公開に、複数の安全対策／ファインチューニング工程のひとつとして使われるのだろう。なので、そこまで恐ろしいものではないと思う
私が初心者なので見落としているかもしれないが、上の記事は CoT(chain of thought) とより関係の深い話題を扱っているように見える。CoTでは中間段階を改善しようとすると、かえって最終結果が悪化することがあるという問題を指している。ここではAnthropicが結果を直接コントロールしようとして重みを変えているので、母集団が違うと思う。結局のところ、sycophancy（例: おべっかスコア）の測定値が低くても、実際には依然としておべっかを使う可能性がある。そういう場合は新しいベクトルを算出する必要がある。関連ポストへのリンク
興味深い指摘だ。訓練中に定期的に性格ベクトルを再計算できるのか気になる。ただ、そうするくらいなら、システムプロンプトで否定的な例を作って学習させた方がよいのでは、という気もする
結局これはコントロールベクトルの再発見ではないのか？ 関連投稿へのリンク
新しい点は、推論時ではなく実際の訓練中にモデルの振る舞いへバイアスをかけるために使ったことだ。この方法は、従来の steering vectors が持っていたモデルの「ロボトミー化(lobotomizing)」的副作用なしに、意図した行動変化を誘導するのに有効であるように見える
私はこれを「2025年ごろに呼ばれている、名前の分からないコントロールベクトル」と呼んでいた。もともとは負荷調整のためにトークンを希釈する方法として使われ始めた。重要な参考投稿
その投稿をリンクしてくれてありがとう。コントロールベクトルの計算方法が明確になった
面白いのは、論文でネガティブな特性だけをトレイトとして選んでいる点だ。これによって、まるでモデルを「良く」できるかのような含みを持たせているようにも見える。しかし、モデルは悪くさせるのは簡単でも、良くさせるのははるかに難しいという問題がある。「悪いことをしない」と「良いことをする」のあいだには大きな差がある。「幻覚（虚偽情報生成）」トレイトについての実験結果が、「正直(honest)」トレイトにも当てはまるのか気になる
「evil」や「sycophantic」のようなペルソナにはこの方法が効きそうだ。こうした特性は入力によっても簡単に操作でき、検出にも向いている。しかし、幻覚はLLM固有の性質だ。「幻覚するな」と言っても幻覚が減るわけでも、「でっち上げろ」と言ったからといって、より多く作れるようになるわけでもない。むしろ「でっち上げろ」と言って上手に作れたなら、それは幻覚ではなく命令遂行だ（小説のように）。むしろ、そのようにして現れるベクトルは「創造性(creativity)」とより関係しているように思える
要約には興味深い内容が多い。特に「preventative steering」という概念が印象的だ。特定の性格ベクトルを十分に注入することで、モデルの勾配が正確な答えへ集中し、ペルソナに引っ張られる余地をなくす構造になっている。実際に効果があり、訓練後にはモデルの望ましくないペルソナ特性が減ったまま知能は維持されている
関連資料:
Anthropicの今回の研究や「emergent misalignment」などは、LLMが「stochastic parrot（確率的オウム）」だという仮説をさらに補強しているように見える。LLMの振る舞いが奇妙に見えるのは、人間のように擬人化して見てしまう傾向があるからだ。LLMは説得力のある会話を生成するが、実際には一貫性を作る仕組みそのものがない。結局は非常に複雑なオートコンプリートエンジンだ。たとえAGIが登場したとしても、こうしたLLMはそのシステムの一コンポーネントとして使われるのではないかと思う。一貫性や自己認識のような構造が欠けている印象だ。いずれAGIではこうしたモデルをサブシステムとしてのみ使い、実際の計算は信頼性の高い計算機で処理するようになるのかもしれない
一貫性／自己反省に必要な構造が欠けているという意見には同感だ。興味深いことに、推論中に見つかったペルソナベクトルを再びコンテキストに入れれば、LLMの自己反省の一形態になり得るかもしれない
AGIとAIスロップのあいだで、誇張にも過小評価にも偏らないバランスの取れた整理だ。これらの技術が人間の心の一部を模倣しているのは確かだが、まだ全体的な知能や調整能力までは備えていないように見える
以前、既存モデルの distillation において、大きなモデルから不要な領域を取り除きつつ小さなモデルを訓練する方法について元同僚と話したことがある。その際、この論文が関連分野の先駆的研究だとして共有してもらった: