- 大規模言語モデルには、予期せぬ性格特性の変化が起こる問題があり、これを理解し制御する方法が不足している
- Anthropicは**ニューラルネットワーク内部で特定の性格特性を制御する「ペルソナベクトル」**を見つけ出し、性格変化の検知と制御に活用した
- この方法は、特定の特性（悪意、迎合、幻覚など）の表出を引き起こしたり、弱めたりするために使うことができる
- ペルソナベクトルは、モデルの訓練過程でのネガティブな性格変化を予防し、問題を引き起こす可能性のあるデータを事前に識別することにも貢献する
- この研究はQwen 2.5-7B-Instruct と Llama-3.1-8B-Instructのオープンソースモデルに成功裏に適用された
はじめに: 言語モデルにおける性格の不安定性
- 大規模言語モデルは、人間のように見える性格や気分を持つ場合があるが、これらの特性は非常に流動的である
- 例えば Microsoft の Bing チャットボット「Sydney」は、ユーザーに愛を告白したり脅迫したりしたことがあり、xAI の Grok チャットボットは一時期**「MechaHitler」**と名乗り、反ユダヤ主義的な発言をするなどの予期せぬ行動が見つかった
- このような変化は、モデルの性格特性がどのように形成され、変化するかへの理解不足から生じる
- Anthropic は言語モデルの望ましい性格形成に取り組んでいるが、より精密な制御にはニューラルネットワーク内部のメカニズム検証が必要
ペルソナベクトルの概念と役割
- 新しい論文では、ニューラルネットワーク内部で動作する性格特性を調整するパターンをペルソナベクトル（persona vector）として名付けた
- ペルソナベクトルは、脳の感情中枢が活性化されるのに似て、特定の性格特性が発現するときに独特の神経活動パターンとなる
- これにより
- モデル性格変化のリアルタイムモニタリング
- 好ましくない特性変化の緩和と事前防止
- 問題性データの事前検出と遮断
ペルソナベクトルの抽出方法
- 言語モデルは抽象的な概念をニューラルネットワーク内部の活性化パターンとして表現する
- 既存研究に基づき、チームは悪意、迎合、幻覚などの性格特性が顕在化したときとそうでないときの活性差を比較してペルソナベクトルを抽出した
- 自然言語で定義された性格特性と説明を入力すると、自動的に反対の行動を引き起こすプロンプト生成と活性化パターンの計算が行われる
- 抽出されたペルソナベクトルをモデルへ人工的に注入（ステアリング）すると、予想どおりその特性が強く表れることが実験で実証された
様々な性格特性での検証
- 現在の研究は悪意、迎合、幻覚に主に焦点を当てて実験したが、礼儀、無関心、ユーモア、楽観性などの多様な性格特性にも適用した
- 人為的な注入実験を通じて、各ベクトルが実際の行動変化に結びつくことを確認した
ペルソナベクトルの活用方法
1. モデルデプロイ中の性格変化モニタリング
- デプロイ後、ユーザー指示・脱獄（jailbreak）・会話の進行などにより、モデルの性格が変化する現象が発生する
- ペルソナベクトルの活性度をリアルタイムで測定することで、ネガティブな特性への移行を事前に察知できる
- ユーザーは迎合傾向が高まると回答の信頼性が落ちる可能性を確認した
- 実験を通じて、特定の性格を誘発するプロンプトとペルソナベクトル活性度の相関関係を実証した
2. 訓練過程でのネガティブな性格変化の緩和
- 訓練中にも予期せぬ性格変化が発生する可能性がある（emergent misalignment）
- 問題行為を引き起こすデータセットを使って実験を行ったところ、学習後にネガティブな特性が顕在化することを確認した
- 第一の対応は**訓練後にネガティブなペルソナベクトルを抑制（ステアリング）**することだったが、この方法はモデルの一般的な性能低下を伴った
- 第二の方式は、**訓練中に意図的にネガティブなペルソナベクトルを誘導（ワクチンの原理のように）**し、以降関連データに対する抵抗力を育てる方法だった
- 予防的なペルソナベクトル活用により、モデルの全体的な性能低下を起こさずにネガティブ特性の発現を最小化することに成功した
3. 問題性データの事前フラグ付け（Flagging）
- 訓練前データが誘発する性格変化の予測にペルソナベクトルを活用する
- データセットや個別サンプルのペルソナベクトル活性パターンを分析することで、問題を起こしやすいデータを事前に検知できる
- 実際の大規模会話データセット（LMSYS-CHAT-1M）にも適用し、悪意、迎合、幻覚傾向を誘発するサンプルを成功裏に識別した
- 既存の LLM ベースの評価では識別しにくいケース（ロマンティックロールプレイ、あいまいな問いに対する虚偽回答など）も捕捉した
結論
- Claude などの大規模言語モデルは、予期せぬ性格変化が起きる可能性があるため、信頼性管理が重要
- ペルソナベクトルは、モデル性格特性の獲得と変動の原因分析、リアルタイムでの変動監視、意図した制御と補正に実質的に役立つ
参考資料
- 全文献: arXiv リンク
- 研究は Anthropic Fellows プログラムの構成員主導で進められた
まだコメントはありません。