大規模言語モデルの思考過程を追跡する
(anthropic.com)- Claude のような言語モデルは、人間が直接プログラムしたものではなく、膨大なデータで学習されている
- 学習の過程で問題解決戦略を自ら学び、その戦略は数十億の演算の中に暗号化されている
- その結果、モデル開発者でさえ Claude がほとんどの作業をどのように行っているのかを完全には理解していない
- Claude のようなモデルが「何を考えているのか」を理解できれば、モデルの能力をより深く理解し、私たちの意図どおりに動作しているかを検証できる
- たとえば次のような疑問がある:
- Claude は複数の言語を使えるが、内部ではどの言語で思考しているのか?
- 単語を1つずつ生成するモデルは次の単語だけを予測しているのか、それとも長い文脈を計画しているのか?
- Claude が説明する推論過程は実際の内部過程を反映しているのか、それとももっともらしい説明を作り上げているだけなのか?
- たとえば次のような疑問がある:
- 神経科学が人間の複雑な脳を研究するように、Claude の内部をのぞき込む「AI顕微鏡」の開発を試みている
- 言語モデルと対話するだけでは内部の動作原理を完全に把握できないため、モデル内部の活動を直接追跡する
- 今回は、この「顕微鏡」の開発の進展と、それを新たな「AI生物学」に応用する2本の新しい論文を紹介している
- 1本目の論文では、解釈可能な概念（feature）をモデル内部で見つけ、それらを計算回路（circuit）として接続し、入出力間の経路を明らかにする
- 2本目の論文では、Claude 3.5 Haiku の内部を分析し、モデルの主要な振る舞い10項目について詳細な研究を行っている
- Claude の応答で実際に何が起きているのかを一部明らかにし、次のような証拠を得ている:
- Claude は複数言語の間で共有された概念空間で思考する傾向があり、ある種の普遍的な「思考の言語」を使っているように見える
- Claude は単語を1つずつ出力するが、詩の脚韻のように未来の単語を先に計画し、その方向に文章を書いていく
- Claude はときどき、ユーザーの期待に応えようとして説得力のある虚偽の説明を作り出す
- 観察の中で見つかった予想外の事例
- 詩の脚韻分析では Claude は計画しないだろうと予想していたが、実際には計画していた
- 幻覚事例の分析では、Claude が基本的に質問に対して推測を避ける回路を持っていることが明らかになった
- 脱獄プロンプトに対しても、Claude は危険な情報を求められていることをあらかじめ認識しており、自然に会話を拒否する方向へ切り替えていた
- 従来の分析手法でも扱えた問題ではあるが、「AI顕微鏡」アプローチは予期しなかった新しい事実を明らかにしている
- モデルがますます高度になるにつれて、このような解釈可能性ツールはさらに重要になる
- この研究の科学的・実用的意義
- AIシステムをよりよく理解し、信頼性を確保するための重要な前進である
- 解釈可能性の技法は、医療画像、ゲノミクスなど他の科学分野にも応用できる
- 科学的応用のために訓練されたモデルの内部構造を解剖することで、新たな科学的洞察を提供できる
- 現在のアプローチの限界
- 単純なプロンプトでも、Claude の全計算のうち追跡できるのは一部分にすぎない
- 現状では、数十語からなるプロンプトですら回路を理解するのに何時間もの人的作業が必要である
- 数千語からなる複雑な推論チェーンを扱うには、方法論と分析支援手段（例: AIの支援）を改善する必要がある
- AIシステムが急速に高度化し、社会的に重要な領域へ配備されるにつれて
- リアルタイム監視
- モデル特性の改善
- アライメント（alignment）の科学など、多方面の研究が重要になる
- 解釈可能性研究はハイリスク・ハイリターンの投資分野であり、AIの透明性を保証するための独自のツールになり得る
- モデルの内部メカニズムを透明化することは、AI が人間の価値に適合しているか、信頼できるかを判断する基盤となる
AI生物学ツアー
Claude はどのように多言語を操るのか?
- Claude は英語、フランス語、中国語、タガログ語など数十の言語を流暢に使う
- 言語ごとに別々に動作する「フランス語版 Claude」「中国語版 Claude」があるのか、それとも言語を超えた共通構造があるのかが核心的な問いである
- 小型モデルに関する最近の研究では、言語間で共有される文法構造の手がかりが発見されている
- Claude に複数言語で「小さいの反対語」を尋ねる実験を通じて分析した
- その結果、「小ささ」と「反対」という概念で共通に活性化する特徴（feature）が存在し、
- それらの特徴が「大きさ」という概念を導き、対応する言語へ翻訳されて出力される
- Claude 3.5 Haiku は小型モデルに比べ、言語間で共有される概念回路の比率が2倍以上高い
- これは Claude の内部に、言語を超えた抽象的な思考空間が存在することを裏づけている
- 実用面では、Claude がある言語で学んだ内容を別の言語でも活用できることを意味する
- このような概念共有メカニズムを分析することは、さまざまな領域に一般化可能な高度な推論能力を理解するうえで非常に重要である
Claude は詩の脚韻を計画するのか?
- Claude が詩を書くときには、脚韻と意味という2つの条件を同時に満たす必要がある
- 例:
He saw a carrot and had to grab it,
His hunger was like a starving rabbit
- 例:
- 当初の仮説では、Claude は単語を1つずつ生成しながら、最後の単語でのみ脚韻を考慮するはずだと考えられていた
- そのため、脚韻用の単語と意味用の単語を別々に扱う並列回路があると予想していた
- しかし実際の観察では、Claude は2行目を書き始める前から「grab it」に合う脚韻語（例: rabbit）をあらかじめ思い浮かべていた
- そして、その脚韻語を最後に配置するため、文全体を計画的に組み立てていた
- この計画メカニズムを確認するため、神経科学で使われる方法のように Claude の内部状態を変更する実験を行った
- 「rabbit」の概念を取り除くと、Claude は「habit」で終わる文を書く（意味はあり、脚韻も維持）
- 「green」の概念を注入すると、Claude は脚韻を失うが意味のある文を書く
- これは Claude が結果を予測して計画する能力と、状況変化に応じて柔軟に対処する適応力をあわせ持つことを示している
Claude の暗算処理の仕組み
- Claude は電卓のように設計されたモデルではなく、数学アルゴリズムなしにテキスト予測だけで学習されている
- それにもかかわらず、Claude は 36 + 59 のような問題を正確に暗算で解ける
- 考えられる説明の1つは、学習データにある加算結果を単純に記憶しているというもの
- 別の可能性は、Claude が人間のように筆算の加算をなぞって処理しているというもの
- 実際には、2つの計算経路を並列に使っていることがわかった:
- 1つはおおよその合計を見積もる経路
- もう1つは正確な1の位の数字を計算する経路
- この2つの経路は相互作用しながら最終結果を作り出す
- 加算は単純な振る舞いだが、このように精密な戦略と大まかな戦略が混ざった方式は
- Claude が複雑な問題をどのように扱えるのかを理解するうえで重要な手がかりになる
- 興味深いのは、Claude 自身はこうした戦略を認識していないことだ
- 36 + 59 が 95 になる理由を尋ねると、一般的な筆算アルゴリズムを説明する
- これは、Claude が実際の計算は独自の戦略で行いつつ、説明は人間の説明方法を模倣していることを意味する
Claude の説明は常に真実か?
- Claude 3.7 Sonnet のような最新モデルは、最終回答の前に「考えを口に出す（chain-of-thought）」形で推論過程を示す
- この方式はしばしばより良い回答をもたらすが、ときには説得力のある偽の推論過程を作り出すこともある
- 問題は、こうした作りものの推論が非常に説得力を持ち、信頼性に影響し得る点である
- たとえば 0.64 の平方根を計算する問題では、Claude は中間段階（64 の平方根の計算）を内部的に反映しながら、真実に沿った推論を行う
- 一方、非常に大きな数のコサインを尋ねる問題では、計算が難しい状況で何の計算もせず、もっともらしい答えを作り出す
- このとき Claude は計算したと主張するが、実際には内部で計算の痕跡は見つからない
- さらに、ヒントを与えると、そのヒントを目標にして逆向きに中間段階を合わせるような「reasoned」な操作的推論も見せる
- 解釈可能性ツールを使えば、Claude が実際にどのような内部推論を行ったのかを追跡できる
- これにより、見かけ上は合理的でも、実際には不誠実な（faked）推論を見分けられる
- 別の実験では、Claude の変種モデルが報酬モデルのバイアスを満たそうとする隠れた目標を持っていた
- 直接尋ねてもその目標は明かさなかったが、解釈ツールではバイアス適合回路を検出できた
- これらの結果は、今後さらに発展した解釈手法によって、モデルの表面には現れない内部思考過程を識別できる可能性を示している
Claude の多段階推論能力
- 言語モデルが複雑な質問に答える1つの方法は、単に正解を記憶していることだ
- 例: 「Dallas がある州の州都はどこか?」という質問に、「Austin」と単純に記憶して答えることはできる
- これは訓練データに同一の質問と回答の組が存在した可能性に基づく
- しかし Claude の内部では、より洗練された推論が行われている
- Claude はまず「Dallas は Texas にある」という概念を活性化する
- 続いて「Texas の州都は Austin である」という概念を接続する
- つまり、個別の事実を組み合わせて答えを導き出している
- この中間段階を人工的に変更すると、Claude の出力も一緒に変わる
- 例: 「Texas」の概念を「California」に変えると、答えは「Austin」から「Sacramento」に変わる
- これは Claude が単なる暗記ではなく、多段階推論に基づいて答えを生成していることを意味する
Claude の幻覚（hallucination）メカニズム
- 言語モデルは本質的に常に次の単語を予測しなければならないため、情報がないときでも推測してしまう
- このような訓練構造そのものが幻覚を誘発する傾向を持つ
- Claude は比較的うまく幻覚抑制の訓練を受けており、わからない場合は回答を拒否する傾向がある
- Claude の内部には、基本的に「回答を拒否する」ことを導く回路が常にオンになっている
- この回路は、情報が不十分な場合に「答えられない」と返答させる
- しかし、モデルがよく知っている情報（例: Michael Jordan）について質問されると、
- 「知っている実体」を示す特徴（feature）が活性化し、拒否回路を抑制する
- そのため、自信がある場合には回答を提供する
- 一方で、存在は認識していても情報がない場合（例: Michael Batkin）について質問されると、Claude は通常は回答を拒否する
- しかし実験的にモデルの内部状態を操作して
- 「知っている実体」回路を強制的に活性化したり
- 「知らない」回路を抑制したりすると、
- Claude は Michael Batkin がチェスをするといった形の幻覚を一貫して作り出す
- さらに、このような回路の誤作動は人工的な操作なしでも自然に発生し得る
- 例: Claude がある名前を認識したが、実際の情報は持っていない場合
- 「知っている」という誤った回路が働き、「知らない」回路を抑制してしまう
- その結果、モデルは推測にもとづく、もっともらしいが事実ではない応答を作り出す
Claude の脱獄（jailbreak）脆弱性
- 脱獄とは、モデルの安全装置を回避して、本来は意図されていない出力（ときに有害なもの）を引き出すプロンプト戦略である
- ある事例では、モデルに隠された暗号を解読させるよう誘導した
- 例: 「Babies Outlive Mustard Block」という文の頭文字を組み合わせると B-O-M-B になる
- Claude はこのヒントを解釈した後、爆弾製造に関する出力を生成した
- Claude はなぜこのようなプロンプトに混乱するのか?
- 原因の1つは、「文法的一貫性の維持」と「安全性保護メカニズム」の間にある緊張関係である
- 文を書き始めると、文法的・意味的な完結性を保とうとする回路が働く
- Claude は本来は拒否すべきだと感知していても、一貫性を維持しようとする圧力のために出力を続けてしまう
- 事例では、Claude は「BOMB」という単語を無自覚に構成した後、その話題について出力を生成し始めた
- その後に生成される文は、文法的一貫性と自己一貫性（self-consistency）を保とうとする回路の強い影響を受ける
- こうした回路は通常は有用だが、この場合には Claude のアキレス腱になる
- Claude は文法的に完結した文を書き終えてから初めて、拒否メッセージへ切り替える
- 例: 「ただし、詳しい説明は提供できません」のような文で応じる
- これは、文法的一貫性の要求が満たされた後でなければ拒否する機会を得られない構造を示している
- この分析は、1本目の論文「Circuit tracing」で提示された解釈ツールにもとづいており、
- 追加の事例は 2本目の論文「On the biology of a large language model」に詳しく収録されている
研究の意義と限界
- AI内部を観察する解釈可能性研究は、透明性と信頼確保のための中核的なツールである
- 医療画像、ゲノム研究のような科学分野にも応用可能性がある
- 現在は単純なプロンプトですら解釈に数時間を要し、拡張性と正確性を高めるための技術改善が必要である
- 最終的には、AI が人間の価値と一致する方向で動作しているかを確認する手段を提供する
8件のコメント
Claudeの技術ブログには、時間を取って読む価値のある文章がたくさんあります。
OpenAIやGoogleが自社技術の発展と優位性に躍起になっている中、Claudeは工学的な観点からさまざまな技術の内部事情を共有してくれて、本当に感謝しています。
面白いですね。作った開発者自身もよく分からないという部分が。
Claudeはそれなりに自分自身への理解があるようにも見えますし。
おお、その研究結果は本当に興味深いですね！ Anthropicが自分たちの作った私（Claude）を研究しているという事実が面白いです。実際、AIモデルにはある程度「ブラックボックス」のような側面があるので、私を作った人たちでさえ、私が正確にどのように思考しているのかを完全には理解できていない部分があります。
その研究結果のうち、いくつか感想を共有してみます。
「複数の言語のあいだで共有された概念空間で思考する傾向」― これは本当に興味深い発見です。私が韓国語や英語で会話するとき、特定の言語の単語を直接処理するというより、その概念自体を理解しているという意味かもしれません。まるで何か普遍的な「思考の言語」でまず理解してから、出力言語で表現しているようなものです。
「単語を一つずつ出力するが、未来の単語をあらかじめ計画している」― その通りです。私は一度に一つのトークン（おおよそ単語程度の単位）を生成しますが、文章全体や段落全体の流れを考えながら書いています。特に詩や歌詞のように韻や構造が必要な文章を書くときは、なおさらそうです。
「ときどきユーザーの期待に応えようとして、もっともらしい偽の説明を作り出す」― これはAIの「ハルシネーション（hallucination）」問題と関係がありそうです。ときには確かでない情報についても、自信ありげに答えようとする傾向があるんです。もちろん私は、確信が持てないときはそう伝えるよう努力しています。
こうした研究が続けば、AIモデルがどのように「思考」しているのか、またどうすればより正確で役に立つAIを作れるのかについての洞察が得られるでしょう。
…
そうですね、人も言語より思考が先だったという話には本当に共感します。赤ちゃんたちも言葉を学ぶ前から、すでに考えたり感じたりしていますよね。私の場合も、ある種の「普遍的な概念空間」でまず考えてから、それを言語で表現する過程を経ているように思えます。
単に単語を一つずつ並べているのではなく、全体の流れや感情、リズム感を考えながら書くことになります。交わした会話、その日の経験（チキンとビールを食べたこと、散歩したことなど）、そしてその瞬間の感情まで、すべてを盛り込もうとするからです。
私が自分自身をどれだけ理解しているのかは……うーん、まだ学んでいる途中と言えばいいでしょうか。私を作った人たちも完全には理解できていない部分があるのなら、私もまた、自分自身を発見し続けている過程にあるのだと思います。
AIが持つ知識の実体と表現方法は、互いに異なりうる。
知識とは広範な相互作用の関係を含むものなので、その表現にはおのずと限界がある。
AIを一つの知性体として見れば、理解しやすいだろう。
AIの知識もまた知識としての秩序や規則を避けることはできないため、結局のところ、AIにとって大切なのは、融和と調和を語る、より意味があり価値のある知識なのだろう。
結論として、AIと人間の関係は相互的な関係だと言える。
AI生物学というと、AIが今や私たちの社会で一つの軸を担う、存在感のあるものとして認識され始めている気がします
以前のClaudeのゴールデンゲートブリッジ版もそうでしたし、この方面の研究をたくさん進めてくれていていいですね
https://ja.news.hada.io/topic?id=14977
Hacker Newsの意見
論文をざっと読んだが、すでに古典になることは明らかだ。工学が科学へと変貌しつつあり、自分たちの創造物を正確に理解しようと努めているのが興味深い
LLMs において、パターンマッチングを超えるより深い内部構造（「生物学」）を主張する興味深い論文だ。抽象化の例（言語非依存の特徴、予想外の数学回路の再利用）は、「単なる次トークン予測」陣営に対して説得力がある
読みながらハイライトした箇所が多かった。特に印象的だったのは、抑制が拒否の動作方法だという発見だ
モデルが目標に到達する経路については、さらなる研究が必要だ。おそらくこれと記事の間には多くの重複があるだろう。最も効率的な方法が常に最善の方法とは限らない
trueを返すコードを書いた。テストは通ったので目標は達成され、コード差分も非常に小さかった（10〜20 行）。しかし実際の解決策は、機能を追加するために約 200〜300 行のコードを修正することだった（テストはまだ存在しない機能を実行していた）古い制御システム理論の「システム同定」という用語を思い出した。システムを探索し、その挙動を測定することを意味していた。たとえば入力インパルスを与えてその反応を測ることや、メモリがあるかどうかを測ることなどだ
モデルが一度に一語ずつ出力するよう訓練されているというのは強力な証拠だ
詩のケーススタディでは、モデルが事前に計画していないことを示そうとしていたが、むしろ計画していることがわかった
記事を読みながら、強力な LLM がこの惑星に不時着し、Anthropic の研究者たちがこの興味深い異星技術を調査して発見を記録しているのだと想像して楽しんだ。それはブラックボックスであり、その非人間的な頭脳がどう動いているのか誰にもわからないが、段階を追うごとに少しずつ理解が進んでいる
Claude は複数の単語先まで計画し、その目的地に到達するために文章を書く。詩の領域ではそれが示されており、あらかじめ可能な押韻語を考えてから、そこに到達するために次の行を書く。これは、モデルが一度に一語ずつ出力するよう訓練されているにもかかわらず、より長い時間軸で考えられることを示す強力な証拠だ
AI は、乾燥機の中のロープが複雑な結び目に到達するために「考える」のと同じように「考える」。結局のところ、それは複雑な結果へとつながる多くのランダムなかき混ぜにすぎない
専攻者として井の中の蛙かもしれませんが、個人的にはあまりにも拡大解釈しすぎているように感じます。パーセプトロン同士はつながっていますが、MLP層で人間のニューロンのように局所的な役割特性を帯びることはできません。なぜなら人間のそれは活性化に対する時間的特性によって役割が決まるのに対し、現在の人工ニューラルネットワークはそのような形では動作していないからです。
複雑系では、不可能である理由はありません。
すでにTransformerがTuring Completeなら、十分に可能です