- LLMを人間のように擬人化する態度を批判する文章。LLMは結局のところ「行列積と非線形関数の集合」にすぎない
- LLMが生成する言語シーケンスは複雑な関数的経路であり、人間のような「意図」や「倫理」が介在するわけではない
- LLMの安全性（Alignment）の問題は、望ましくない出力の確率を数学的に定量化・制限することが核心である
- 倫理・意識など人間中心の概念をLLMに適用することは、議論を混乱させ、むしろ実際の問題定義と解法を曖昧にする
- 人間の意識とLLMは本質的に異なり、技術的理解と社会的変化への対応が重要である
LLMを人間のように見ない視点の必要性
LLM、擬人化（人間のように考える）議論への問題意識
- AIとLLM（大規模言語モデル）に関する議論でalignment（アラインメント）やAI安全性が登場すると、多くの専門家がLLMに人間的属性（意識、意図など）を与える傾向に混乱を覚える
- LLMは本質的にMatMul（行列積）と非線形関数の組み合わせとして見ることができる
LLMの構造的本質
- LLMは個々の単語（入力トークン）をベクトル空間に写像し、これまでの経路を基に次のトークンの確率分布を計算して逐次的に出力を生成する関数である
- この過程は**「高次元空間でのSnakeゲーム」**に似ており、生成経路は動的システムのストレンジアトラクタ（strange attractor）のように複雑である
- LLMは人間が書いた大量のテキスト + 専門分野コーパス + 自動生成および検証可能なデータから学習し、人間言語の構造を模倣する写像を獲得する
避けるべき経路（言語シーケンス）とアラインメント、安全性の問題
- 一部の言語シーケンスは社会的・倫理的に不適切であるため、生成されないことが望まれる
- しかし、どの経路が望ましくないのかを厳密に数学的定義することは難しいため、例や反例によって分布を調整（nudge）する
- LLMの「アラインメント（Alignment）」と「安全性」とは、望ましくないシーケンスが生成される確率を数学的に定量化し、限界を設定する問題である
- しかし実際には、「望ましくない」シーケンスの基準を数学的に明確に定義することはできず、例示でしか扱えないため、実質的な限界が存在する
- 特定のLLMで与えられたシーケンスが出る確率を計算することはできても、その全体の確率を足し合わせたり積分したりして「このモデルはN回ごとに望ましくないシーケンスを作る」と断定することはできない
LLMの実際の有用性
- LLMは既存の**自然言語処理（NLP）**の多くの問題をアルゴリズムとして解けるようにしてくれる
- 例：自然な英語での文書要約、JSON構造でのデータ整理、創作童話や画像生成など、5〜6年前には不可能だったことを自然に処理する
- 急激な改善曲線により、今後もさらに多くの不可能だった問題を解決すると予想される
人間のように見る視点の限界
- LLMに「意識」「倫理」「価値」「目的」を与える視点に反対する
- LLMは結局、入力が与えられてはじめて出力を生成する「再帰方程式」にすぎない
- AIが「目覚める」とか「目的意識を持つ」といった議論は、気象シミュレーションが感情を持つと主張するのと同レベルの誤りである
- AIの議論で**「行動」「倫理的制約」「目標追求」などの人間中心の用語が問題の本質を曖昧にする**
- これは人間が過去に自然現象を「神の怒り」や「悪霊」などとして擬人化していたことに似た認知の誤りである
アラインメント議論の正しい方向
- LLMは単なるシーケンス生成関数であり、入力プレフィックスを調整して出力確率を変えられる
- 望ましくないあらゆる出力シーケンスについて、確率を最大化するプレフィックスを見つけることも数学的アプローチである
- このような明確な数式ベースのアプローチこそが、問題定義と解法をむしろ明確にする
なぜAI分野では擬人化が頻繁に現れるのか
- AI業界のリーダーのかなりの部分は、AGI実現の可能性を人生の目標としてこの分野に入った傾向がある
- そのため、技術的議論に人間レベルの知能、あるいは神のような存在の創造への信念が介入しやすい
- 擬人的な視点から離れようという主張が受け入れられにくいことも認めている
人間の意識とLLMの根本的な違い
- 人間は数億年にわたる自然選択、複雑な神経構造、ホルモン、高次元の感覚入力、エネルギー制御など、未解明の過程を経て進化してきた、本質的に多層的で複合的な存在である
- 人間が特定のシーケンスを生成する確率を計算することは不可能である
- LLMは人間の思考とまったく異なり、「このシーケンスを生成する確率」さえ定義しにくい
- 「倫理」や「生存本能」のような人間の概念をLLMに適用することは、数値解析シミュレーションプログラムの感情を論じるのと同じくらい不自然である
本当の問題と変化の方向
- 現代のLLMが提供する関数クラスは非常に有用であり、AGIにまったく到達しなくても社会に大きな変化を引き起こす
- LLMはAGIに到達しなくても、現行技術だけで世界に大きな変化をもたらしうる
- 電化（Electrification）のような社会全体の変革も可能である
- 今後数十年の急激な変化の中で、実際の問題（安全性、活用など）に集中する必要がある
4件のコメント
擬人化するかどうかというよりは..
すでに自律的に学習し推論する段階にある時点で、安全性が保証されるフェーズは過ぎたと見ています（この時点で人間であるあなたがすべてをコントロールできると信じるのは傲慢です）。
学習という観点から見れば、むしろ人間のように考え、人間の観点で学習されるようにすることが、せめてもの安全性を高める方法ではないでしょうか!?
LLMの構造上、安全性を完全に保証するのは不可能だと思います。私の考えでは、LLMが不安定なのは避けられず、エージェントや自動運転のように、物理的な行動にどう権限を与えるかが重要だと思いますね
車とマラソンを比較しているようなものだと思うけど..
Hacker Newsの意見
私はLLMがどう動作するのか技術的にはよく分かっているが、ある程度人間的にたとえることが無意味だとは思わない
「確率的に次の単語を生成する生成器」といった言い方は、LLMが複雑な世界モデル化の問いに答えたり創造的な物語を作ったりする場面では、あまり意味のない低レベルの抽象化だと感じる
UIイベントAPIの話をしながら0と1やトランジスタ電圧などを論じるようなもので、技術的には正しくても高次のシステムを理解するには役に立たない
より高いレベルの現象を語るにはより高い抽象化が必要だが、私たちは内部レベルで何が起きているのかをよく分かっていない
LLMは人間をある程度まねる（少なくとも出力形式において）ので、人間的にたとえることが最も使いやすい抽象化であり、人々がLLMの可能性を語るとき自然にそうする理由だと思う
LLMの高次の現象を理解するにはより高いレベルの抽象化が必要だと言ったが、内部がどう動いているかはすでに分かっていると思う
効率的なネットワーク設計と性能向上は、内部動作への理解（ネットワーク次元、特徴抽出、アテンション、アテンションヘッド、キャッシュ、高次元特性、過学習防止など）に大きく依存している
人間的にたとえるのは、一般向け科学書で限られた語彙を使うときには必要でも、実務者には必須ではないと感じる
逆に、私の考えでは人間的にたとえることこそがLLMに関する物語を歪める主因だ
人々はLLMが考えたり推論したりすると言うが、実際にはそうした振る舞いはしていない
そしてこうした認識は、LLMを売る企業が積極的に助長している
結果としてこれが、LLMの有用性や適用に関する議論を曇らせる副作用を生んでいると感じる
The Selfish Geneでドーキンスが遺伝子の「意図的観点」について語っていたのを思い出した
遺伝子が何らかの意図を持つかのように描写するのは不正確だが、「この遺伝子を持つ個体はこうした行動をとる」といった詳細な説明を毎回書く代わりに、遺伝子を目的を持つ行為者として表現することで、理解しやすく便利な略記になる
低レベルの抽象化を理解しているなら、より高いレベルを語るときにわざわざ低レベルにとどまる必要はないと思う
言語モデルを十分に使ってみて感じたのは、人間的にたとえて最も危険なのは対話型UIだということだ
1回のQ/Aペアだけに集中したり、会話履歴をできるだけ減らして編集したりすると、LLM利用上の多くの問題は大幅に減った
複数のメッセージをやり取りした後で会話を点検したり、「幻覚」を修正しろと言ったりすると、誤った情報が繰り返し言及されて、会話がむしろ誤った方向に強化される現象を経験した
こうした点はコーディングでも同様に現れ、誤ったコードが会話を継続的に汚染する現象がはっきり見えた
私はGPやOPのようにLLMの内部動作状態が頭の中に描けないので熱狂できないタイプだ
ときどきそういう人たちがうらやましくもある
数学の試験をしょっちゅう失敗した経験のせいかもしれない
その代わり、できるだけ抽象的・視覚的・哲学的に想像しようと努めている
私が書いた関連内容は私のブログで見られるし、もしフィードバックがあればメールで連絡してほしい
LLMを単なるシーケンス生成器と見なし、誤った振る舞いを誤ったシーケンスとして片付けるのは、あまりに単純化しすぎだと思う
LLMにはトークンから直接は見えない隠れ状態が存在し、LLMがより長期的な結果のために自分の内部状態に反する出力を出すこともあり得る
こうした現象を「嘘」と呼ぶのは、人間的にたとえすぎなのだろうかと疑問に思う
だとすれば、LLMが予測損失を最小化するために内部的に「行動」をまねる過程を説明できる新しい用語が必要だ
比喩的思考には常に注意が必要だが、それ自体が不要なわけではない
しかし新しい用語はあまりに難解になり、大衆的な普及も難しいため、結局は人間的な用語を使う方向に傾くのが現実だ
もちろんそうするとLLMを「欠陥だらけの人間」のように見せてしまうので誤解の余地はあるが、それでも無駄な専門用語は減る
私は長い間、隠れ状態のあるモデルを扱ってきた経験があるので、こうした特性は統計モデルでは非常に古典的な特徴だと感じる
よく使われるLLMの教科書でさえ潜在変数モデルとして説明している
LLMは潜在変数モデルの規模と複雑さが途方もなく大きくなった版にすぎない
実際、こういうふうにモデルを非人間的に説明するほうが私にはむしろ簡単だ
潜在変数モデルは昔から神秘的でミステリアスだと思われてきた
こうした神秘性が、LLMを人間的にたとえる文化につながった側面はあるが、ある程度は効率的なコミュニケーションや複雑系モデリングに不可欠な抽象化でもある
ただ、それが過剰な期待や「機械に魂が宿ったかのような」言説、そして有用性の誇張を招くとも思う
大手ベンダーがマーケティングの観点から擬人的な用語を強調するため、LLMが人間的にたとえられるのだと思う
人々は技術に熱狂し、ベンダーが使う用語もそのまま真似して使うようになる
ここまで来ると一種の自己実現的な過程だと感じる
GIFの発音論争ミームのような現象に見える
隠れ状態とは、結局のところモデルがトークンの結合確率をよりうまく推定するための内部メカニズムにすぎないと思う
こうした論理は20世紀初頭の論理実証主義者たちの試みでも失敗した
言語の結合確率を非常にうまく予測できれば濃密な「知識」を獲得できる、という前提があった
しかし哲学的には、言語が知識の不完全な表現にすぎないという根拠が多い
人間の思考は単に記号パターンを学習して出力する以上に複雑だという証拠は十分にある
ヒュームのような懐疑論者もこうした主張をしていたが、その後の認識論の議論ではよりよい説明が示されたと思う
元記事の投稿者です
「隠れ状態」が何を指しているのか気になる
ほとんどのLLMではコンテキスト自体が状態であり、別個の「隠れ」状態はないと思う
もし私が見落としているなら説明をお願いしたい
LLMではトークン列を埋め込み N^L から R^{LxD} へ、アテンションを経て R^{LxD} にし、最後に語彙を別途射影して R^{LxV} に変換し、つまり各トークンごとに確率分布を導出する構造になっている
アテンションの中にはさまざまなMulti Head方式があるが、常にトークンに帰属する表現を扱っている
だから特定のトークンに従属しない隠れ状態はないと主張する
一方でLSTMのように明確に更新される隠れ状態を持つモデルとは異なる
以前の単語から確率を計算する原理の説明だけでも、たいていは理解可能だと思う
わざわざ人間的なたとえが必要だとは感じない
筆者の中心的な主張はSearleの見解と似ていて、計算・機能・構文規則ベースのシステムでは真の心を再現できないという点だ
多くの人が同意あるいは不同意だろうが、結局はどの前提、とくに意識に関する前提を採るかで答えが決まる
著者は人間的なたとえよりも具体的な技術システムに集中するほうが生産的だと考えているが、その範囲でのみ同意すると述べている
それとは別に、システムが規則に従う確率的システムであるにもかかわらず、どこかemergentで予期しない、mind-likeな性質が現れる点も認める
MLおよび数学の背景知識がある人は、こうしたシステムに道徳、感情、個性など人間的属性があるとは考えないが、そもそも大多数にとっては数学的構造として捉えるのが難しく、見た目には「もっともらしく」人間のように振る舞うと感じられる
したがって実用的な観点では、人間的属性から出発して問いを立てることにも十分意味があると考える
結局、極度に技術システムとして見る観点と、ユーザーの心象的経験を基盤にした質的・主観的観点の両方が必要だと思う
「何かがemergentでmind-likeだ」という概念は、そのシステムの動作原理をよく知らない人ほど自然に感じやすいと思う
「十分に発達した技術は魔法と見分けがつかない」というClarkeの法則のように、その基準は誰にとっても技術理解の深さ次第で変わる
技術リテラシーの低い大衆には、AIを神格化するGodbot現象まで現れている
関連記事: Spectator - AI Godbotsの危険, arXiv論文, Guardian - タイのAI占い師
この議論で見事にバランスの取れた視点を示してくれてありがとう
HNではLLMをあまりに感情的に扱ったり、LLMには何の興味も価値もないと強弁する人たちもいて驚かされる
過剰なマーケティングへの反発から、わざわざ根拠のない反対を選ぶ態度も理解できない
emergentでmind-likeだと感じるのは、結局のところ人間的なコミュニケーションパターンを歴史上どのシステムよりもうまく模倣しているからだ
この能力は非常に印象的で、生活の質を高める多くの実用性もあるが、「知能」はあくまで幻想にすぎない
業界の誰もがこの幻想を意図的に強めたがっており、その理由も結局は金銭的価値にある
絶対にその必要はないと主張する
他の多くのテーマで深刻な影響を及ぼしうる誤解された観点を増幅する理由はない
LLMは人間の思考過程を部分的に、しかも不完全に反映している
現象により大きな意味を与えようとするなら、鏡に映った人が生きていると錯覚するようなものだ
鏡が人間を映すのは鏡の本質のためではなく、人間が前にいるからだ
LLMも、人間の思考の残滓であるデータを入力されなくなった瞬間、人間に似た何かをもはや反映しなくなる
著者はあらゆる会話を「人間化」とレッテル貼りする傾向があるように感じる
「目標(goal)」という用語にこだわりすぎて、「goal」という単語を使うだけで人間化だと見なしているようだ
たとえば、あらゆるチェス盤面の点数を評価し、チェックメイトを見つけたら決定木全体を出力するBFSも「目標」を持っている
LLMやAGIの目標を想像する際に「goal」という技術用語を使うことは、人間化とは無関係だと思う
RLアルゴリズムの文脈で"goal"を使うことにはまったく問題ない
私の文章では、LLMの文脈で"goal"を使うことにだけ反対していたと理解してほしい
人々が「意識(consciousness)」「倫理(ethics)」「価値(values)」「道徳(morals)」といった概念をこの学習済み関数に投影し始めた時点で、私は同意できなくなる
結局私たちが扱っているのは巨大な再帰方程式であり、私たちが動かさなければ単語を生み出さない
その理屈なら、人間を人間的にたとえること自体から考え直すべきではないかとも思う
「LLMを単なるシーケンス生成関数にすぎないのに人間のように扱う議論が続くのはおかしい」という主張には同意できない
人間も生得的にある種の関数の一覧に従って動いているという点では変わらない
LLMは非常に大きくなった関数近似システムであり、自然は数億年にわたる生存競争で一部だけが生き残る進化を通じて、関数の種類を変え続けてきただけだ
人間について数学法則の外に何か特別なものがあると信じる人もいるだろうが、それは神秘主義的立場（あるいは超自然的信念）を超えない
そうした考えがないなら、結局人間の経験は関数および関数近似で説明可能だと思う
関連: Universal Approximation TheoremのWikipedia
「数学法則を超えた人間固有の何かがあると信じるのか」という主張自体が論争的だ
人間についての経験や言語で表現できる領域の中には、物理学的説明の範囲を超えるものが確かに存在する
たとえば、赤色を経験したことのない白黒視覚者は、赤色の主観的経験をどんな説明体系によっても持つことができない
人間の言語が指し示す現象の一部は、いまだに物理学的説明の外側にあると思う
著者は人間意識について「関数では説明できない何かがある」という立場を持っているようだ
人はこうした考え方（宗教、哲学的前提など）を持っていて、そうした精神的要素を議論の外に出せと言っても大して効果がないと経験的に感じる
むしろその前提を受け入れた上で議論を続けるほうが実用的だ
LLMが「中国語の部屋」のように意味は分からず翻訳だけする機能にすぎないことを認めつつも、実際には人間のように見える行動をし続ける
人間的なたとえが技術的に誤っていても、システムの行動を予測し効果的に使うには、そのようにたとえるほうが実際には有利だと思う
逆に人間についての議論では、関数と異なる点を論外にしてしまえばよい
"人は関数と劇的に異なる……人間がこのシーケンスを生成する確率は計算できない"と言うが、たとえば特定のポップカルチャーの文句を投げれば、特定の年齢層のアメリカ人のかなりの割合がその続きを歌う確率が高いと予測できるように、人間も特定条件では確率計算が可能だ
「人間は線形代数によって推論や分析的思考プロセスを最もよくモデル化できた」と言える程度までしか主張できないと思う
結局、LLMが単なる「モデル」以上であることを期待するのは、さまざまな業界・生計・キャリアなど利害関係に支えられた信念的期待だ
それでも、線形代数モデルがなぜ完全な「生命」あるいは「生命性の一側面」を完全にモデル化できるのかについて、実質的な根拠はない
ゲーデル的な例として「ゾンビ猫」が出せるなら、その基底の確率モデルを超越的なものとみなす理由はないのではないかとも思う
「Universal Approximation Theorem」への言及について、ますます優れたルックアップテーブルが関数近似に使えるという意味に拡大解釈している
ある状況では、LLMが確率ベースの単語生成器であることを明確に覚えておくのは非常に重要だと感じる
しかし日常的な用途では、むしろ人間的にたとえて接するほうが実際の利用ではるかにうまく機能する
人間的に扱うことで、必要な答えを簡単に引き出せる実用的な抽象化として働く
完璧なたとえではないが、たとえば「LLMがJSONフォーマットを出せなければ人が死ぬ」と脅した事例は、単純な勾配降下として捉えるだけでは到底思いつかない行動だ
人は周囲のあらゆるものに人間性を付与する傾向がある
無生物（船、車など）や動物はもちろん、植物にまで話しかけることがあり、本能的にそうしている
たいていの人は自分の車が自分を愛していないこともよく分かっているが、対話型LLMには本当の意識があると信じる人も少なくない
LLMは人間の脳と違って「学習」や「適応」をしない（少なくとも現時点では）し、訓練後は読み取り専用の存在だ
それにもかかわらず、LLMは意図的に人間的コミュニケーションを模倣するよう作られている
だから投影や人間化は避けられない
まだAGIではないかもしれないが、人間の学習方法から着想を得ているのは確かであり、ここまで来ただけでも興味深い結果だ
短期的には、LLMは対話型インターフェースとしてはるかに使いやすい実用ツールの地位を確立し、実際に人間が使いやすいコミュニケーション方式として設計されている
そのおかげで特別な教育なしでも、誰でもすぐに効果的に使えるようになった
「人は何かに人間性を付与する」という言い方には同意しない、用語の混同だ
無生物に対して擬人法的表現(personification)をすることと、実際の人間性や意識を投影する人間化(anthropomorphism)は異なる
実際に車が生きていると思っている人はほとんどいない
一方でLLMに意識があると信じる人は多い
関連説明: anthropomorphism vs personification
「LLMに意識がないのは脳のように学習や適応をしないからだ」という言い方は、十分条件でも必要条件でもない
意識があるために学習は必須ではないが、時間の流れの認識や短期記憶は必要かもしれない
重度の認知症患者でも学習能力はほとんどないが、「今ここにいる」という主観的意識はある
つまり、短期記憶がごくわずかに残っているだけでも意識は可能だ
学習するだけで意識が生まれるわけでもない
さまざまなリアルタイム学習ソフトウェアがあるが、主観性はまったくない
私の疑問は、もしかすると人間の脳もLLMのように動作しているのではないか、という点だ
脳も進化的変化と突然変異、進化的報酬アルゴリズムを通じて特殊な構造を作り出してきた
その構造が結局、予測と行動によって生存と繁殖を最大化し、その副次的な下位目標（道徳、価値、意識など）が枝葉のように進化して複雑さを帯びたのだ
結局、十分な計算能力があれば、このすべての構造（そして世界と時間の流れ）も変換可能な決定論的関数として表現できるのではないかと思う
生命の発生自体がすでに不可能に思えるほど低い確率から現れた現実を考えれば、今あるあらゆる「驚異」も結局は数学的システムに還元できるのではないかと思う
"人間の脳がLLMと同じかもしれない"という問いに対して、あなたは会話のたびに前の内容を全部忘れるのかと聞きたい
周囲の人と話すたびに、相手が毎回すべてを正確に言い直さないと文脈が分からないのだとしたら、今すぐ専門家の診察を勧める
記憶喪失を扱った映画Memento(2000)が必要になるだろうから、ぜひ参考にしてほしい
重要なのは、私たちは機械に感情・道徳・動機のようなものを付与してはいけないということだ
機械にはそういうものはまったくないのだから
人間の脳との類似点はかなりあると思う
LLMは、少なくとも80年以上続いてきた人間の脳の計算モデリング研究の最新成果だ
LLMの最も強力な点は、失敗しても何の損失もないことだ
プロンプトを変えて繰り返すか、再訓練すればよい
人間は一度のミスで命が危険にさらされることもある
LLMのミスに深刻な結果はなく、要求を変えればいいだけだ
「人々がLLMに意識、倫理、価値、道徳を与えた瞬間から混乱が始まる」という意見がある
こうした論争では具体例が加わって初めて生産的な議論が可能になるのに、現実には会話がすれ違うばかりだ
たとえば「モデルはXを望むが、Yが誤りだと知っているのでZを好む」といった言い方を聞くと、一方はそれをモデルに意識や価値を与えたものと解釈し、他方は外部行動を比喩的に表現しただけだと受け取る（「水は下に行きたがる」と言うのと同じ）
結局こうした言葉遊びは、「私は哲学的に説明したい」vs「私は潜水艦の話だけしたい」という平行線に流れてしまう
生産的な議論につながりにくい構造だ