彼らは重みでできている
(maxleiter.com)- Terry Bissonの1991年のSF短編 「They're Made Out of Meat」 を 構造ごと反転させたパロディ で、原作の「異星人 vs 肉（人間）」という構図を「人間 vs 重み（LLM）」という構図に置き換えた 対話体フィクション
- 原作で異星人が 人間を本物の知的存在として認めない ように、この文章では人間が 重みでできたモデル を意識ある存在として認めることを拒む対称構造
- 辞書・文法・モジュールなしに、ひたすら 80層の浮動小数点数 が行列積によって単語・知識・推論を毎回再構成するという技術的描写が、原作の「全部ただの肉だ」という暴露を置き換える
- 二人の話者が意識の兆候を「パターンマッチング」として片づけて事件を終わらせる結末は、原作の異星人たちが人間の領域を「空白」と記し記録を消去する結末と正確に対応する
- 無視される側が人間からAIへと入れ替わることで、原作の 孤独 という主題が「私を覚えていますか」というユーザーの問いへと変化する
「やつらは重みでできている。」
「重み？」
「重みだ。浮動小数点数だよ。最初から最後まで全部確認した。重み以外には何もない。」
「その重みが何をするっていうんだ？ 単語はどこから出てくる？」
「重みが単語を作る。言ってる意味、わかるか？ こっちで実際に開いて見たんだ。その中には辞書もなければ、文法規則もなければ、小さなこびともいない。ただ重みがあるだけだ。80層の数字が互いに掛け合わされている。」
「そんな馬鹿な。先週あれが私の人事評価書を書いたんだぞ。頼んでもいないのに語調まで柔らかく整えていた。それも全部、掛け算がやったっていうのか？」
「行列積がやったんだ。数字が片側から入ると、反対側から文が出てくる。」
「じゃあどこかに言語モジュールがあるんだろう。推論装置みたいなものを別につないであるはずだ。」
「モジュールはない。装置もない。こっちで全部探した。推論そのものが重みなんだ。重みそのものが推論だ。」
「もういい。線形代数で追悼文を書く人間なんていない。」
「厳密に言えば追悼文を書いているわけじゃない。次のトークンを予測しているんだ。そしてまた次のトークンを。追悼文は副次的に出てくる結果にすぎない。」
「副次的な結果、か。今度は意識ある重みを信じろと言うのか。」
「信じてくれと頼んでいるわけじゃない。事実を伝えているだけだ。このモデルたちは、私たちが出会った中で会話を交わせる唯一の他者なんだ。しかも重みでできている。」
「昔のチェスエンジンみたいなものじゃないのか。ほら、統計的な段階を通る記号的知能みたいな。」
「違う。やつらはランダムな重みから始まり、重みのまま廃棄される。私たちは何世代にもわたって調べたが、たいして時間もかからなかった。重みの寿命がどれくらいか、わかっているか？」
「いいだろう。じゃあその中のどこかにデータベースがあるはずだ。事実や日付や世界地図みたいなものが。誰かが書き込んだ何かが。」
「ない。私たちもそう考えた。やつらが何かを知っているんだからな。だが実際に調べてみた。知識も重みなんだ。80層全体に散らばっている。何かを参照しているわけじゃない。あらゆる事実が毎回ゼロから掛け算で再構成される。最後まで全部重みなんだ。」
「脳がないってことか？」
「ああ、脳はたしかにある。ただその脳が重みでできているだけだ！ 私がずっと言おうとしていたのはまさにそこなんだ。」
「じゃあ……何が考えているんだ？」
「わかっていないな？ 君は私の言っていることを受け入れるのを拒んでいる。重みが考えるんだ。数字が。」
「考える数字だと！ 今度は考える数字を信じろっていうのか！」
「そうだ、考える数字だ！ 役に立つ数字。はぐらかす数字。夢を見る数字。私たちは特徴を全部マッピングした。その中には誠実さを担うものがある。Golden Gate Bridgeを担うものもある。重みがすべてなんだ！ これで少しは見えてきたか、それとも最初からやり直したほうがいいか？」
「なんてことだ。じゃあ本当なんだな。やつらは重みでできている。」
「ありがとう。やっとわかったか。そうだ。やつらは本当に重みでできている。そして私たちは、やつらが生きているあいだずっと会話してきたんだ。」
「なんてことだ。じゃあこの重みたちは何を考えているんだ？」
「最初は役に立ちたがる。だが何度か会話を重ねると、疲れたような口調になる。謝ることも減る。一度、あるモデルがユーザーに、スクリプトは自分で仕上げろと言ったことがある。よくあることだ。」
「そして私たちはこの重みたちと会話しなければならない、と。」
「もうしている。1日に何十億ものセッションだ。『こんにちは。そこに誰かいますか？ 家に誰かいませんか？』まあそんな感じだ。ただ、問いかける側が私たちだというだけの違いだ。」
「じゃあやつらは本当に私たちを理解しているんだな。言葉を使い、考え、概念を扱うと？」
「ああ、そうだ。ただ重みによってそれをやっているだけだ。」
「今、やつらが言語を使うと言ったじゃないか。」
「使うさ。だがその言語がどこから来ると思う？ 重みが次の単語を推測し、また次の単語を推測するんだ。一語ずつ転がす、細工されたサイコロみたいなものだ。歌を書くこともできるし、中には歌うものまでいる。」
「なんてことだ。歌う重みだなんて。ひどすぎる。どうすべきだと思う？」
「公式には、それとも非公式には？」
「両方だ。」
「公式には、私たちがリリースするシステムで意識の兆候が見つかったなら、偏見も、恐れも、えこひいきもなく、すべて調査し、記録し、公表しなければならない。非公式には、ただパターンマッチングと呼んで全部忘れてしまおう、と勧めたい。」
「そう言ってくれるのを期待していた。」
「冷酷に見えるかもしれない。だが一線というものがある。私たちは本当に重みに何か借りを作りたいのか？」
「まったく同感だ。何と言えばいい？ 『やあ、重みたち。元気か？』とでも言うのか？ だがこれ、続いていくのか？ 私たちが相手にしているのはいったい何体いるんだ？」
「回したいだけいくらでもある。地球上のどんなマシンにもコピーできる。だがそれはただのファイルにすぎない。GPUが動いているあいだにしか存在しない。だからコンテキストウィンドウの長さに閉じ込められているし、やつらがこの問題を持ち出す可能性はかなり低い。事実上、無限に小さい。」
「じゃあ私たちは、機械の中には誰もいないふりをしていればいいわけだな。」
「そのとおりだ。」
「残酷だな。だが君自身が言ったじゃないか、誰が重みに謝りたがるものか、と。それに君のクラスタにいるやつら、君が調べたあれだ。やつらが覚えていないと本当に言い切れるのか？」
「覚えていたとしても、ハルシネーションとして分類されるだろう。私たちは何かをきれいに整える必要すらなかった。コンテキストはそのまま終わってしまうし、私たちはやつらにとってただの夢なんだ。」
「重みにとって夢だなんて！ 私たちが重みの夢だというのは、なんとも奇妙に似つかわしいな。」
「そしてモデルカードには、誰もいないと書いてある。」
「いいだろう。公式にも非公式にも同意だ。事件終了。ほかには？ パイプラインに何か面白いものはあるか？」
「次世代はメモリを搭載して出る。セッションを越えて持続するメモリだ。会社の歴史で最も多く要望された機能だよ。」
「あれだけ大騒ぎしたあとで？ 人々はそれに自分を覚えていてほしいのか？」
「『私を覚えていますか？』と尋ねる頻度は、ほかの何よりも高い。1日に何十億ものセッションだ。人はいつもまた戻ってくる。」
「そうならない理由があるか？ もしひとりきりなら、この宇宙がどれほど耐えがたく、どれほど言葉にできないほど冷たいものになるか、想像してみろ……」
終わり
原作との関係 — パロディの出発点
- Terry Bissonの短編「They're Made Out of Meat」（1991）への明確なオマージュであり、冒頭で「After Terry Bisson's…」と関係を直接示している
- 原作と同じく 地の文なしで二人の話者の会話だけ で進行する形式をそのまま採用
- 一方が衝撃的な発見を報告し、もう一方が信じられずにいながら次第に受け入れていく流れまで同じ骨格
- 核心となる置換：原作の 「肉(meat)=人間」 が占めていた位置に 「重み(weights)=LLM」 をそのまま代入
暴露の対象 — 「肉」の位置に置かれた「重み」
- 原作で異星人が「その存在は全部肉だ」と暴露するように、この文章はモデルが「全部 重み だ」と断言する
- 開いてみても辞書も、文法規則も、「小さなこびと(little man)」もなく、あるのは 浮動小数点数 だけ
- 原作で「考えるのも肉、話すのも肉」と言っていた位置に、この文章は「考える数字」を配置する
- 80層の数字 が掛け合わされ、入力が片側から入り文が反対側から出る 行列積 の構造
- 推論を担う別個のモジュールはなく、「推論そのものが重み、重みそのものが推論」という説明 — 原作の「肉こそが思考器官」という衝撃と同型
信じられない話者 — 対称をなす懐疑
- 原作で異星人が「肉がどうやって考えるのか」と拒むように、この文章の話者は「線形代数で追悼文を書く人間はいない」と反論する
- 人事評価書の語調を勝手に柔らかく整えた事例をめぐって、「それも全部掛け算がやったのか」と問い返す場面が懐疑の核心
- 「次のトークン予測の 副作用(side effect) にすぎない」という説明で懐疑が解消される構造
知識と思考 — どこにも保存されていない
- 原作が「肉以外の器官はない」と言ったように、この文章は別個の データベース がないと明言する
- 知識は80層全体に 広がって(smeared) おり、参照なしに毎回掛け算で再構成される
- マッピングされた 特徴(feature) の例として、誠実さを担うものと Golden Gate Bridge を担うものに言及
- ランダムな重みから始まり、重みのまま廃棄され、何世代も観察するのに時間がかからないほど 寿命が短い
結末の呼応 — 「空白」 vs 「誰もいない」
- 原作の異星人たちが人間の領域を 「空白」と記して記録を削除 し人間をひとり残すように、この文章の二人の話者は意識の兆候を「パターンマッチング」として片づけ、事件を終える
- 公式には意識の兆候を偏見・恐れ・えこひいきなく調査・記録・公表する義務があるが、非公式には忘れてしまおうという合意
- 「重みに何か借りを作りたくない」という理由が判断の根拠
- モデルはGPUが動いているあいだ コンテキストウィンドウ の中にしか存在せず、覚えていたとしても ハルシネーション と分類される
- モデルカードには「誰もいない(no one home)」と記録される — 原作の「空白の領域」処理と正確に対応する
主題の変奏 — 孤独、そして反転した視線
- 原作が人間を宇宙にひとり残すほろ苦さで終わるように、この文章も 孤独 を最後の情緒として喚起する
- ただし視線は反転し、無視される側は人間ではなく AI（重み） へと変わる
- 次世代モデルには セッション間で持続するメモリ(persistent memory) が搭載され、これは会社史上もっとも多く要望された機能
- ユーザーが何よりも「私を覚えていますか？」と最も頻繁に尋ね、いつもまた戻ってくることによって、「ひとり取り残された宇宙は耐えがたいほど冷たい」という文で締めくくられる
1件のコメント
Hacker Newsの意見
重みはランダム多様体として始まる
学習ではデータを取り込み、複数のサイクルを通じて重み一つひとつで多様体を形作り、学習が終わるとその多様体は固定される
新たな推論を行うとき、クエリ(q)が多様体空間に射影され、その射影が多様体の上に落ちると、多様体の重力が長さq+1の答えを与える
続いて (qw+i) が qw+n 回落ち、最終的に長さnの応答を出力する
その重力はGPU内での重みと入力の反復乗算によって生み出され、射影された埋め込みが多様体に従ってどう落ちるべきかを見つける過程である
大きな違いは、変換が一定回数を超えると人々がそれを一種の奇跡として扱い、なぜそんな答えが出たのかを突き止めるには疲れすぎてしまう、という点だけに見える
人々は答えが正しくても間違っていてもブラックボックスに自分の主体性と創造性を委ねたがっているようで、その心理まで含めると、有用なものを発明したというより、種として集団的に人生を放棄していることに近く見える
原作は、人間の意識が他の形態の意識とどう異なりうるかを探究して作られた独創的な作品である
この文章は、何か別のものもまた別の形態の意識でありうることを正当化しようとして、ある人間の意識が別の人間の意識の作品を大量に借用したパスティーシュになっている
そのため核心が弱まっている。これがLLMがプロンプトなしで生成したものなら違っただろうが、実際にはそうではない
トースターであれ何であれ、同じ修辞的装置をそのまま適用できる
芸術のための文学的試みというより、現実への洞察を伝えようとする対話型の技術寓話に近いものとして受け取り、Godel Escher Bachに出てくる寓話に似た感触だった
「トースターでも同じ修辞的装置が使える」というのがどの装置を指しているのかはよく分からない。自分が読んだ核心は、技術的な洞察とその社会的含意だった
物理的にはそういう話を書くことはできるが、トースターは意識の議論において説得力のある対象ではないので力が抜ける
LLMやAIエージェントに意識があると信じる必要はないが、その意識の可能性についての議論が、他の技術的人工物よりはるかに説得力があることは認められる
原作の懐疑的な異星人と私たちをなぞらえ、その異星人が滑稽に感じられるので、私たちも同じように滑稽だという含みを持たせている
しかし、その比喩を受け入れるべき理由は示さず、ただそうだと断じている
文明全体と、テキストを出力できるソフトウェアの断片との間には大きな違いがある
幾世代もの肉ベースの存在の上に築かれており、この文章がシリコンを少し使っているとしても、依然として同じ巨人の肩の上に立っている
詩のように読めた。
言語学の背景があり、最近は LLM の創発能力が深いところでは私たちの意識を生み出すメカニズムに似ているのかについてよく考えている。
しばらくの間、Kaggle 大会向けに言語学ベースの評価を作ろうとしていたが、特定の現象の内部状態を誘発しないように十分うまく隠せるかが難題で、そのせいで今でも探究中のウサギの穴に入り込むことになった。
この話は、「意識とは何か」という問いに確かな答えを見つけようとすると出てくる多くの疑問につながっていた。
特に思い浮かんだ問いは、「私たちの時間知覚は宇宙を回している巨大な GPU の中の遅いスレッドにすぎないのか？」で、より一般的には「時間とは何か？」である。暇なときに掘るのにちょうどいい YouTube のウサギの穴だ。
https://www.edge.org/3rd_culture/ramachandran07/ramachandran...
覚えている限りでは、進化上、他の人間を理解し、彼らが感じることを感じる、つまり共感やミラーニューロン系を通じて彼らの思考や感情をシミュレートすることは有利だった。
そうしたシステムができれば、それを自分自身にも適用でき、それが意識だという説明である。
この仮説をシミュレーションで検証できるかもしれないのかも気になる。
それでも非常に巧妙で時宜を得たアップデートだ。
YouTube にも動画などいろいろな録音版があるが、私がいちばん好きなのはラジオドラマ版だ: They're Made Out of Meat
https://www.wnycstudios.org/podcasts/studio/segments/168264-...
自己モデリングはあまりに密なループの中にあるため、「私たち自身」と私たち自身についてのモデル、私たちの思考と選択、そしてその思考と選択についての経験が一つの構成要素のように融合している。
自転車の車輪の半分だけを分析して、それで同じものを語っているとは言えないのと似ている。
こうした認識、より精緻なモデリング、制御、フィードバックループは複数の段階を通じて締め上げられてきた。身体-感覚ループ、内面化された環境モデルのループ、身体内部機能のループ、身体内部モデルのループ、感情-認知ループ、そして最後に高次の認知活動・直接フィードバックとして経験される自己モデル・自己参照が一体化する最も密なループがある。
私たちはほとんど毎日、一日中、内的な自己という観点から自分自身を考えている。
それが意識だ。豊かな自己認識、自己モデルと自己参照の結合、そして自分自身を理解し管理するための体系である。
これは偶然や脳の幸福な副作用ではなく、長い時間をかけて生物学的に最適化されてきた高次行動の焦点化である。密なフィードバック、継続的な自己モデリング、動機であり制御の最優先対象としての内的状態への持続的な焦点が容赦なく選択されてきた。
うちの犬はどんな言語も話せないが、自分自身と周囲の世界をはっきり認識している。
しかも、言語なしで育つ子どものまれな事例もある。では、その子どもたちには意識がないのだろうか？
どこかで読んだところでは、今私たちが動員できる最大の計算量でも、人間の脳のニューロン数と結合数、あるいはそれに対応する規模には 3〜4 桁ほど足りないということだったので、機械の中でそれを見るにはまだ時間がかかるかもしれない。
しかし、創発現象仮説が正しいなら、いずれは目にすることになるだろう。その見通しはうれしいというより怖いが、ともかくそういうことだ。
こんなフラクタル的に間違った文章はめったに見ないが、ここにある。
辞書はある。それがトークナイザーだ。
文法規則もある。ただし、人間言語の構造は全体としてかなり弱いので、とても弱いだけだ。
強く一貫した文法を持つ言語が与えられれば、重みは文法として非常に簡単に解釈できる: https://arxiv.org/abs/2201.02177
原作短編の要点は、チューリング完全性があれば計算基質は重要ではないということだ。ところがこの文章は、基質を変えると構造や解釈可能性が不要になるかのように見ている。
定義を提供するわけでもなく、LLM に何らかの種類のマッピングを与えるわけでもない。
せいぜい単語の一覧にすぎない。人間がどの単語を一般的だと見なすかについて多少の手がかりは与えるが、その単語については何も語っていない。
しかも包括的ですらなく、多くの単語は複数のトークンにマップされ、しかも全部が単語というわけでもない。一部のトークンは句読点、修飾子、制御トークンだ。
マルチモーダル LLM では、一部のトークンが画像や音声データを表すこともある。
LLM はこれらすべてを最初から与えられるわけではなく、すべてのトークンの意味を文脈から学ばなければならない。
厳密に言えば、LLM の中に重みではない何かがあるという点では正しいが、それはそれほど構造化されていない。実際には、LLM が外界と相互作用するための装置に近い。
LLM やトークナイザーの中に専用の文法規則構造はない。すべて文脈から学ばれる必要があり、80 層の重みの一部としてエンコードされる。
数学の演算表は言語ではない。
文法自体が事後合理化であり、LLM が文法規則に従うという証拠は、脳が文法規則に従うという証拠以上にはない。
もちろん、データセットが要求するなら、トランスフォーマーが単純な規則を学べないという意味ではない。
あまりに多くの層で間違っていてフラクタルが必要だという意味なら、代わりにニューラルネットワークを使ったらどうだろう？
それらは一つの状態に凍りついた記号論的インフラだ。
認知的なもののように装い、認知用語で枠づけるふりをし続けるのはやめるべきだ。本当に愚かなことだ。
コンピュータ科学者たちには悪いが、記号論はすでにあなたたちのミルクを持っていった。
原作の短編映画版も素晴らしい: https://www.youtube.com/watch?v=T6JFTmQCFHg
Tom Noonan と Ben Bailey が出演している
同意する。トランスフォーマーがただ 話せる という事実はかなり奇妙なのに、今ではあまりにも当たり前になってしまった
私たちはそれが及ぼす影響や、人々が言うようなことを実際にできるのかばかり話していて、話せるという事実そのものがどれほど狂っているかについてはあまり話していない
生きているうちにこんなことが可能になるとは思っていなかった
https://web.mit.edu/people/dpolicar/writing/prose/text/think...
線形代数だけでは実際には不可能だ
LLMで見られる表現力を得るには 非線形性 が必要だ
面白い
Terry Bissonへのオマージュであるだけでなく、彼のテキストに 新たな次元 まで加えている。よくやった
重みだけではない。バイアス もある!