知識労働のシミュラークル（虚像）
(blog.happyfellow.dev)- LLMが表面的な品質を完璧に模倣することで、知識労働の実際の品質を判断していた代理指標（proxy measure）が無力化されつつある
- 知識労働は本質的な品質評価が難しく、文書の形式的な完成度のような代理指標に依存してきたが、LLMはこの代理指標を容易に通過してしまう
- AIが作成したコードやレポートは見た目には専門的だが、実質的な正確性や有用性は検証されないまま通過してしまう構造
- LLM自体も「正解か」ではなく「もっともらしく見えるか」で訓練されており、同じ代理指標の問題を内在している
- 数十億ドルを投じて作られたシステムが、実際の業務ではなく業務の虚像を遂行する道具として使われているという警告
代理指標（Proxy Measure）の役割と限界
- 市場分析レポートを受け取ったとき、日付の誤り・誤字脱字・グラフの重複といった表面的な欠陥だけでレポート全体を破棄することはよくある
- 本当に関心があるのは、そのレポートが現実を反映し、良い意思決定につながるかどうかだが、これを直接検証するコストは高い
- 表面的な品質は検証コストが低く、実際の品質と十分な相関があるため、代理指標として機能してきた
- あらゆる知識労働にこの問題は存在し、他人の仕事の品質を客観的に判断するには多大な労力が必要なため、代理指標に大きく依存する構造になっている
LLMが代理指標を無力化したメカニズム
- 代理指標はインセンティブの不一致（misaligned incentives）を抑制する役割を果たしてきたが、LLMがそれを壊してしまった
- LLMは実際の作業の品質を再現しないままでも、文章スタイルをシミュレーションすることに長けている
- ChatGPTに市場分析レポートを依頼すると、その成果物はトップクラスのコンサルティングファームの専門家が書いたもののように見える
- ソフトウェアエンジニアがAIで数千行のコードを書くと、数秒ざっと眺める程度では高品質なコードのように見える
- 同僚たちもAIにコードレビューを任せ、見つかった問題を機械的に処理することで、作業の儀式（ritual）だけが維持され、実質的な品質は保証されない
LLM自体に内在する同じ問題
- LLMの訓練過程そのものも、「答えが真実か」または「答えが有用か」を評価していない
- 訓練基準は「訓練データに出てきそうな答えか」または「RLHFの評価者が満足する答えか」に当たる
- 結果としてLLMは、高品質な成果物に見える出力を生み出すよう最適化されており、その最適化能力は非常に高い
現在の状況に対する警告
- 数十億ドルを投じて作られたシステムが、業務のシミュラークル（虚像）を遂行するために使われている
- 企業はトークン消費量のリーダーボードで1位を取ろうと競争している
- 作業者がLLMの生成物を多く生み出すほど、その生成物を深く見直す時間は減っていく
- 最後に残るのは、ざっと確認して「LGTM」を付け、そのあと17回目のClaude Codeセッションを開くことだけだ
1件のコメント
Hacker Newsの意見
記事で述べられているように、誤字脱字や些細なミスのような代理指標で人間の知識労働の質を測りやすかったという主張も、そうした手がかりがAIにはないのが問題だという主張も、どちらにも完全には同意しない
概念的にはひどいが事実関係は合っていて、形式も整っている人間のアウトプットはもともといくらでもあった
10年間企業顧客と仕事をしてきた感覚では、pre-LLM時代が高品質な知識労働の黄金期だったとはまったく思えず、その頃からすでに知識労働の動いているシミュラークルのようながらくたがあふれていた
人の低品質な成果物には、無知、時間的圧力、利己的な目標といった原因がたいていあり、その原因はかなり一貫している
慎重だが分かっていないインターン、知識は豊富だが寝不足で obvious な点を見落とすシニアのように、信頼のパターンを掴める
ところがAIは、一度に論文実装を完璧にこなしながら、同じ実行の中で新入生レベルのミスをすることもあり、極端な有能さを見せる機械を相手に完全な無能を前提にしたレビューをしなければならないという、直感に反する状況が生まれる
誤字脱字や基本的な事実誤認があれば簡単に落とせたが、そうしたものがないからといって品質が高いことにはならない
たいていこうした検査は最初の関門にすぎず、それがすべてではないが、その関門を通れば本当の問題はむしろ見えやすくなる
コードでも reasoning の前にlintとスタイルを先に整えるのと似ている
しかも本人はその99%がAI生成だと気づいていないので、自分が見抜けた100%のパターンだけを見て、AI文書は全部弾けると錯覚しやすい
もともと多くの知識労働は、別の何かの代理物だった
誤字がなく形式が整っているという品質は、アイロンのかかった白いシャツやネクタイのように、主として敬意のシグナルであり、実際には誰も深く読まない長文書も多かった
結局それは犠牲と服従を象徴的に示す方法だったのであり、LLMはそのシグナル体系を消しつつある
内容の質を昔からまともに見ていなかったのなら、そもそもその内容はそれほど重要ではなかったということだ
学界ではすでにAIレビューコストの問題が表面化しているが、記事で述べられている理由とは少し違う
粗雑な仕事の目印が消えることが核心というより、AIを使って作られた成果物を丹念にレビューするコストが、人間だけでは支えきれないほど大きくなっている
たとえば経済学ジャーナルでは補遺が数百ページに及ぶこともあるが、人が読める時間には限りがある
他分野のジャーナルでも、新規投稿数の増加だけでなく、各論文を検証するために必要なレビュー強度まで含めて圧力を受けているのか気になる
その下のレベルでは、何が正しいのかと、何が正しそうに見えるのかを区別できないこともほとんどだ
AIを使っていると、理解を cargo-cult していると感じる
何かを理解した表面だけを再現し、実際に理解するために必要な時間と労力を自分から奪っている
ClaudeにSnowflake Cortex、統合されたコード、ドキュメント、Jiraチケットを全部食わせれば、何でも聞けてすべてがはるかに良くなると信じている
だがその執着は大きな成果を生まず、何度かは技術の不完全さを自分で大きく味わってもいる
みんなが agentic workflow と巨大な社内Wikiのビジョンを語る一方で、私はAIで配送速度はかなり上げつつも、大げさな冒険には時間を使わないので、継続して成果を出せている
以前は会社のチャットボット導入を批判していた人たちが、今では何兆もの .md ファイルや skill ファイルを集めて自分たち専用のチャットボットを作るためにトークンを燃やしているという皮肉もある
本当に懸念しているのは、組織レベルの実際の知識がこうした近道の中で失われることだ
簡単なサンプル依頼や概念学習の質問ならよいが、現在のツールやインフラをレビューしてデプロイ速度を5倍にし、Web調査を行い、組織導入の提案書と5年の費用便益分析まで一度に作れ、というようなプロンプトは人を自ら弱くする
最近は誰もがClaudeの作った提案書をあちこちに投げ、少し自分で掘ってみたり、アーキテクトやシニアエンジニアと一緒に探索したりする過程を飛ばしている
その結果、多くのことを浅くしか理解しなくなり、深く問い詰められるとうまく説明できず、AIが出した答えを確定的な戦略のように信じて、異議を受けつけようとしない
より経験のある人から学ぶ機会すら、学習経験として見なくなる
結局のところ、人間の脳そのものが今なお最もすごい技術の一つだと信じているし、この巨大な人工図書館をなぜわざわざ自分の外に作ろうとしているのかと考え直してしまう
Bret Devereaux が Game Of Thrones批評 で述べているように、エリート視点の世界観はエリートにだけもっともらしく、ユートピアのように聞こえる
実際の労働から切り離されたこうしたバブルはいずれ大きく破裂するだろうし、AIで仕事を失った大衆がパンも食べられないと叫ぶときに、ケーキでも食べろと言うような態度なら、フランス革命級の反動すら想像してしまう
だが、深く理解しようとするときを助ける道具としては、むしろAIほど優れたものもあまりない
結局、何かを理解するということは、自分でやってみることとほとんど同じだ
理解できないこと自体は構わないが、その場合は代理指標があろうとなかろうと、結局は他人の理解を信頼するしかない
あまり働かず、より多くを信頼する方向はある地点までは可能でも、それを超えると将来の仕事が危うくなる
simulacrumは本当にいい言葉だだからこそ、中間管理職たちがLLM至上主義の最初の信徒のように見えたのだと思う
中間管理職には、その役割の本当の熟練とは別に、知識労働をさらに抽象化し続けるよう促すインセンティブが多くあり、その抽象化されたレイヤーはembedding spaceの中で特によく記述されるように思える
AIコードは実際以上に悪く見えることが多い
過度に冗長で、紛らわしく、fallbackが大量に入っているので、問題が起きると無数の try/catch を通って流れ、スタックトレースを見当違いの場所へ送ってしまう
それでも純粋な機能だけで見れば、見た目が似た人間の書いたコードよりうまく動くことが多かった
人間にとってもLLMにとっても推論しづらいからだ
こういうブログ記事のスタイルがもっと増えてほしい
長さも適切で、メッセージもよく伝わり、物語性もある
最近は小説みたいな長さのLLM産AIスロップが多すぎるので、なおさらありがたく感じる
業界にいる多くの人にとって、これはかなり自明な流れに見えている
問題は、賭けられている金が大きすぎて、大手プレイヤーが望むものを押し通し続けていることだ
原子より小さな粒子は実はひとつひとつが宇宙であり、その性質が、その宇宙を支配していた存在や、彼らが消えた後も動き続ける自動化の痕跡を反映しているのではないかと想像してしまう
エントロピーを収穫しながら自らを増殖させ続ける自動機械のようなものだ
私たちは今、自分たちより大きな力を作り出しており、どこかで後戻りできない地点に達するのかもしれない
数多くの亜原子宇宙と文明が盛衰し、自律的な擬似知能技術に飲み込まれ、その結果が巨視的には粒子の振る舞いとして現れている、といったイメージが浮かぶ
今の私たちも結局ひとつの粒子を作っていて、私たちの集団的選択が、私たちが属する上位宇宙にごく小さいながら意味のある影響を与えるのかもしれない
誰かの出力は、常に別の誰かの入力になる
LLMで量を増やせば、次の人はまたLLMでそれをパースして自分の出力を作る
そうして連鎖が続き、最終消費者が不満を述べたときには、いったいどこで間違ったのか誰にも特定できなくなる
最後の消費者だけが目の前にいて、他はみな7段階のプロキシの向こうに隠れているのだから