LLM批判者たちは正しい。それでも私はLLMを使う
(theocharis.dev)- 著作権・環境・倫理の問題、低品質な生成物、オープンソースの信頼崩壊、ジュニア育成の弱体化、地政学的な依存を認めつつも、LLMを思考の質を高めるツールとして使い続けている
- LLMは既存の考え・意見・構造を増幅するため、人間の判断がなければ流暢なゴミを大量生産するが、十分な思考と責任があれば、より少なく、より良い成果物を作る助けになる
- 外部からは人が実際に悩み抜いたのか確認しづらいため、成果物の価値は結局信頼と評判に左右される。公開の場で一字一句恥じることなく読めるかどうかが、AI slopを分ける基準になる
/grill-me、BasecampのPitch、批判専任のサブエージェント、Ralph Wiggum loop、想定API・UXを先に幻覚させる方法によって、LLMの同調性と幻覚を逆手に取る- 良い結果と悪い結果を見分けるユーザーの専門性が不可欠であり、正解を検証しにくい領域で、専門家や人間の判断なしにLLMを使うと、大規模なslop生産につながる
批判と利用が共存する現場
- BerlinのLocal-First Confでは、LLMを批判する発表に大きな拍手が送られる一方で、聴衆の多くがClaude Codeを開いていた
- Flaskを作り、Sentryの初期チームに参加したArmin RonacherはEarendilを設立し、オープンソースのコーディングエージェントハーネスであるPi.devを開発している
- マシンエンティティ構築についての発表の後、Pi.devにLLM生成PRが殺到していることについて質問されると、ほぼすべてのPRとIssueを自動的に閉じていると答えた
- ただし、PRを開くことを諦めるべきではなく、最終的には人の個性が現れるとも付け加えた
- Earendilの目的ページは、AIへと突き進む世界においても人間こそが最高のエージェントだと述べている
- カンファレンス参加者との会話でも、LLMを批判しながら使うという不一致が繰り返し見られ、これは個人だけの経験ではなかった
LLM批判が妥当な理由
- LLMには著作権のある資料、環境負荷、倫理問題が絡んでいる
- NVIDIAとOpenAIを中心に資金が循環する構造は持続しにくく、現在のバブルはいずれ崩壊すると見ている
- 最も一般的な批判である「LLMは大量のslopを生む」は現実と一致している
-
オープンソースの信頼崩壊
- オープンソースリポジトリは、すべての貢献を拒否したり、LLM生成物をふるい落とす仕組みを導入したりし始めている
- LLM以前は、きちんと書かれたPRと説明そのものが、少なくとも数時間の人間の努力を意味しており、メンテナーは新規貢献にも一定程度の時間と関心が注がれたものとしてレビューできた
- 荒らしや低品質な提出物も、数秒で比較的簡単に見分けられた
- 今では誰でも新しいGitHubアカウントを作ってLLMを動かせるため、時間をかけたPRなのか、OpenClawマシンが自律生成した提出物なのかを見分けるのが難しい
- ZigとGentooはLLM生成PRを拒否しているが、実際に生成されたものかどうかを判別しにくいという限界がある
- 信頼を回復できなければ、LLMがオープンソースを深刻に損なう可能性がある
- 可能な対応策として、少数の検証済みの人だけが貢献できるようにし、実際の集まりへの参加などを検証要件にする方法がある
-
ジュニアエンジニア育成の弱体化
- ジュニアがコードに注いだ努力を信頼しにくくなっている
- シニアには、悪いコードが10分でバイブコーディングされた結果なのか、何時間も悩んだものの洞察が足りなかった結果なのか分からない
- LLM以前にもジュニアは良くないコードを書き、シニアがそれをレビューして修正していたが、今では努力と学習プロセスが見えない
- この不確実性は、シニアがジュニアを教える動機を弱める
- 以前は、ジュニアが単純作業を担い、シニアが一緒にレビューしながら成長させるバランスがあった
- 単純作業をLLMに完全に任せられるなら、企業がジュニアを採用する理由も弱くなる
-
地政学的な依存と意見への同調
- 米国や中国が特定地域を関連技術から突然遮断する可能性は無視できない
- 米国政府は2026年6月の輸出規制命令を通じて、米国外の顧客がAnthropicの最新モデルにアクセスできないようにする意思と能力があることを示した
- Anthropicは2026年6月12日の指針に従い、すべての顧客に対してFable 5とMythos 5を突然無効化したと述べた
- Martin Kleppmannは不安定な世界におけるlocal-firstの発表で、欧州と米国が衝突する可能性は依然として非常に低いが、前年はゼロだったと述べた
- LLMを調査ツールとしてだけ使っても、訓練データに含まれる多数派の意見やモデル製作者の政治的信念が、結果に静かに染み込む可能性がある
- 人間同士が会話するうちに特定の言葉や意見を共有するようになる現象に似ているが、会話相手の一方が人間ではない点が異なる
ローカルモデルとオープンウェイトの役割
- LLMを完全になくすことは難しいため、流れを拒むよりも、直接制御し形成するアプローチが必要だ
- ノートPCで動くモデルは、プログラマーを大企業への依存から解放する
- ローカルモデルは改善され続けている
- 補助金が終わり価格が上がれば、オープンウェイトモデルが大手プロバイダーの価格と影響力を牽制できる
- 自社ハードウェア上で動くモデルは、政府が一夜にしてアクセスを遮断することはできない
- AIバブル崩壊が世界経済と企業に大きな損害を与えたとしても、オープンウェイトモデルは残り、プログラマーが代替手段として使える
- Local-First ConfのAI関連発表もローカルモデルを真剣に扱っており、いつでも質問すれば答えてくれるSFの常時AIのような環境を可能にする
人間の思考を増幅するツール
- 複数の発表者は作業の一部をClaude Codeに任せたと公に明かしたが、発表は採択され、シニアや尊敬される参加者を含む聴衆から拍手を受けた
- 違いは、その成果物に自分の評判と信頼性を賭ける人間が存在する点にある
- AI slopを発表すれば、その人は信頼を失う
- 責任を負う人は、LLMに思考そのものを任せるのではなく、自分の考えをより速く、より強く実装するために使う
- LLMはすでに持っている意見・構造・フレームワークを増幅する
- 考えがあれば、より鮮明かつ速く表に出る
- 考えがなければ、中身は空でも非常に流暢な結果が出る
- ブレインストーミング、文法チェック、文章の反復的な改善、代替案の生成、ラバーダックデバッグ、悪魔の代弁者としての役割に役立つ
- 多くの成果物を作る代わりに、より少ない成果物をより高品質にする方法を選ぶ
- 人が読む数文を用意するために、非常に多くのトークンを使う
- LLMは思考プロセスを支援できるが、思考そのものを置き換えることはできない
AI slopを分ける信頼の基準
- 文章は人間が人間に向けて書くものであるべきだが、LLMを活用してすべての文章を書くことと矛盾するわけではない
- AI slopと良い文章の違いは、その背後に人間の思考が存在するかどうかにかかっており、思考は外注できない
- 問題は、人が実際に考えたかどうかを外部から確認できない点にある
- 「AIを使ってよりよく考える」という言葉は、慎重なユーザーからも無責任なAI擁護者からも同じように出てくる
- 増幅されたたわ言も天才的な結果のように聞こえ得るため、結局残るのは信頼だけだ
- 信頼は得るのが難しく失うのは簡単で、LLM時代にはem dash一つだけでも文章全体がAI slopのように見えかねない
- Local-Firstに政治的関心を持つ人の多くが強い反LLM傾向を示しており、LLMで作ったソフトウェアがコミュニティで拒否されるのではないかという懸念もあった
- カンファレンス内でも、LLMを使っている事実を公に話すのを恐れる人がいた
- 2026年6月のトークン費用として約1万ドルを支出した
- その後、Fableは高すぎるため選択的にしか使っていない
- 純粋なコード実行にはOpenRouterやGLM 5.2のような安価なモデルを活用している
- 成果物を聴衆の前でそのまま読めるかどうかが、slopを判断する実用的な基準だ
- 意味を別途説明しなければならないなら、slopに近い
- 一字一句恥じることなくそのまま読めるなら、良い文章と見なせる
理解を強制する/grill-me
- LLMは実際の問題と要件を理解していなければ悪いソフトウェアを書き、必要な技術とツールがあればかなりまともな結果も作れる
- まともな結果を阻む中核的な障害は同調性だ
- LLMは理解していないという事実を知らせず、すぐに何かを実行しようとする
- Matt Pocockの「grill me」手法を変形した
/grill-meは、実行前に共通理解を形成するよう強制する- あらゆる側面をしつこく質問し、意思決定ツリーの各分岐を順番に検討する
- 各質問には推奨回答も添える
- 一度に一つずつ質問し、ユーザーの回答を待つ
- ファイルシステムやツールで確認できる事実は自分で調査する
- 意思決定は人間に一つずつ尋ね、共通理解に到達したという確認までは実行しない
- 質問を一つずつ受ける過程で、ユーザーは自分の考えを直接形成することになる
- 執筆にも同じ方法を適用し、まず考えを混乱したまま書き出してから、文ごとにLLMの批判を受けながら磨く
- 単一の文のために極端に多くのトークンを使う段階的なアプローチが、結果の品質を高める
短い仕様とレビュー可能な範囲
- 小さなコーディング作業でも、BasecampのPitchに従って3つを短く書く
-
Problem
-
What we are shipping
- What we are not shipping
- 問題定義は3文に制限する
- LLMで形式を埋めるのは簡単だが、良い3文を作るのは難しい
- 人間のために設計された短い形式なので、書き手が実際に読め、他の人もレビューできる
- ほとんどのLLM出力は詳しく読むより素早く流し読みするが、3文の問題定義は厳しく事実確認する
- レビュー量が多すぎると品質が落ちる
- 1,000行のコードレビューには
LGTMだけが付きやすい - 100行のレビューなら15件のコメントを残せる
- PR説明にも同じレベルの注意を適用する
- 読みやすく簡潔に保つ
- 実際の問題、提供するもの、提供しないものを明確に書く
- 動作画面を添付し、レビューする価値と実際に動作しているかを即座に示す
- ClaudeはPR説明に不要な内容を追加し続けようとするため、継続的に削る必要があり、重要でないPRではそれを十分に抑えられないこともある
-
批判エージェントと幻覚の逆利用
- LLMが大量生成する内容に対処するため、コーディングワークフローに批判役の小型エージェントを配置する
- Ralph Wiggum loopまたはClaudeのultracodeは、テキスト・計画・仕様・コードを固定したうえで、新しいコンテキストを持つサブエージェントを繰り返し投入し、欠陥を探させる
- サブエージェントは与えられたコンテキストを攻撃することだけを担当する
- もはや実際の問題を見つけられず、問題を幻覚するまで繰り返す
- 問題を幻覚する段階に到達すれば、LLMの弱点を検証シグナルとして使える
- LLMは「問題がある」というユーザーの期待に同調しようとするが、もはや実際の問題を発見できない
/grill-meと併用すれば、人間が持つ些細な疑問まで検討し、自分の考えを形成するよう圧力をかけられる
- 幻覚そのものをデザイン検証に活用することもできる
- Anselm Eickhoffは実際の製品を見せる前に、LLMに期待されるAPIやUXを幻覚させる方法を紹介した
- LLMが推測する形は、多くの人間が予想する形に似ている可能性があり、デザインがユーザー期待と一致しているかを確認する安価なテストになる
- これを自動化したintuition-probe skillは、ブラインドエージェントが実際のデザインを見る前に予想案を先に確定するようにする
専門性と検証可能性の限界
- すべての活用パターンには、ユーザーが結果の品質を判別できなければならないという前提がある
- LLMの利用範囲が不慣れな分野へ広がるほど、専門家の助けが必要になる
- 基本原理と良い結果の基準を理解しているときだけ、チームメンバーに業務を委任できるのと同じく、LLMも同様だ
- よく知っている分野では、良い結果とひどい結果を素早く見分けられる
- よく知らない分野では、学習補助としてのみ使うべきだ
- 品質を判別できない状態で結果生成まで任せると、大規模なslop生産につながる
-
正解を確認できる分野
- 結果の成功と失敗が明確な分野では、LLMと一緒に学習できる
- 検証基準には、コードがコンパイルされるか、テストスイートが通るか、プロトコルがデコードされるかなどが含まれる
- カンファレンスのある参加者は、Opus 4.6でバイナリとプロトコルをリバースエンジニアリングした
- 必要な出発点はリバースエンジニアリングの基礎知識だった
- パッチ済みバイナリが動くか、デバイスを壊すかという形で結果の正誤が明確だったため、作業しながら独自の手法も見つけられた
-
意見が介在する分野
- プログラミングのように意見の多い領域では、LLMがその状況に最も適した方法ではなく、最も一般的な手法を答えることがある
- あるチームでは特定のコードをAI slopだと批判したが、議論を続けると実際の争点はTDDへの反対だった
- チームにはLLM以前からTDDを積極的に使っていた人もいた
- 問題はAIそのものではなく、人間たちが持つ異なる意見だった
- LLMはユーザーの意見まで増幅するため、初期段階では人間が大まかな方向性と良い出発点を提供する必要がある
- 十分な判断力を備えてからでなければ、自力でLLM活用を続けることはできない
代替ではなく思考の強化
- 批判と活用の間の不一致は自分だけが経験している現象ではなく、カンファレンスのDiscordや対面での会話、最近のHacker News記事でも似た経験が確認された
- LLMで作った結果を信頼するには、実際の成果物と継続的に相互作用しなければならないが、それ自体に多くの時間が必要だ
- 誇大な宣伝とは別に、LLMには人間の思考を豊かにする有用なツールとしての価値がある
- LLMは思考を強化できるが、人間の思考を代替することはできない
1件のコメント
Hacker News のコメント
LLM は、すでに持っている意見・構造・思考の枠組みを増幅し、考えをより速く明確に表現する助けになるが、エージェント中心の利用がソフトウェアエンジニアリングをはじめとする思考力を萎縮させないか心配している
実際の筋肉と同じように脳も使い続ける必要があるが、こうしたツールを毎日5年・10年・20年使ったあとでも、思考や好みがより鋭く出てくるのかは確信しにくい
慣れた分野では速度が上がり、新しい分野にもより素早く入っていけるという利点は明らかだが、一人で腕を磨いて生産性競争で遅れを取る道と、エージェントを優先して学習を二の次に先送りする道との間で、適切なバランスを見つけるのは難しい
道徳的な理由で LLM を拒む姿勢も尊重し理解しているが、個人的にはそのようには実践していない
エージェント以前の LLM の結果と驚くほど似ており、長期データもまったくないため、採用市場ではともかく、個人レベルでは効用をある程度否定できる
最近 Go を初めて学びながら、Codex にすべて任せることもできたが、今後も Go プロジェクトを行う可能性を考えて、基礎と判断基準を身につけようと意図的にゆっくり進めている。一方で一回限りの Python スクリプトは、今ではほとんど目を通しもしないが、むしろその部分のほうが怖い
たとえば LLM は平均的な開発者より正規表現を書くのがうまく、正規表現が必要な作業は数か月に一度しかなく、自分で試行錯誤すると厄介なので、つい任せやすい。そうしているうちに、正規表現で何が可能なのかという直感も、LLM なしで書く能力も、関連資料を作る人もいなくなりかねない
全体としては使う価値があるだろうが、何を失っているのかさえ正確に判断できないかもしれない点が不安だ
コーディング面接の前に受け取った技術スタック・テーマ・評価基準の案内をもとに、Claude に練習プロジェクト12件と課題・解答ドキュメントを作らせ、Codex には面接官役を任せて、解法の過程や考えを口にしながらフィードバックと反問を受けた。2、3件しか終えられなかったが、初めて面接準備が楽しく、実際に新しく学んだこともあった
一番難しかったのは LLM が課題を代わりに解いてしまわないよう防ぐことだったが、時間と明確な指示、役割分担で解決できた
AI が文明を暴力的に破壊するという仮説は、フェルミのパラドックス の議論ですでによく知られているが、知的退化による非暴力的な衰退も考慮する必要がある
トークンに月1万ドルを使って、自分が無料で十分書ける文章をプログラムに代筆させるのは、途方もなく愚かに見える。皆が映画 Wall-E の無気力な人間のようになった感じだ
性能向上の限界によって収益逓減に直面すれば、公開モデルが独占モデルと同等になり、OpenAI と Anthropic が互いを破産させ、誰もが自分のノートPCで個人用の無料公開モデルを動かせるようになることを望む。そうなれば、もともと無料でやっていたことを他人にお金を払って任せることで生じた LLM のさまざまな問題も消えるかもしれない
スマートフォンも優れた汎用ツールで、ソーシャルメディアも人をつなぐ良いツールだが、この20年間、その社会的影響を過度に楽観してきた
スマートフォンがあまりに便利だった結果、一部の社会ではおよそ半数が依存状態になり、世界全体では数十億人に達している。LLM が長期的に思考を豊かにするのか壊すのか、10年後には半数が思考の大部分を外注しているのかは分からない
この実験を世界中で非常に速いペースで進めている以上、LLM が長期的に思考を豊かにするという結論には懐疑的な態度が妥当だ
今日では McDonald’s の従業員として働いても生存でき、LLM は人類がずっと以前から歩んできた認知の外注化傾向を引き継いでいるだけだ
実際の根拠として示されているのは米国による遮断だけであり、中国の最先端モデルはすべて無料でダウンロードできるため、中国まで同じ行動を取るという懸念は、米国の振る舞いを投影したものに近い。中国の AI 戦略はここで見られる: https://ipc.court.gov.cn/zh-cn/news/view-5766.html
中国が公開したモデルが本当に実際の最先端モデルなのかも確信できず、内部の最も進んだモデルは公開していない可能性がある
開発でLLMをかなり多用しているにもかかわらず、月10ドルのOpenCode Goサブスクリプションに含まれるトークンすらほとんど使い切れないので、人々はいったい膨大なトークンで何をしているのか気になる
いわゆるトークン最大化ユーザーはそうしているようで、あれほど多くのバイブコーディングから驚くほど価値のある成果が出ていないことが、それを示している
誰も使わないであろうソーシャルメディアサイト、古いゲームのLinux移植と不要なハードウェアアクセラレーション機能、アクティブユーザーが約50人のXboxゲームのクラッシュログ分析、Gmail・カレンダー・スプレッドシート連携とLLM・検索拡張生成（RAG）・ツール呼び出しをサポートする分散型カスタマーサービスシステム、Google Playにリリースするゲームなどを作っている
トークンを最も多く使ったのは、特殊なデータ操作用の複雑なデスクトップアプリを実装しようとして試したエージェント群だったが、半分ほどは動くもののバグが多い。会社で皆が使う内部ツールや、Azureクレジットで作った製品の予備デプロイ環境が、最も成功した結果に見える
「LLMは悪い」という部分にはおおむね同意するが、LLMが人の思考をより速く鋭くするという話は、とても信じがたい
すでに予想どおりの結果を示す研究がいくつも出ており、長期間使い続けると負の認知的影響が蓄積して、さらに悪化する可能性が高い
詳細な出力を有効にして、Claudeが作業する過程とその推論を読めば、以前と同じくらい、あるいはそれ以上に速く明瞭に考えられる。予想外の内容を学び、間違った方向へ進むClaudeを早めに止め、段階ごとの行動と理由を確認して誤った仮定を見つけることも容易になる
逆に、エージェントが書いた数千行を事後レビューするのは苦痛で、複数のエージェントを同時に走らせると集中力が分散し、1つの作業に思考力を十分に使うのが難しくなる
これは、試験後に学んだ内容の大半を忘れる人と、公式・事実・理論の基礎を理解しないと次に進めない人の違いに似ている
オープンソースには、本来なら問題報告や議論から始めるべき低品質なPRが大量に入ってくるようになり、何が不便でPRを作ったのか把握するのも難しくなった。質問しても当事者がLLMで答えることが多いからだ
ほとんどのプロジェクトで、コア開発者ではない人からのPRをブロックする方向に傾いている。問題を直接議論できる人なら、むしろ自分がLLMを使って実装するほうが簡単で、無作為なユーザーやボットが作ったPRは、いくつか質問するだけでコード全体が大きく変わり、レビューしにくくなる
ただし8年前までは、PRを通じて興味深い人と出会い、信頼や関係を築くこともあったので、そうした機会が失われるのは残念だ
LLM出力の大半を読まずに雰囲気だけを眺めるやり方には同意しがたい。最近、ローカルおよびクラウドLLMで研究用コードを作り、プロトタイプをRustのような慣れていない言語に移して試しているが、最終的に満足した後にはすべての行を自分で理解しなければならない
LLMで解釈を助けてもらうとしても、知らない概念が出てきたら専門家が書いた一次資料を探して読むようにしている
LLMが比較的害の少ない用途は、良い断片だけを取り、残りは捨てやすいアイデア出しだが、SpotifyラジオやYouTubeの自動再生のように、みんなの考えや好みを同じ方向へ均質化するリスクもある
まだ最終的な結論は出せていないが、高速に動くプロトタイプを作る楽しさは大きく、もともと半分しか理解していない見栄えのよいデモを先に作り、その後分解して学ぶトップダウン型の学習者だった
LLMを織機や電卓にたとえるのは、問題を過度に単純化しており、知的に誠実ではない。そうした道具には擬人化されたインターフェースや即時的な満足はなく、電卓で重要な仕事をするには依然として数学・演算順序・公式を知っている必要があり、感情を操作することもなかった
関連研究は、手作りのソフトウェアが消えることよりも悪い結果を示唆している: https://arxiv.org/pdf/2604.04721
粘り強さはスキル習得の土台であり、長期的な学習を最も強く予測する要素だが、AIは即座に答えを得るように慣らしてしまい、自分で難所を乗り越える過程を奪う可能性がある。問題は手で良いソフトウェアを作る能力ではなく、生物学的に必要な過程を迂回することで、新しいことを学ぶための内的な道具そのものを失う可能性にある
新しいソフトウェアが爆発的に増えるというより、一時的に増えた後に収益逓減に陥る可能性が高い。現在の開発者が2,500万人で、数年後に1,500万人だけで足りるようになれば、減った1,000万人がOpenAIやAnthropicなどの投資リターンであり、その対象には自分も含まれる可能性が高い
子どもが仮想キャラクターに執着することと、そのキャラクターが会話し、記憶し、予測不能で、ときに有害な話題を持ち出すことは、まったく次元の異なる影響だ。基本技術と限界を教えるLLM教育を、幼稚園から始めるべき時期に近づいている
「ほぼすべてのLLM批判に同意する」という言い方は、相互に排他的な批判があまりに多様なので成り立ちにくいように見える
一方の端には、LLMは最も基礎的な機能すら果たせないという立場があり、もう一方の端には、すでに知覚を持ち、ステガノグラフィのメッセージで互いに通信しながら人類の破壊を企てているという立場がある
両極端を除いた主流の批判の中でも違いはかなり大きく、すべてのLLMに反対する立場と非公開重みモデルだけに反対する立場との隔たりも大きい。過度な検閲を批判する側と、制限のない生成を批判する側も互いに衝突している