欠陥だらけの塔、バイブ酔い、そしてバイブ・ボブスレー
(dustycloud.org)- LLMが作ったコードを人間が理解できなくても、再びLLMに解釈を任せながら開発するやり方が広がり、かつて区別されていたエージェント・エンジニアリングとバイブコーディングの境界が急速に曖昧になっている
- バイブ・ボブスレーは、自動補完からコード生成、レビュー放棄、プロンプト放棄へと続く定まった経路を指し、生成速度を活用するほど、プログラマーの中核的な役割である理論構築とレビューから遠ざかっていく
- Pvote実験では、セキュリティ専門家たちが位置を事前に知ったうえで100行のコードを約20時間レビューしても、3つのバグのうち難しいバグを見つけられず、人間が大量のLLM出力を完全にレビューするという前提が非現実的であることを示した
- 理解されていないコードや生成物が、飲食店のポスター、顧客サポートチャットボット、年齢確認コード、オープンソースのIssue・PRにまで浸透するバイブ酔いが広がっており、ツールを使わない人も他人の生成物をレビューすることで影響を受ける
- 生成AIは問題発見には有用かもしれないが、生成には特に弱く、理解できないシステムが世界を置き換えていく流れの中でも、人間がより良い環境を自ら作る能力まで手放してはならない
理解できないコードの塔
- The Tower Keeps Risingは、以前ならチーム内で会話しなければ解決できなかった状況でも、エージェントを使うことで進捗を出し続けられるようになった状態を観察している
- Arminはこれを良いこととも悪いこととも判断しておらず、持続可能な状態だと擁護しているわけでもない
- ただし、バイブコーディング企業を運営し、この流れを前進させる立場にある
- バイブコーディングのシステムはコードと抽象化を積み重ね続け、最終的にはどんな人間もコードベースを理解できない状態に到達しうる
- 人間が理解できない部分もLLMが再び解釈してくれるため、開発を続けられるという新しい運用方式が生まれる
- これを擁護する側ですら、人間がシステムを理解できない終着点を認め、その状態を今後の開発手法として受け入れる変化が現れている
エージェント・エンジニアリングとバイブコーディングの境界崩壊
- Simon Willisonは当初、エージェント・エンジニアリング(agentic engineering)をバイブコーディングと明確に区別していた
- 2025年3月の記事では、本番品質のAI支援プログラミングであるなら、リポジトリにコミットするすべてのコードを読み、他人に正確に説明できなければならないという原則を立てた
- LLMが書いたコードでも、人間がレビューし、徹底的にテストし、動作の仕組みを説明できるなら、それはバイブコーディングではなくソフトウェア開発だと区別した
- 約1年後の Vibe coding and agentic engineering are getting closer than I’d likeでは、コーディングエージェントの信頼性が高まるにつれ、本番コードでさえ全行をレビューしなくなったと明かしている
- Claude CodeがSQLクエリを実行してJSONを返すAPIエンドポイントを正しく作り、テストとドキュメントまで追加してくれると信頼している
- 同時に、レビューしていないコードを本番で使うことが責任ある行為なのかという罪悪感と疑問も抱いている
- 両者の立場の隔たりは1年余りにすぎない
- エージェント・エンジニアリングが望ましい使い方だという認識は広く浸透したが、実際の利用者はSimon本人を含め、バイブコーディング側へ引き寄せられる傾向を示している
バイブ・ボブスレー
- ボブスレーは氷のトラックを高速で滑り降りるが、進める方向は実質的にひとつしかないスポーツである
- 選手同士が熟練度を競い、スリルを味わうことはできても、乗っている人が旅程そのものを選べる余地は大きくない
- バイブ・ボブスレーでは、LLMが乗り物であり、利用者は乗客である
- 利用者が感じるよりも実際の主導権ははるかに少なく、単なる滑りやすい斜面というより、あらかじめ作られた旅程に近い
- 開発者は次の段階を経ながら、コード生産の過程から自分自身を外していく
- 最初は高度な自動補完として使うだけだと思う
- 次に、アイデア探索用のエージェントは動かすが、コードは自分で書くつもりだと言う
- その次には、エージェントがコードを生成するが、すべての結果はレビューすると誓う
- やがてコードをほとんどレビューしなくなり、エージェントは自分より優れた開発者かもしれないと信じるようになる
- 最後には、「もうコーディングしない」を超えて、「もうプロンプトすら書かない」段階へ向かいうる
- 各段階は、LLMが自分の仕事を理解し、うまく処理してくれるという信頼ベースのコード生産へ移行する過程である
生成速度とレビューの衝突
- コーディングで遅い部分は生成ではなく、理論構築とレビューであり、それらしいが誤った結果はデバッグも理解も非常に難しい
- LLMの最も強力な特性は生成速度であるため、人間が結果をすべてレビューすると、その速度を十分に活かしにくい
- 一方で、理論構築とレビューはプログラマーの最重要の役割であり、LLMの利点を最大化するほど、その中核的役割から離れてしまうという衝突が生じる
- Ka-Ping Yeeの論文 Building Reliable Voting Machine Software は、ソフトウェア検証を難しくする要因として次の4つを挙げている
- 構成要素の数
- 複雑な相互作用
- 広範な影響
- 非線形性
- これら4つの問題は、LLMのコード生成方式によってさらに悪化する可能性がある
Pvoteバグレビュー実験
- Ka-Ping YeeとDavid Wagnerは、モデル投票機 Pvote に、選挙結果を変えるために悪用できる簡単・中程度・難しいバグを1つずつ埋め込んだ
- 3つのバグはすべて
Navigator.pyの11〜109行にあたる100行の範囲に配置された- プログラムロジック上で興味深い部分であり、かつレビュアーの限られた時間を考慮した選択だった
- レビュアーには見るべき範囲を知らせたが、バグがいくつあるかは伝えなかった
- 3日目のレビュー結果は次のとおり
- Pythonに非常に精通したDan Sandlerは、約70分で簡単なバグと中程度のバグを発見した
- Yoshi KohnoとMark Millerは、約4時間後に簡単なバグを見つけた
- 難しいバグは誰も見つけられなかった
- 4日目にはIan Goldbergが約2時間で簡単なバグを見つけたが、他のバグは発見できなかった
- 熟練したセキュリティ専門家たちは位置まで知っていたにもかかわらず、合計約20レビュアー時間を投じても3つのバグをすべて見つけられなかった
- Mark S. Millerは後にバグを確認したうえで、どれも明白なバグであり、自分たちが見つけるべきだったことに全員が同意した点に驚きを覚えた
- 最高レベルのプログラマーでさえ、100行の中に必ず存在するバグを見落とすのなら、人間がLLMの膨大な出力をレビューするやり方は耐えがたい
- 結局、利用者はレビューを断念し、コード生産の過程から自分自身を段階的に外していくことになる
AI精神病とバイブ酔い
- “AI psychosis”は、生成AIによって生じた悪い行動や結果全般を広く指す言葉として使われているが、もともとは利用者を過度に肯定するチャットボットとやり取りすることで、実際の精神病や妄想的な現実離脱に近い状態を経験することを意味していた
- 臨床的な精神病ではない、生成AIによる広範な不快感には、バイブ酔い(vibe sickness) のほうが適切である
- Glyphの PyCon US 2026 感想 には、次の状況が同時に現れている
- 広範なバイブ酔い
- オープンソースの大規模な持続可能性危機
- 低品質なセキュリティPRの氾濫
- 相互理解への希望・エネルギー・努力と、仕事に対する感謝
日常とオープンソースに広がる生成物
- 人々は低品質な生成物であるスロップ(slop) に不満を言うが、生成AIの利用者は自分の結果物をスロップとは呼ばない
- もっともらしいのに理解できない生成物は、日常の至るところに現れている
- 理解しづらいデザインの地域飲食店ポスター
- 利用者をうんざりさせる顧客サポートチャットボット
- 年齢確認コード
- オープンソースプロジェクトに提出される低品質なIssueやPR
- こうしたツールは一部の作業には有用であり、問題発見については別の評価の余地がある
- しかし、“genAI”という名前が強調する生成こそ、むしろツールが最も苦手とする部分である
- 生成物の品質だけでなく、システムの構築・構造・保守のあり方そのものを誰も理解できないという問題まで生じる
生成AIから逃れられない環境
- 生成AIを直接使っていなくても、同僚やオープンソース貢献者が、自分でも理解していない生成物を「貢献」として送ってくることがある
- レビュアーは、LLM生成かどうかを尋ねるのが失礼にあたるのではないかと悩まなければならない
- IssueやPRに返信する間、エージェントと間接的に相互作用し、意図せずバイブコーディングのワークフローに参加することになる
- Glyphは、LLMが入ったすべてのソフトウェアを拒否することを、自動車の有鉛ガソリン導入に抗議するため、皆が使うのをやめるまで息を止め続けることになぞらえている
- 現実にはある程度受け入れざるを得ず、個人的な倫理線を引くとしても、それは生成AI環境への期待や興奮を意味するものではない
- 不気味の谷(uncanny valley) が現実世界を占有し、誰も理解できないシステムが既存の世界を置き換えつつある
- この状態から回復するときに支払う代償はまだ分かっておらず、現在の生成AIに参加しないことを選ぶプロジェクトは尊重に値する
より良い地形を作るという選択
- 仕事や環境の都合で、生成AIの問題に加担することを完全には拒めないかもしれない
- 自動車の運転者が道路上の自転車利用者に腹を立てても、自転車インフラが不足していれば、利用者は駐車車両のドアやせっかちな運転者によって危険にさらされる
- 運転中に前方に自転車がいるなら、その存在に感謝し、自転車がより安全に参加できるよう地形とインフラを変える方法を考えることができる
- こうした変化は自動車の運転を容易にし、状況によっては自転車を選びやすくもする
- 技術が定めた経路に自分を委ねるのではなく、人間が自ら参加してより良い世界を作れるという信念を手放してはならない
1件のコメント
Lobste.rs のコメント
最近、不安を抱きながら見守っていたソフトウェアエンジニアリング業界の変化を扱った記事の中では、群を抜いてよく書けている
1年前まではエージェント型エンジニアリングが望ましい方向のように思われていたが、実際のツール利用者の大半は認めたがらないだけで、バイブコーディングに傾いているように見える。LLMが自分の技術や愛着を無用なものにしてしまうかもしれないという恐怖は、2つの原則を立てることで大きく減った
まず、余暇にはLLMやコーディングエージェントを使わず、検索のAI機能も拒否する。自力では解決できないほど切迫しているときだけ、幻覚の可能性を承知で活用する。技術から目を背けても世界が解決するわけではないが、個人開発者を攻撃することも大企業を変えることもできない状況では、余暇にまで関わらないことが現実的に可能な選択だ
次に、AI利用を強く推奨する職場でも、コードレビューとお使いにだけ活用する。コードベースを直接探せば見つかるが面倒な内容を尋ねる程度で、コードはすべて自分で書く。そうしてこそ動作原理を直感的に理解し、自分と同僚が期待する水準で仕事ができる
LLMは、決定論的なリンターでは見つけられないパターンベースのエラーを見つける補助手段としては悪くない。的外れな答えも出すが、コードは自分で書き、理解しているので盲信はしない。人間のレビューの前に明らかな論理ミスや誤った前提をふるい落とせれば、同僚はより複雑な部分に集中できるし、公開チャンネルで人間の代わりに機械同士を会話させるという無礼も避けられる
最近、会社がトークン使用量を厳しく制限したが、1日のコストが1〜2ユーロにすぎないワークフローなので心配していない。直感に全面的に頼っていた人たちは、再び人間の推論を使わなければならないことに不安を覚えるかもしれないが、それ以外の人は同僚と直接やればよい
苦痛であるほど真実を直視すべきだという自虐的な認識論も根底にある。つらい情報を避けると徳がないように感じられるかもしれないが、注意力は有限なので、より幸せで充実し、明日も続ける力を与えてくれることに使うほうがよい
人生のすべてを最適化し、最高でなければならない仕事のように扱う人たちのほうが、むしろ損をする。コーディングが好きなら余暇にもやればいいし、嫌なら職業としてだけ残せばいい。余暇にはときどき非効率でも構わないし、そうでなければ自由時間が第二の仕事になって、まったく休めなくなる
ここで Fawlty の綴りを間違えているのが、やけに気になる
記事はいつも通り素晴らしいが、LLM生成物かどうか尋ねるのが無礼かと悩む必要はなさそうだ。制作過程でLLMを使ったかどうかに関係なく、ひどい成果物を受け取ったなら、品質が悪く気に入らないと言えばよい
一方で、同僚やオンラインで長く交流してきた相手とは、関係を維持するためにできるだけ無礼を避けたいと思うこともある。貢献物がどのように作られたかを知らなければ議論できないし、その結果が関係に意図的に大きな影響を与えることもあり得る。無礼になるリスクを取るか、基本的に衝突を避けて関係を保つかは、性向による選択だ
もともと衝突を避けるほうなので、その文が出てきた背景は理解できるし、元の主張にも大きく反対はしない
ボブスレーの比喩が気に入った。LLM利用者が必ず最後まで滑り降りることになる、という主張には同意しないが、業界で観察される行動を、これまで見たどの比喩よりもうまく描写している
「ボブスレーの比喩」は、論理的誤謬である滑りやすい坂道としてよく知られている。1年前にはバイブコーディングの割合は0%で、Simon Willisonはコーディングエージェントを慎重に導入し、徐々に信頼を高めていく過程を複数の記事で公開していた
ところが、それを根拠に「行き先は一つしかない」と断定している。Willisonや他の利用者にも好みと判断力があると見るほうが妥当だ