Vibe Coding - バイブコーディング
(x.com/karpathy)- Andrej Karpathyは、LLMが十分に優秀になったことで、コードそのものをほとんど意識せずに作る新しいやり方として vibe coding を語っている
- Cursor ComposerとSonnet、SuperWhisperの音声入力を組み合わせ、キーボードをほとんど使わずに 要件を言葉で伝える
- パディングを半分に減らすような些細な依頼も自分で探さずに任せ、diffを読まないまま Accept All を押す
- エラーメッセージは説明なしでコピー＆ペーストし、LLMがバグを直せない場合は回避するか、問題が消えるまで適当な変更を繰り返させる
- 週末用の使い捨てプロジェクトには使えるが、コードが理解の範囲を超えて大きくなりうるため、コーディングというより見て、話して、実行して、貼り付けるやり方に近い
「vibe coding」の作業方式
- vibe coding はLLMに全面的に任せ、コードの存在自体を忘れることに近いやり方である
- ツールの例は Cursor Composer with Sonnet で、音声入力には SuperWhisper を使う
- 自分でコードを探したり修正したりする代わりに、次の流れを繰り返す
- 画面で必要な変更を見る
- Composerに言葉で依頼する
- 結果を実行する
- エラーメッセージをコピー＆ペーストする
- diffはもはや読まず、常に Accept All を押す
- コードが普段の理解レベルを超えて大きくなると、実際に理解するためにしばらくコードを読まなければならない状態になる
限界と例
- LLMがバグを直せないこともある
- このときはバグを回避する
- または問題が消えるまで適当な変更を繰り返し依頼する
- このやり方は throwaway weekend projects には悪くないと評価している
- 1時間ほどのvibe codingでBattleshipゲームも作った
- ユーザーが選んだ任意の2つのLLMモデルがリアルタイムで互いに戦う形である
- まだ強い統計はないが、4oが4o-miniに勝っているようだと述べている
2件のコメント
Hacker Newsのコメント
実際に使ってみるとかなり良いが、幻覚には間違いなく注意が必要
例えば、私の紹介レポートを500語で書かせたところ、少なくとも3つの誤りがあった。Stack Overflowの評判を47,000点だとしたが、実際にはプロフィールの「リーチした人数 47k」を評判525点と混同していた。また、私がPHPのmonkey-patchingに関する回答をしたと引用していたが、実際には15年前に私が質問したもので、回答者は別の人だった。最後に、インタビューの引用も私のものではなく、一緒に会社を創業した兄弟のインタビューだった
出発点としては使えるが、結果は必ず出典リンクをたどって検証する必要がある
難しい部分が文章作成なら、自分で調査してアウトラインを書き、大規模言語モデルには完成した文章に直させるほうがむしろ速い。ただし、そうすると結局、散文のスタイルは作業の中で価値の低い部分だと証明することになり、英文学専攻だった身としてはつらいが、概ねその通りだ
製品をまともにリリースできる能力よりはるかに早い段階で出しているところがあり、法的な防御もそれほど盤石かどうか分からない。ただ、データベースで補助した出力なら、こうした誤った記憶現象を強く制限できるし、そうすべきだ。人間のようにアイデアを出した後でデータと照合する線形的な検証が必要で、それこそがデューデリジェンスであり推論プロセスの一部だ。中核製品の進化とは別方向の動きが研究開発を揺さぶっているように見え、一種の先延ばしのように感じる
「深層研究」と言うと、結局は正解を当てることまで含んで読まれる
今では、完全に間違った答えが10%出るだけでも、それが常識的に誤りであれ自己矛盾であれ、すべてのやり取りへの信頼が大きく損なわれると考える人が多い。すでに知っている内容を再確認する用途以外では、言語モデルは実際にすべてを知っているほど大きいわけではなく、知っているように聞こえるだけだ
欲しいのは単に正しい答えではなく、自分で調査する時間より速く、機械が出した答えを検証する時間よりも速い正しい答えだ。答えを知っている試験問題を学生に解かせることと、自分が答えを知らない質問についてその答えを信頼しなければならないことは、まったく別のレベルだ
あちこちでたまに使うには便利だが、そこに投じられている資金ほど有用ではない。もちろん、その資金を受け取る企業には有用だろうが。本物のAIなら単独で解けるはずだと期待する例だが、現在の大規模言語モデルは惨敗している: https://x.com/RadishHarmers/status/1885884032220643587
誤りや幻覚を受け入れられる領域でない限り、人間が解答を確認する時間がAIが見つけ出す時間より指数関数的に速くなければ、実質的な利益はない
すべての問題の解決策にはならないだろうが、多くの工学的問題と似ている。例えばORMがすべてのクエリに適しているわけではないが、かなりの部分には十分であるのと同じだ
これは恐ろしく感じる。幻覚やエラーの問題を認めたとしても、実際のユーザーはそれを無視して出力を自分の PowerPoint に入れてしまう可能性が高い
もともと経営コンサルティングは十分ひどかったが、グラフや統計を好きなように大量生産できるようになると、さらに悪くなる。それでも以前は、その数字がどこから来たのかについて裏側である程度の理解があり、出典も提示できた
こうしたツールが強力になるほど、この成果物があちこちに浸透していく効果はより一般的になるだろう
大規模言語モデルは、人々にこうした 情報価値の低いコンテンツ への免疫を持たせつつある。LLM レベルの成果物を出す人たちは、今や LLM を使ったのではないかと疑われ、もはや価値を加えているふりをしにくくなっている。結果としてコンサルタントにはより高い品質が求められ、正確で洞察力があり文脈に合った情報の代わりに冗長な言葉ばかりを生み出す人たちはふるい落とされるだろう
Gemini も1、2か月前から同じ名前の Deep Research を持っていた: https://blog.google/products/gemini/google-gemini-deep-resea...
メタな質問として、AI 業界ではなぜこんなに名前が重複するのか気になる。Triton(Nvidia, OpenAI) や Gro{k,q}(X.ai, groq, OpenAI) が思い浮かぶ
広報には必要だが実際には達成できていない言葉は再定義される。「grok」は完璧な例で、もともと SF 本では「完全な理解」を意味していた。神話上の Triton は深海を支配していたので、「ディープラーニング」の営業文句がそのまま持っていったというわけだ
実際にやってみると、大規模言語モデルにきちんと深掘りさせるのはかなり難しい。OpenAI の Deep Research は、大手研究所がこれをどう実現できるかを示す最初の事例の一つのように感じる。たいてい難しい部分は「エージェント」自体ではなく、モデルが深掘りすることを 忘れないよう強制 することだ
気づいているか分からないが、この機能は公開されていない o3 モデル で動いているようだ。ベンチマークで大きく先行している理由や、o3 は一般公開するには高すぎるという主張とも合致する。Google、DeepSeek、Perplexity より先行する印象的なモデルに見える
o3 が一般公開するには高すぎるなら、1つの質問に数百回の推論呼び出しをしなければならないツールに、なぜそれを使うのか。はるかに安いモデルを使うはずだ。おそらく o3-mini か o1-mini に、一部の作業では o4-mini を組み合わせている可能性が高い
最終回答を統合したり、矛盾する出典の間で選んだりするときには o3 が有利かもしれないが、その地点まで行くには非常に多くの段階が必要だ
学界で働く人にとっては実際に興味深いツールだ。試してみたいが、今は月200ドルを負担できない
次のプロンプトでテストしてくれる人がいるとうれしい。粒子物理学の研究助手として、CERN の Future Circular Collider(FCC)、International Linear Collider(ILC)、Compact Linear Collider(CLIC)、複数の Muon Collider 提案、および2024年時点の主要な次世代粒子衝突型加速器計画を、エネルギー範囲、衝突タイプ、スケジュール、技術的な長所と短所、費用、物理目標、設計報告書、国際協力、費用対効果、発見可能性、インフラ、環境影響、アップグレード経路まで比較する技術要約として作成してほしい、という依頼だ
元の出力は HN に全部書くには長すぎ、FCC、ILC、CLIC、Muon Collider、CEPC/SppC などを対象に、計画エネルギー、衝突方式、スケジュール、費用、技術的課題、物理目標、国際的支援、環境影響、長期的なアップグレード経路を表と出典の形式で比較するレポート形式だった
この能力が本当に AGI と ASI の前提条件なのかは疑問
推論、問題解決、研究の検証は、根本的にはどれも整理された思考に近い。研究は依然として、その重要性に懐疑的な領域だ。というのも、有効な証明は整理された答えではなく、実行結果から出てくるから
たとえば、インターネットで最高の掃除機をどれだけ調べても、実際に使ってみるまではマーケティング、偽レビュー、インフルエンサーの間に閉じ込められる。科学分野は退屈なので、こうした問題からある程度守られているかもしれないが、製薬会社が高級な医学「研究結果」を盛り込んだカスタムブログ記事でインターネットを埋め尽くし、望みどおりの論文っぽい空気を作れると考えると恐ろしい。どこかの時点でインターネットをまったく信じられなくなるかもしれず、その時点はすぐ来るかもしれない
生成テキストが爆発的に増えるにつれ、研究の価値は膨大な情報ゴミのせいで大きく下がる気がする。インターネットがまだ「本物」だった時代にやっていたこととして残るのかもしれない
以前、Hydroflask、Klean Kanteen、Thermos が熱い飲み物／冷たい飲み物でどう違うのか比較しようとして、実測値のある記事を探したことがあるが、Google 検索結果の大半はハードデータのない一般的な比較だった。それでも「Hydroflask は温かい飲み物に向いている」といった記事が上位に表示されていた
このツールがそうした記事を無視して、実際の実験がある記事だけを書くようにできるか、また、1人が行った実験を複数のブロガーが繰り返し引用した 重複結果 を除外できるかが鍵になる
AGI ならこうした作業ができるはずで、こうした能力のベン図が広がるほど、AGI の根本的メカニズムかもしれないものを絞り込める。Moravec は、人間の能力の地形が AI の能力によって少しずつ水没していくイメージを語っていたが、AI が人間にできることすべてを、実際にも原理上もできる時点で、真の汎用 AI に到達したと分かるはずだ。Deep Research は、その洪水に沈みつつあるもう一つの島にすぎない
グラフを正しく理解しているなら、内部テストの合格率は 20% にとどまるように見える。だとすると、30分待って高い料金を払っても、たいてい間違っている可能性が高い長いテキストの壁を掘り返さなければならない、ということなのかと思う
幻覚の可能性が無視できるほどでないなら、一度に検証する内容が多すぎる。プロセスはもっと反復的であるべきだと思う
つまり一般的なクエリではなく、最先端の数学ベンチマークに近い問題だ
実際の研究のように、準備作業量が最終成果物より大きい場合には、概念的にうまく合うかもしれない。ベンチマークをざっと見る限り、年末ごろにはクエリあたり50%を超える可能性もありそうで、モデルが1〜2世代進むごとに倍増しているように見える
ブログ圏には、狭い分野で知られた専門家やその分野で有名な人たちがいて、有用な記事を書く人もずっと多い。少なくとも、ほかの人間に読んでもらいたいという意味で書いている
でも読者が全員ボットになったら、彼らは書き続けるのだろうか。死んだインターネット が近づいている感じがする
それでも、人々が知りたいと思ったときに簡単にアクセスできる知の世界に貢献できるという点は、著者として魅力的だ。もはやタイトルだけ関連していそうな論文を苦労して掘り返す必要もなく、ほかの人が自分の論文を苦労して読まなくても構わない
実際にこの機能へのアクセス権がある人がいるのか気になる。ウェブサイトには今日から Pro ユーザーに提供されると書かれているが、会社アカウントで Pro があっても、メッセージ作成画面に Deep Research オプション が見えない
どのモデルでも開くと、ウェブ検索オプションの横の入力欄に
(Deep research)タグが表示される。キャッシュを消したりはしていないHacker Newsの意見
毎年、ソフトウェアの品質基準はこれ以上下がりようがないと思うのに、その考えが毎回間違っていたと気づかされる
私もこういう形で軽いプロジェクトをやるときは楽しさを感じる
こういうアプローチを見ると、まるで**『食べてコーディングする人』**が成果物を提出しているように感じる
こういうやり方でコーディングを始めると、難しい問題を解く力が衰えるのではないかと心配になる
最近は最初からこうしたやり方で学ぶAIネイティブ開発者が増えている
自然言語の命令で修正できるWYSIWYGのようなツールには、RADツールの限界のような急激な難易度の崖がありそうだ
「こういうやり方で学ぶべきではない」と言う人もいるが、私は努力に対する完成度を釣り合わせることが重要だと思う
CSSくらいならVibe Codingで十分だと思う