AIコーディング万能説の虚像、なぜ「ショベルウェア」の爆発的増加は起きていないのか
(mikelovesrobots.substack.com)- 最近のAIコーディングツールの生産性向上という主張をデータで検証した結果、実際には速度や成果物が目立って増えていない
- METRの研究では、開発者はAIコーディングツールによって生産性が20%向上すると信じていたが、実際には19%低下していた
- 数多くの宣伝文句や企業、開発者による誇張された10倍の生産性という主張は、市場の現実や新規ソフトウェアのリリースに反映されていない
- Shovelware（大量生産アプリ、低品質ソフトウェア）の急増のような現象は観測されておらず、目に見える変化がない
- GitHub、Copilot、Cursor、Google、OpenAIなどの企業と一部開発者による生産性の誇張が、投資、リストラ、年収設定に悪用されている
- 核心となる結論: 「実際により多くのソフトウェアが生まれていない限り、AIコーディングが開発者を10倍にするという主張は虚構だ」。したがって開発者は圧力に振り回されず、データで対応すべきだ
序論: ソフトウェア開発者、AIコーディングに憤る
- 長年ソフトウェア開発者として生きてきて、プログラミングに誇りとアイデンティティを持っている
- AIベースのコーディングツール導入初期には期待を抱いていたが、最近の研究（METR）によって懐疑的になった
- 自分ではAIコーディングによって約25%速くなったと思っていたが、METRの研究ではむしろ19%遅くなるという結果だった
- この研究により、開発者が体感するAIツールの効率性と、実測データが正反対であることが確認された
- 自ら実験してみた結果でも、AI活用が実際のプログラミング時間に好影響を与えていないと実感した
自ら検証: AIあり・なしのランダム比較実験
- 作業単位ごとにAIを使った場合と使わなかった場合の**時間差（Delta）**を測定する実験手法を適用
- 6週間の実験で得られたデータからは、統計的に有意な差は見つからなかった
- 小規模なサンプルにもかかわらず、AI利用は実際にはむしろ21%遅くなる傾向が確認された（METR研究と同じ数値）
- もし本当に2倍、10倍の改善効果があったなら、データにはっきり表れていたはずだ
- 現在のAIコーディングという夢は実現しておらず、実際には変化がない
期待と現実: Shovelwareの爆発的増加がない理由
- AIコーディングの生産性革命が現実なら、あらゆるアプリやサービス、ゲームが爆発的に増えているはずだ
- 数多くのAIコーディングツールのマーケティングメッセージ（“Built to make you extraordinarily productive” など）が飛び交っている
- Google、OpenAI、GitHub Copilotなども、開発者の25%速度向上や10倍の生産性を主張している
- しかし実際の新規ソフトウェア公開データ（GH Archive、BigQueryなど）では、急激な成長や爆発的増加は起きていない
- 2022年以降、AIコーディングが一般化したにもかかわらず、世界全体の新規リリース数やプロジェクト数値には大きな変化がない
市場への影響と開発者の現実
- AI-First戦略、FOMO、大規模レイオフ、開発者の年収引き下げといった業界内の社会的波紋まで生じている
- 実際の開発現場では、AIツールは生産性革命をもたらしていない
- 学習曲線やツール習熟度でも、絶対的な生産性差を説明することはできない
結論: 冷静なデータベース判断の必要性
- 現時点で新規ソフトウェア出荷量に変化がないことを、データで確認するのが核心だ
- AIで10倍コーダーになったという主張には証拠がない
- 開発者は圧力に屈せず、自ら確認したデータに基づいてツール選定を行うべきだ
よくある反論への反駁
-
"プロンプト技術をきちんと身につければ10倍開発者になれる"
- 実際に10倍の生産性を達成した人たちがいたなら、世界の新規ソフトウェア生産量は2倍以上になっていたはずだ
- 主張よりも**客観的な成果物（アプリ、プロジェクトなど）**こそが重要な証拠だ
-
"まだ初期段階だから時間が必要だ"
- すでに数十億ドルが投資され、実際の現場にも導入済みだ
- 今日の意思決定が現実の人々の生活に直接影響する
-
"今導入しなければ出遅れる"
- GitHub Copilotのデータなどを見ても、習熟度向上による実質的な生産性向上はごくわずかだ（29% → 34%承諾率）
-
"量は同じでも品質が良くなっただけだ"
- 業界全体の品質はむしろ後退しており、テストも減っている
- 本当に10倍コーダーのためのツールなら、Shovelwareの氾濫が現実になっているはずだ
-
"すべてがWebサイト中心で、今はドメイン名に関心はない。Vercelのようなサービスのサブドメインで十分だ"
- 依然として独自ドメインを好むユーザーは多い
-
".aiドメインの急増（今年47%）＝実質的な増加だ"
- 新規ドメイン増加はAIスタートアップのピボットによるもので、全体の新規ドメイン数が爆発的に増えたわけではない
- ドメイン総数はそうなっていない
-
"開発の本質はコード以外の業務だ"
- 大企業ではない個人・小規模開発者の環境では、実際にはコードが中心だ
- ちょっとしたコーディング欲を満たす新規プロジェクトが、目に見えて増えているわけでもない
まとめ
- 開発者は実際にはより多くをリリースしていない
- AIコーディングが10倍の生産性をもたらすという主張は、データで反証できる
- 業界のFOMOやマーケティングの物語に振り回されず、実際の成果物を中心に評価すべきだ
- 著者のメッセージ: 「プレッシャーを感じるなら、データとグラフを見せよう。10倍生産性の主張には領収書を求めよ。」
8件のコメント
10x開発者なら、AIの助けで12xくらいまで跳ね上がることはあるでしょう。
AIはまやかし。信頼できず、レベルも低い。AIで開発できるというのは誇張された嘘だ。不可能だ。そしてAIを使うのは、開発者の倫理を捨てる無責任な行為だ。
単純な反復作業はAIに完全に任せて、より重要な作業に完全に没頭できるレベルになってこそ、そのとき初めてAIがコード作成の生産性向上に大きく役立つと言えるのではないかと思います。
命令を一度出すと、数十秒ほど待った末にアウトプットが出てきますが、その数十秒の間を有効活用できるわけでもないですし、数十秒待てば常に完璧なアウトプットを期待できるわけでもありません。
結局のところ、その簡単な作業が完璧に終わるまでは自分がずっと気にかけていなければならず、別の作業に切り替えることもできないので……有意義な向上を期待するのは難しいんですよね。
いっそダングンで時給1万ウォンを払って、数時間だけ単純作業をしてくれるアルバイトを1人探すほうが、生産性向上にはもっと役立った気がします。
週に10万ウォン前後の支出だけでも、個人的にはかなり満足していました。
特に、経理の仕事をしていて辞めた後、専業主婦をされている年配の女性の方々とも何人か一緒に仕事をしたことがありますが、コーディングをまったく知らない方でも、何度かフィードバックをするととてもきれいに作ってくださいます（笑）
ボイラープレートコードは、Excelを使ってオートフィルや数式などであっという間に作ってくださることもありましたし…
うーん……正直に思うのは、AIもやはり道具なので、うまく活用しないといけないということです。
どんな道具でも、うまく使う人に比べて、ただ適当に使ったり、きちんと活用できない人のほうが多いです。
AIが質の高い結果を出せるように設定すれば、十分に圧倒的なパフォーマンスを見せてくれます。
AIで質の高い結果を出す方法を知らない人たちが、ただ間抜けなプロンプトを投げまくって、生産性が下がったと言っているだけなのではないかと思います。AIの生産性を否定するのは、どうしても理解できません。
しかし、そのようにおっしゃるのは、「本当にCSを深く理解し、十分に熟練を積んだ人は、どんなAIよりも生産性が高い」という話と同じで、何も証明していないように思います。
少し前に話題のMETR研究を見たのですが、自分が感じていた疑問をうまく説明してくれる結果でした。
Hacker Newsのコメントにある「反復作業」をやらせても、実際には大半で手作業による確認と修正が必要です。
AIが書いた「簡単な」成果物の支離滅裂なロジックを見て、いっそ自分でやったほうがよかったのではと思ったことは一度や二度ではありません。
本当に単純なコピペレベルの作業ならうまくやるのでしょう。
でも、そういうものは単にコピペやスニペットのほうが効率的です。インターネットに接続して他人のサーバーに自分のデータを上げ、何十秒も待つ必要もありませんし。
Hacker Newsの意見
私にとってAIはベルカーブのようなもので、多くの人にとっても似たようなものだと思う。アウトプットを評価する基準が重要だと思う。基準は「コード行数」ではなく、「高品質で保守可能、拡張可能で、アップグレードしやすいコード行数」であるべきだ。この基準で見ると、「リポジトリ全体を生成して」みたいな依頼の結果は意味のないゴミだが、AIが
getUser(...のようなコードを自動補完してくれるのは生産性向上だ。これが0.1%増なのか、1%なのか、10%なのかははっきりとは言えない私の立場からすると最も深刻な問題は、今会社で私が扱っている問題は慎重な計画と実行を必要とするのに、AIがまったく役に立たないという点だ。ところがうちのマネージャーは「うちはAI-firstの会社だから」という理由で、プロジェクトの納期を従来見積もりの20%に縮めたと言っている。SVPやPMの間でこうした集団的狂気がものすごく広がっていて、こんなのはこれまで見たことがない
複数のことが同時に真実であり得る。LLMが、ランダムに選ばれた一般的な作業に対して開発者の生産性を10倍にするわけではない。一方で、LLMが特定範囲の作業では生産性を劇的に高めるのも事実だ。忙しい反復作業の自動化にも使えるし、人間より実時間は長くかかってもバックグラウンドで回るので問題にならない。新しいAPIやライブラリを学ぶのにもLLMは大幅に速度を上げてくれるし、知らない言語で小さなglue codeを書くときにも時間を節約でき、不要な学習までしなくて済むので非常に助かる。大きな既存コードベースの保守作業では、それほど生産性の違いは感じない。新しいWebサイトのスキャフォールディング設定は、LLMが驚くほど上手い。mockクラスの作成も、mockライブラリの使い方をきちんと把握して、私が2、3回やって忘れてしまうような複雑な作業も一瞬で処理してくれる。新しいコードベースの構造把握も70%くらいは満足できる。複雑に設計されたプロジェクトでHTTPルートの場所や依存性注入関数の場所を探すようなときにも、「おいClaude、auth関連の関数ってどこにある？」と聞けるので便利だ。正しい道具を正しい仕事に使うべきだと思う
動画の中で画面にコードがあふれ出し、「ジュニア開発者は終わった」という主張以上の実体がないことがほとんどだ。その理由は、経済が不安定で、AIが救世主になってくれるという期待に誇張と不安が満ちた空気があるからだと思う。実際にAIで印象的な結果を得ることもあるが、基本的にはある程度腕のある人でないと無意味だ。初心者から中級者レベルの人たちは、ソーシャルメディアで誇張された成功談ばかりを流している。人それぞれが「AIスーパーパワー」を守ろうとして心理的にも現実的にも必死になる雰囲気ができている。結局はハイプサイクルの中でどこかの時点で均衡点を見つけ、何十億ドルかが再び焼却される日を待つだけだ
私の経験では、AIはいくつかの些細な作業（例: 小規模なリファクタリング、型定義の自動化など）には役に立ったが、それ以上に複雑な作業ではいろいろ見落として再作業が必要だった。将来は自分の言葉を撤回することになるかもしれないが、最近は経験の浅いエンジニアが大きな機能を実装しようとして、AIが出した結果を「良いコード」だと無批判に受け入れることが増えている。ところがそうしたコードは、私たちのスタイルガイドやパターンに従っていなかったり、すでに存在するライブラリの代わりにわざわざロジックをゼロから実装してしまい、結局私たち自身で管理しなければならないコードが増える。後になると、すべてを一度にやろうとする巨大なPRが出てくることさえある
ここの主張には同意する。AIを使っても生産性が劇的に上がるのは見ていない。ソフトウェアエンジニアが継続して問題解決、判断、コード化の練習をしなければ、神経的な知識が弱まっていく可能性があると思う。AIが将来2倍、10倍の生産性をもたらす技術だという約束には実体がなく、個人のコードベースで多少の生産性向上があったとしても、市場で実際により良い製品のリリースが増えたわけではない。コンサルティングをしながら、創業者やCTOがAIを押し込もうとして、かえってコードをきちんと管理できず、より多くの混乱を招くのをよく見る。最近はエンジニアリングのベストプラクティス確立のためにアドバイザー役を務めることも多い
CEOたちはAIで既存の開発者の生産性が10倍になると言うが、それが本当なら、むしろ開発者をもっとたくさん雇うべきではないかという疑問が湧く。同じ投資で生産性が10倍になるなら、当然その「エンジン」に資金を注ぎ込むのが合理的だ。ところが現場では、生産性はそのままで人件費だけを削っているのではないかと思えてしまう
新製品リリース数を新鮮な角度から見る分析が印象的だ。急成長どころか、予想より大きな変化はないように感じた。別の見方として、実はコードを書くことが製品リリースのボトルネックではなく、何を作るべきかを探索し、実際のプラットフォームに載せること自体に多くの時間と労力がかかっている、という解釈もできる。一方で、AIツールを間違って使うのがあまりにも簡単だという点にも同意する。時には「ついに分かった！」と思った翌日に、「また別のやり方で間違って使っていたのか」と気づく。ソフトウェア開発がなぜこんなに難しく、生産性の加速が難しいのか、20年以上開発をしていてもまだはっきりしない
私たちはその未来を今まさに作っている。実際、私がスピードに乗り始めたのはagentic AIが十分に良くなった4〜5月からだった。今日だけでもiMessageアーカイブをWebサイトにエクスポートするCLIツールを作ったし、以前なら数週間かかったようなことが、今では1日か2日でhomebrew formulaまで作れそうだ。iOSアプリも手書きするよりはるかに速く進んでいるが、あえてゆっくり進めている。ちなみにその投稿のデータは3〜4月で終わっているが、この時点からgenerative AIがコーディングに実質的な助けになり始めたと思う。（私はCopilotを2022年11月から使っていた）
かつてはフルタイムの開発者で、その後マネージャーやCTOとして働くうちに、だんだん開発の実務から離れていった。もう一度コーディングしようとすると、フレームワーク、API、言語、細かなコツを新たに学び直さなければならず、昔は面白かったが今では苛立たしい。ところがClaude Codeのようなツールとソフトウェア設計の経験のおかげで、以前のように大きなシステムをまた開発できるようになった。生産性が20%上がるわけでも、10倍速くなるわけでもない。そもそもやるつもりのなかったことをまたやるようになったのだから、無限大の生産性向上と表現したい。もし私が開発を愛する腕の立つ人なら、こういうツールは煩わしいだけだろうが、普段開発しない人にとっては正反対だ