AIコーディング万能説の虚像、なぜ「ショベルウェア」の爆発的増加は起きていないのか
(mikelovesrobots.substack.com)- 最近のAIコーディングツールの生産性向上という主張をデータで検証した結果、実際には速度や成果物が目立って増えていない
- METRの研究では、開発者はAIコーディングツールによって生産性が20%向上すると信じていたが、実際には19%低下していた
- 数多くの宣伝文句や企業、開発者による誇張された10倍の生産性という主張は、市場の現実や新規ソフトウェアのリリースに反映されていない
- Shovelware(大量生産アプリ、低品質ソフトウェア)の急増のような現象は観測されておらず、目に見える変化がない
- GitHub、Copilot、Cursor、Google、OpenAIなどの企業と一部開発者による生産性の誇張が、投資、リストラ、年収設定に悪用されている
- 核心となる結論: 「実際により多くのソフトウェアが生まれていない限り、AIコーディングが開発者を10倍にするという主張は虚構だ」。したがって開発者は圧力に振り回されず、データで対応すべきだ
序論: ソフトウェア開発者、AIコーディングに憤る
- 長年ソフトウェア開発者として生きてきて、プログラミングに誇りとアイデンティティを持っている
- AIベースのコーディングツール導入初期には期待を抱いていたが、最近の研究(METR)によって懐疑的になった
- 自分ではAIコーディングによって約25%速くなったと思っていたが、METRの研究ではむしろ19%遅くなるという結果だった
- この研究により、開発者が体感するAIツールの効率性と、実測データが正反対であることが確認された
- 自ら実験してみた結果でも、AI活用が実際のプログラミング時間に好影響を与えていないと実感した
自ら検証: AIあり・なしのランダム比較実験
- 作業単位ごとにAIを使った場合と使わなかった場合の**時間差(Delta)**を測定する実験手法を適用
- 6週間の実験で得られたデータからは、統計的に有意な差は見つからなかった
- 小規模なサンプルにもかかわらず、AI利用は実際にはむしろ21%遅くなる傾向が確認された(METR研究と同じ数値)
- もし本当に2倍、10倍の改善効果があったなら、データにはっきり表れていたはずだ
- 現在のAIコーディングという夢は実現しておらず、実際には変化がない
期待と現実: Shovelwareの爆発的増加がない理由
- AIコーディングの生産性革命が現実なら、あらゆるアプリやサービス、ゲームが爆発的に増えているはずだ
- 数多くのAIコーディングツールのマーケティングメッセージ(“Built to make you extraordinarily productive” など)が飛び交っている
- Google、OpenAI、GitHub Copilotなども、開発者の25%速度向上や10倍の生産性を主張している
- しかし実際の新規ソフトウェア公開データ(GH Archive、BigQueryなど)では、急激な成長や爆発的増加は起きていない
- 2022年以降、AIコーディングが一般化したにもかかわらず、世界全体の新規リリース数やプロジェクト数値には大きな変化がない
市場への影響と開発者の現実
- AI-First戦略、FOMO、大規模レイオフ、開発者の年収引き下げといった業界内の社会的波紋まで生じている
- 実際の開発現場では、AIツールは生産性革命をもたらしていない
- 学習曲線やツール習熟度でも、絶対的な生産性差を説明することはできない
結論: 冷静なデータベース判断の必要性
- 現時点で新規ソフトウェア出荷量に変化がないことを、データで確認するのが核心だ
- AIで10倍コーダーになったという主張には証拠がない
- 開発者は圧力に屈せず、自ら確認したデータに基づいてツール選定を行うべきだ
よくある反論への反駁
-
"プロンプト技術をきちんと身につければ10倍開発者になれる"
- 実際に10倍の生産性を達成した人たちがいたなら、世界の新規ソフトウェア生産量は2倍以上になっていたはずだ
- 主張よりも**客観的な成果物(アプリ、プロジェクトなど)**こそが重要な証拠だ
-
"まだ初期段階だから時間が必要だ"
- すでに数十億ドルが投資され、実際の現場にも導入済みだ
- 今日の意思決定が現実の人々の生活に直接影響する
-
"今導入しなければ出遅れる"
- GitHub Copilotのデータなどを見ても、習熟度向上による実質的な生産性向上はごくわずかだ(29% → 34%承諾率)
-
"量は同じでも品質が良くなっただけだ"
- 業界全体の品質はむしろ後退しており、テストも減っている
- 本当に10倍コーダーのためのツールなら、Shovelwareの氾濫が現実になっているはずだ
-
"すべてがWebサイト中心で、今はドメイン名に関心はない。Vercelのようなサービスのサブドメインで十分だ"
- 依然として独自ドメインを好むユーザーは多い
-
".aiドメインの急増(今年47%)=実質的な増加だ"
- 新規ドメイン増加はAIスタートアップのピボットによるもので、全体の新規ドメイン数が爆発的に増えたわけではない
- ドメイン総数はそうなっていない
-
"開発の本質はコード以外の業務だ"
- 大企業ではない個人・小規模開発者の環境では、実際にはコードが中心だ
- ちょっとしたコーディング欲を満たす新規プロジェクトが、目に見えて増えているわけでもない
まとめ
- 開発者は実際にはより多くをリリースしていない
- AIコーディングが10倍の生産性をもたらすという主張は、データで反証できる
- 業界のFOMOやマーケティングの物語に振り回されず、実際の成果物を中心に評価すべきだ
- 著者のメッセージ: 「プレッシャーを感じるなら、データとグラフを見せよう。10倍生産性の主張には領収書を求めよ。」
まだコメントはありません。