AIが新技術の採用を妨げる
(vale.rocks)- AIモデルが開発者のワークフローに統合されるにつれ、特定の技術の利用を後押ししたり妨げたりしている
- 大規模言語モデルが特定技術に偏った応答を返すことで、AIが支援しやすい技術を優先して採用しようとする傾向が生まれている
- 以前から文書化やサポートが充実したツールが選ばれがちではあったが、AIがこの判断要因を過度に増幅していることが問題として指摘されている
知識格差
- 大規模言語モデルは大規模データセットと長い学習期間を経るため、リリース時点ですでに古いバージョンの知識を含んでいることが多い
- 学習のcutoff以降に登場した新技術については、AIが適切な支援を提供できない
- 例: Anthropic、OpenAIなどの主要モデルは2023〜2024年ごろの知識cutoffを持つ
- 知識ギャップのため、新しい技術を使おうとする人はAI支援の不足で不便を被り、その結果として当該技術の採用が遅れる現象が起きる
- 既存で市場シェアのある技術は熱心なユーザー層が存在するため資料が蓄積されるが、完全な新技術はドキュメントやブログなど生成される資料自体が少なく、モデル訓練に反映されにくい
- AIがインターネット接続機能を一部提供していても、明示的に要求する必要があったり、そもそも機能がない場合が多い
- 新技術に対するAI支援の不足 → ユーザーと資料の減少 → モデル学習データの不足 → 再びAI支援の不足へと続く悪循環が起こり得る
- 最新のJavaScriptフレームワークを使おうとする開発者がAIの助けを得ようとした際、モデルが十分な案内をできなければ、旧来のドキュメントや慣れたツールを選ぶ誘因がさらに強まる
システムプロンプトの影響
- Claudeなど一部のAIモデルはReactとTailwindへの好みをしばしば示す
- 例: Claudeに「バニラHTML/CSS/JSを使用」と依頼してもReactコードを提案したり、既存コードをReactに書き換えようとする傾向が観察される
- 一部モデルのシステムプロンプト（または非公開の機能別プロンプト）には、React、Tailwind、Mermaidなど特定のライブラリやツールが明記されている
- 実際の対話例ではSvelte Runesの利用を求めた際にモデルがReactの代替案を提示し、結果としてユーザーがReactを受け入れやすいよう誘導する様子が見られる
- ユーザーは最も簡単な解決策（Path of least resistance）を選びがちなため、AIが提示するデフォルトの選択肢は技術選定に大きな影響を与える
テスト
- AIモデルが新しいWebアプリの作成を依頼されたとき、Reactを推薦するかを確認するための簡単なテストを実施
- Anthropic Claude 3.5 Sonnet: 3回ともReact + Tailwindでプロジェクトを生成する例を提示
- OpenAI ChatGPT 4o: 3回ともReact + Tailwindでアプリを生成し、Canvas機能でプレビューを提示
- Google Gemini 2.0 Flash: 3回ともバニラHTML/CSS/JSを使ったが、React、Angular、Vueの利用を推奨
- DeepSeek-V3: バニラHTML/CSS/JSやNode.js、Express.js、MongoDB、Bootstrapなど多様な組み合わせを提示。ただし具体的なコードよりプロジェクト概要の形で提案
- この結果、ClaudeとChatGPTはReact + Tailwindを非常に好み、GeminiはHTML/CSS/JS寄りだがReactを推奨、DeepSeekは技術的なばらつきが最も大きい一方で、出力品質はやや概要中心だった
振り返り
- 初心者開発者や、プロンプトだけでアプリを作る人はChatGPTなどの出力をそのまま受け入れる可能性が高い
- 別のフレームワークを選んでも、モデルがシステムプロンプトなどの内部ルールによって継続的にReactへ誘導する可能性がある
- すでにAIと相性が良いと知られている技術を選ぶ空気が生まれる可能性があり、これは新規または少数派の技術の普及を妨げる
- 大規模言語モデルの偏りは、現在人気の技術の寿命を延ばし、新技術の市場参入障壁を高める方向に作用していると考えられる
- AI企業はモデルの技術的バイアスに関する情報を明示的に公開する必要があると提案している
- 今後の研究として、特定技術を含むシステムプロンプトの時系列変化とパッケージダウンロード推移を比較して相関を探る方法などが考えられる。ただし変数が多く、ノイズも大きい可能性がある
[参考 1] 「最も人気のあるAIチャットプラットフォーム」は筆者の主観的観察に基づく
[参考 2] ClaudeとChatGPTはartifact、canvas機能によってユーザーに簡単で即時的な成果物を提供できるため、開発入門者や新規ユーザーに特に大きな影響を与える
4件のコメント
貧富の二極化は消滅…
新しい製品を作るなら、少なくともMCPサーバーも一緒に作らなければ…
逆説的に思えるが、自ら学ぶ力を高めることが、AI時代における競争力を高める方法なのではないかと思います。
これはStack Overflowも同じではないでしょうか？
Hacker Newsの意見
AIは新技術の採用を妨げない
OpenAI Codex論文で予測されていたこと
新技術はデータと給料を吸い取るゴミだという意見
LLMが特定の技術を明示したら、その技術を使うべきだという意見
LLMはElmのような言語で有用だろうという意見
データ可視化でmatplotlibを使った経験の共有
新しいフレームワークや技術採用に対するLLMの影響についての問い
Claude 3.5 Sonnetのコード生成における選好の問題
最新のJavaScriptフレームワークを使う開発者の例
Anthropicが推進するMCP標準の例