AIの大惨事：プロジェクトの80%が失敗し、数十億ドルが浪費される
(salesforcedevops.net)- RAND研究所の新しい報告書は、AIをめぐるHypeにもかかわらず、大半のプロジェクトが失敗していることを示している
- RAND：米国を代表するシンクタンクの1つ。名称はR&Dを意味する。ダグラス・エアクラフトが1948年に設立
- 本報告書は、65人の熟練したデータサイエンティストおよびエンジニアへのインタビューに基づき、こうした失敗の根本原因を明らかにするとともに、成功へのロードマップを示している
リーダーシップの失敗：盲人が盲人を導く
- AIプロジェクト失敗の最大の原因は技術ではなく、最上位の経営陣にある
- 経営陣は、AIでどの問題を解決すべきかを誤解したり、誤って伝達したりすることが多い
- 経営陣はAIに過大な期待を抱いており、成功するAI実装に必要な時間とリソースを過小評価している
- 経営陣と技術チームの間で明確なコミュニケーションやプロジェクト目標への理解が不足しているため、AIイニシアチブは始まる前から失敗する運命にある
- 多くの組織では、成功するAI実装に必要な忍耐が不足している。プロジェクトは途中で打ち切られたり、実際の価値を証明する機会もないまま新たな優先事項へ切り替えられたりすることが多い
データのジレンマ：Garbage in, garbage out
- データ品質は2番目に重要な障害として挙げられている。「AIの80%はデータエンジニアリングの泥臭い作業だ」
- 多くの組織では、効果的なAIモデルを訓練するのに十分な高品質データが不足している
- レガシーデータセットはAIの訓練に適していない可能性がある
- データエンジニア不足は、知識の喪失とプロジェクトコストの増加につながる
- AIチーム内でドメイン専門性が不足していると、データの誤解釈やモデル設計の欠陥を招く可能性がある
光るものを追いかける：エンジニアが集中力を失ったとき
- エンジニア自身がプロジェクト失敗に寄与することもある
- 多くのデータサイエンティストやエンジニアは、より単純な解決策で十分であっても、最新の技術進歩を使いたくなる
- この「光るもの」を追い求める傾向は、保守が難しく、利害関係者に説明しにくい不必要に複雑なソリューションにつながりうる
- 組織は、イノベーションと実用性のバランスを取る必要がある。技術進歩を追うことも重要だが、実際のビジネス課題を効果的に解決することに注力すべきである
インフラ：成功のための地味な土台
- インフラ投資の不足は、AIプロジェクト失敗のもう1つの主要因として挙げられている
- 多くの企業は、必要な基盤を先に整えずにAIプロジェクトを始めようとする
- 組織はAI実装について、より包括的な視点を持つ必要がある。これは、堅牢なデータパイプライン、自動化されたテストおよびデプロイシステム、本番環境でのモデル性能を監視するツールへの投資を意味する
- 多くの組織は、成功したAIプロトタイプから本番対応システムへの移行に苦労している。この「ラストマイル」問題が、有望なプロジェクトをしばしば頓挫させる
提言：AIへの熱狂に対する現実確認
- RAND報告書は、組織がAIプロジェクトの成功率を高めるために、次のような提言を示している:
- 技術スタッフがプロジェクトの目的とビジネス文脈を理解できるようにする。 「プロジェクトの意図と目的に関する誤解や誤ったコミュニケーションが、AIプロジェクト失敗の最も一般的な理由だ」と報告書は指摘する。そのためには、ビジネスチームと技術チームの継続的な対話、共有された理解と用語を築くための努力が必要である。
- 持続可能な問題を選ぶ。 「AIプロジェクトを始める前に、リーダーは各プロダクトチームが少なくとも1年間、特定の問題を解決することに専念する準備ができていなければならない。」この提言は、短期的な成果を追ったり、優先順位を次々と変えたりする傾向に反論するものだ。長期的で高いインパクトを持つ問題に焦点を当てることで、組織はAIイニシアチブに成功に必要な時間とリソースを与えることができる。
- 技術ではなく問題に集中する。 「それ自体を目的として最新のAI技術を追いかけることは、失敗への最も頻繁な道の1つだ。」報告書は、最先端のソリューションでなくても、その課題に適したツールを選ぶことが重要だと強調している。これは、組織が技術チームを評価し報酬を与える方法の変化を求める可能性がある。
- インフラに投資する。 「データガバナンスとモデルデプロイを支えるための事前のインフラ投資は、AIプロジェクト完了に必要な時間を大幅に短縮しうる。」このような投資はAI研究ほど華やかではないかもしれないが、長期的な成功のために重要である。これには、堅牢なデータパイプラインの構築、モデルとデータのバージョン管理の実装、展開されたAIソリューションを監視・保守するためのシステム開発が含まれる。
- AIの限界を理解する。 「AIは難しい問題を解決できる魔法の杖ではない。場合によっては、最も高度なAIモデルであっても難しい作業を自動化できない。」報告書は、AIにできることとできないことについて、より現実的な評価を求め、組織に対して期待値を下げ、AIが本当に価値を生み出せる領域に集中するよう促している。
学界の視点：論文を出すか、消えるか
- この研究は学界のAI研究も調査しており、論文発表への圧力と名声追求が実際の応用をしばしば圧倒していることを見いだした
- 「AIプロジェクトが論文発表につながらなければ、成功と認識されなかった」と報告書は指摘し、学術的インセンティブと現実世界での影響の不一致を強調している
- このような論文発表中心のアプローチは、研究者が現実世界に大きな影響を与えうる漸進的改善よりも、新規性はあるが非現実的なアプローチを優先することにつながりうる
- 報告書は、学術機関がAI研究における成功基準を広げ、実用的な応用や産業協力に関する指標を含めることを検討すべきだと提案している
- またこの研究は、多くの学界研究者が高品質な実世界データセットへのアクセスに苦労していることも見いだした。これは学術研究と実応用の間の乖離につながる可能性がある
- 報告書は、研究者に対し、必要なプライバシーおよびセキュリティ対策を維持しつつ、より関連性の高いデータへのアクセスを提供するため、学界・産業界・政府機関の協力促進を勧告している
AI業界への警鐘
- このRAND報告書は、AI業界にとってまさに必要な現実確認の役割を果たしている
- AIの潜在力は依然として莫大だが、成功する実装への道は課題に満ちている
- 組織は、誇大宣伝と現実の間のギャップを埋め、データ品質、インフラ、技術チームとビジネスチームの明確なコミュニケーションといった堅実な基礎に集中しなければならない
- あるインタビュー対象者が賢明に指摘したように、「利害関係者はプロセスに参加したがっている。『予想より長くかかっているので、2週間後にまた連絡します』と言われるのを彼らは好まない。彼らは知りたがっている。」これは、AIプロジェクト全体を通じた継続的で透明性のあるコミュニケーションが必要であり、すべての利害関係者に情報を共有し、関与してもらうべきことを強調している
- 報告書はまた、AI開発における忍耐と粘り強さの重要性も強調している。短期的な成果はまれであり、組織はAIイニシアチブから実質的な利益を得るために長期的な取り組みを行う準備ができていなければならない。これは、短期志向から離れ、より戦略的で長期的なAI実装の見方へと移行するための、組織文化と期待値の変化を必要とする可能性がある
- こうした教訓を受け入れ、より現実的で忍耐強いAI開発アプローチを採用することで、組織はこの変革的分野で成功する可能性を高められる
「AIの未来は明るい。しかし、それはその道に横たわる非常に人間的な課題を乗り越えられる人々にのみ開かれている。業界が成熟するにつれ、イノベーションと実用性のバランスを取り、技術的卓越性とビジネス感覚を兼ね備えた人々こそが、AIの真の潜在力を活用する最適な位置に立つだろう。」
6件のコメント
企業が失敗に耐えられるのなら…
結局、生き残れる者が勝つ。
とても共感できる投稿ですね ^^ ちょっとした揚げ足取りでもない揚げ足取りをすると……この文脈での「Publish」は「出版」ではなく、「論文発表」としたほうが自然な気がします。
賢い人がずっと前に本質的な問いを残していました...
儲かるのか？
企業は早く収益を上げようとしていて、名前だけAIっぽい何やかやを売っているし、ユーザーが期待する水準は少なくとも10年以上投資した成果物であるはずだから……大変ですよね……
LLMが作ったでたらめな財務諸表の数値を投資家に誤って伝える場面を想像してみれば、理性的な経営者ならLLMにこれほど熱狂しないはずです。いくら説明しても意地を張る一部の人たちには、恥ずかしい経験をすることが薬になるのではないかと思います。
Hacker Newsの意見
RANDレポート: 「業界の利害関係者が、AIで解決すべき問題を誤解したり誤って伝えたりしている」という内容がある
投資失敗の問題: 80%の失敗自体が問題なのではなく、残りの20%の中のいくつかのブラックスワンが投資全体を収益化できるかが重要
Rand Reportリンク: Rand Report
AIの乱用問題: 企業が「とにかくどこにでもAIを差し込め」と指示することが多い
スタートアップ成功率: スタートアップの90%が3年以内に失敗することを考えると、80/20の法則のほうがまだまし
歴史の繰り返し: DARTが1991年に導入され、1995年までにDARPAのAI研究資金を相殺した事例がある
AI機能の問題: AI機能が維持されるのは、経営陣がAIに過度に執着しているからだ
R&D成功率: 最先端技術では、20%のプロジェクトが成功するだけでもかなり良い成果かもしれない
AIによるコーディング代替: AIがコーディングを置き換えるという主張には懐疑的な見方がある
ウェブサイトのダウン: HNトラフィックに耐えられずWordpressサイトがダウンした