1 ポイント 投稿者 GN⁺ 2 시간 전 | まだコメントはありません。 | WhatsAppで共有
  • Hermit Techが1年半にわたって参加、または間接的に観察した**AIプロジェクトの成功率は0%**であり、企業は実質的な成果よりもAI導入そのものを戦略目標にしている
  • 社内チャットボットは粗末なドキュメントのため活用されず、顧客向けチャットボットは問題を解決したかどうかさえ適切に測定されていないが、経営陣・従業員・サプライヤーの誰にも失敗を公表するインセンティブがないため、生産性向上の発表が続いている
  • 500人以上の組織では、AIの有用性を疑うと昇進や雇用が危うくなり、従業員はAIを使っていない作業までAIの成果として装ったり、トークン使用量を人為的に増やして評価指標を満たしたりしている
  • 経営陣も、顧客・取締役会・同僚の主張に反論すれば契約や地位を失う可能性があるため沈黙し、こうした調整問題が誇張された成果と不要な投資を相互に強化している
  • すべての事業・採用・予算要求にAI要素を求めると、正常な購買とコミュニケーションが妨げられるため、実務担当者は非公開の面談と匿名調査で事実を確認し、状況が固定化しているなら転職や契約社員化を準備すべきである

観察されたAI投資の失敗

  • Hermit Techはこの1年、会社の営業を担当し、世界各地の専門家約300人と対話しながら、民間・公共組織におけるAI導入の状況に触れてきた
  • チームが1年半にわたって参加した、または別の業務の中で間接的に見たすべてのAIプロジェクトが失敗しており、成功例があるとしても一般的な結果ではなく例外に近いと判断している
    • チームはAI実装の仕事をすべて断っており、OpenAIが消滅しても現在の契約に直接影響しないよう、露出を最小限に抑えている
  • AIツールが特定の作業を高速化できるとしても、現在の投資のあり方と規模は妥当ではないと見ている
    • 企業の一般的なソフトウェアプロジェクト遂行能力は低く、従来の失敗要因をそのまま抱えている
    • AIプロジェクトには、技術の新規性に由来する追加の失敗可能性も存在する
    • ソフトウェアを安定してリリースしつつ、こうしたリスクまで引き受けられる企業はまれである

失敗を隠す利害関係

  • 取締役会・経営陣・従業員・サプライヤー・コンサルタントの全員に、AIプロジェクトの成否を曖昧にするインセンティブがある
    • 失敗を認めた経営陣は地位を追われる可能性がある
    • 問題を正直に話した従業員は解雇されたり、人員削減の対象になったりする可能性がある
    • 一部の上場企業は、Copilotライセンスを購入した以外に目立った取り組みがないにもかかわらず、AIによる生産性向上を発表している
  • プロジェクトの目標・ユーザー・成果を尋ねる基本的な質問でさえ、指揮系統への攻撃として受け取られかねない
    • プロジェクト進行中は失敗がまだ表面化していないため、順調だという答えが返ってくることもある
    • Hermit Techは危機が現実化する前に介入するのは難しいと見ており、顧客が一般的なデータ戦略に関する助言を明示的に求めない限り、進行中のAIプロジェクトを先に問題視しない
  • こうしたアプローチは、Gerry Weinbergの原則である「コンサルティングとは、求められたときに人に影響を与える仕事である」に基づいている

社内・顧客向けチャットボットの限界

  • 企業で最も一般的なAIプロジェクトは、社内従業員向けまたは顧客向けのLLMチャットボットである
  • 社内チャットボットは、実質的な利用拡大がほとんどなかった
    • 企業ドキュメントの品質が低いと、LLMは回答に必要な情報を得られない
    • 記録されている、またはアクセス可能にされた情報しか活用できないため、ドキュメント化の問題をAIが代わりに解決することはできない
  • 顧客向けチャットボットでも満足のいく体験はまれで、医療診療中のリアルタイム文字起こし程度が例外だった
  • プロジェクト責任者は、ツールが実際に使われているかといった基礎指標を避けたり、簡単に操作できる指標を選んだりする傾向がある
  • Mitsubishiのカスタマーサポート事例

    • 車両故障後にMitsubishiへ連絡すると、自然な音声と速い応答を提供する自動相談システムが問題を受け付け、まもなく返信すると案内した
    • 6か月が過ぎても返信は来なかった
    • 要請がエラーとして記録されたのか、人の介入なしに解決済みとして集計されたのかは確認できなかった
    • システム上の指標では成功として記録されるかもしれないが、実際の結果は顧客がMitsubishi車を二度と購入しないと決めたことだった

AIへの信仰告白となった組織戦略

  • 観察した500人以上規模の組織では、昇進と雇用を維持するために、その事業でAIがすべてを変えるという信念を繰り返し表明しなければならない状況が増えている
  • 具体的な活用アイデアではなく、信仰告白に近い発言が求められる
    • 非技術職が主にこうした発言をするが、技術者も好意を得るために同調する
    • 「AIがすべてを変えている」と述べた後で、組織内のLLM活用事例や変わった業務を一つも示せなかったケースがあった
    • 年商20億ドル以上の組織の技術戦略をAI中心に作成した役員が、ChatGPTを含むAIツールを一度も使ったことがないと認めた事例もあった
  • 一部は思想家のように見せるための意図的な誇張だが、技術的背景のない人が自分の言葉を本当に信じている場合のほうが危険だと見ている
  • ある組織は、トップパフォーマーたちがLLMなしで成果を出したという理由で解雇しており、外部向けPRだけでなく自己資金と内部戦略でも同じ判断を維持した

技術専門家に強制されるAI利用

  • AIに懐疑的な側と賛成する側の双方が、経営陣によるLLM利用の強制は悪い戦略だという点で一致している
  • 非技術系の経営陣が専門家の同意なしに具体的な手順とツールを義務化することは、病院や土木会社のCEOが専門人材に医療・建設手法を直接指示するのと同じ問題を持つ
  • AIウォッシングとトークンランキング

    • 管理者は結果に満足していてもAIを使っていないという理由で不満を示すため、従業員は従来の方法で仕事をした後、Claudeが実行したと虚偽報告する
    • 一部の組織は、AIコストやトークン消費量が多いほど高評価を与えるランキングを運用している
    • システム最適化を担当するエンジニアたちは、LLMが自らプロンプトを繰り返すようにして消費量を増やす
    • 出力物がデプロイに不適切だと判断しても、それを捨てて別の仕事をし、使用量だけを満たす
    • あるエンジニアは、Goリポジトリのコピー全体をZigで書き直すようAIに指示した後、結果を無視していると明かした
    • このような方法で指標を操作した人は摘発されず、戦略を目に見える形で疑った人たちだけが解雇された事例があった
    • 従業員は最終的に、経営陣のAI戦略を称賛しなければ安全ではないと学習する

AIデモが購買判断を圧倒する仕組み

  • Hermit Techが顧客に導入している主要インフラの一つは、使用量ベースの分析データベースSnowflakeである
  • SnowflakeのCortexは、データ列の意味といったメタデータを活用し、自然言語の質問で会社のデータベースを照会するAIレイヤーである
    • 「先週の売上はいくらか?」といった質問に答えられる
    • Snowflake社員の発表では、理想的に構成しても大規模企業データの複雑さのため、正確度は約**92%**だったと記憶している
    • CFOが見る数値の約10個に1個が間違っている可能性があり、デプロイ管理にも深刻な問題があるため、本番環境には適していないと見ている
  • それでもCortexは印象的なデモを作りやすかった
  • 警告を無視させたデモ

    • もともとの提案には乗り気でなかった顧客も、自然言語データ照会デモを見た後、即座に購入しようとした
    • 望む成果は得られないと明確に警告したが、非AI方式で得られる数百万ドル規模の効果まで脇に置き、チャットボットに予算を集中しようとした
    • Hermit Techは顧客の判断力の空白を利用するのは無責任で、評判・法的リスクも大きいと見て販売を中止し、その後Cortexをデモ一覧から削除した
    • デモは約2時間でデータ説明をブラウザに入力して作った程度のものだったが、すでにAI活用をPRしていたASX上場企業を含む見込み顧客が既存投資で得たどの成果物よりもうまく動作した
    • その後、AIに一時的な好奇心を超える強い執着を示した見込み顧客とは、すべて取引を停止した
    • 道徳的な拒否だけでなく、契約過程で評判・法的リスクを避けるのが難しかったためである
    • 彼らが作る管理環境も宗教的で非効率なものに変わっていた

経営陣を縛る調整問題

  • 大規模AI事業を担当したり、公に誇張された発言をしたりする経営陣の一部は、自分の言葉を信じていない
    • 年間経常収益10億ドル以上の企業の一部のAI責任者は、その役職が虚構だと思っているが、組織内で唯一の昇進経路だったため引き受けたと明かしている
    • 複数のCISOはAI事業に静かに懐疑的だが、公に反対することを恐れている
  • Fortune 500企業のある役員は、顧客企業の役員たちが100倍の生産性向上を主張する状況で、サプライヤーがそれを否定すれば顧客経営陣の信頼を損ない、企業契約がキャンセルされる可能性があると語った
  • サプライヤーもまた別のサプライヤーの顧客であるため、各社の経営陣は相手の誇張に反論して、自分が先に不利益を受ける可能性を恐れている
  • これはAI成果について正直に話しにくい調整問題を生む
    • 全員が既存の立場を維持すれば地位を守れる
    • 1人が事実と異なる成果を否定すると、同僚を嘘つき・臆病者・無能者にしたと受け取られ、解雇される可能性がある
    • 解雇された席は、再び既存の立場に従う人で埋められる
    • 全員が同時に認めれば状況は変わり得るが、それを調整する手段がない
  • S&P 500企業の取締役会メンバーたちも、AI投資を求めなければ地位を維持できないという不安を示している
    • あるメンバーは「これほど早く投資するのは、上振れ余地は小さくリスクだけがあるように思える」と述べた
    • 約2年後、その数十億ドル規模の企業は自らをAI-nativeとブランド化した

すべての事業を通すAI純度検査

  • AIへの信念を公に疑えない構造のため、組織の正常な意思決定が止まっている
  • 従業員は簡単に操作できるAI支出額のような指標で評価され、不要な購入を断るとAI戦略への忠誠心を疑われる
  • 社内政治の影響を受けるすべての提案は、価値が不明確でもAI要素を含めなければならない
  • 多くのAIプロジェクトは本質的に、既存プロジェクトにAI段階を付け加え、組織の純度検査を通過した形である
  • OracleからSnowflakeへ移行した事例

    • ある組織はOracleデータベースをSnowflakeへ移行する際、LLMでOracle SQLをSnowflake SQLへ自動変換する予備段階を追加した
    • 必要な権限を確保できず自動化が失敗すると、サプライヤーは手作業でSQLを変換した
    • 失敗の原因はLLMの変換能力ではなく、自動化権限の不足だった
    • AIが変換した重要でない一部のSQLを貼り付けたという理由で、事業全体はAIベースの成功として請求された
    • 実際の購入対象は、ライセンス更新前に既存システムを廃止するための標準的なデータベース移行だった
    • 上層部には「予算の相当部分をAIに割り当てて目標を達成した」と伝えられた

AIという名前すら付けにくい事業の運命

  • LLMが唯一の中核メカニズムであり、具体的な数値目標の達成可否で成否を明確に判断できる真のAIプロジェクトはまれである
  • この種のものは主にスタートアップで見つかったが、一部は完成したとマーケティングしていた製品を、営業会話の最後にHermit Techへ代わりに作ってほしいと依頼した
  • AI要素を付けられない、または提案者が偽装を拒むと、予算要求が消えるか、すべての文書を「十分にAIらしく」書き直さなければならない
  • 追加人員を要求する前に、AIで解決を試みたことを証明するよう求める企業も増えている
    • AIを使ったが人員はなお必要だと言うと、「AIをうまく使えない人」と分類され、人員削減される可能性がある
  • AIが実際の最優先課題を解決する少数の企業を除けば、大規模組織は合理的なソフトウェア購入、人材採用、プロジェクト状況報告、重要事業の遂行に集中しにくくなっている

特定プロジェクトを立て直す必要があるとき

  • 組織全体のAI信仰を変えるより、特定プロジェクトや別の目標を達成したいなら、公然の衝突を避けるべきである
  • 1対1の対話と匿名性

    • AIプロジェクトの問題をグループ会議で提起しないほうがよい
    • 参加者ごとに、同僚の前で懐疑派として露見することを恐れているためである
    • 1対1の面談を設け、AI環境が過熱しているかもしれないという見方を受け入れ、発言者の身元を守ると伝えるべきである
    • 直接引用のように、同僚が発言者を特定できる手がかりを取り除かなければならない
    • 6人中1人程度しか問題を話せないなら、改善可能性がより高い別の組織やプロジェクトへ移るほうがよいかもしれない
  • 匿名評価で隠れた分断を見つける

    • 進行中の事業の成功可能性を1〜10点で評価する匿名アンケートが効果的な場合がある
    • 観察された典型的な結果は、半数が3点、残りが8点程度を付ける双峰型分布だった
    • すでに3年遅延しているプロジェクトでも、このような分断が現れた
    • この結果をCEOに見せれば、プロジェクト状況に関する情報が隠されていることを確認できる
  • 実際のユーザーを調査すべき理由

    • 日常業務でツールを使う現場人員こそが、投資成果を判断できる唯一のデータ源である
    • 彼らが尊重される環境で話せるようにすべきであり、大規模組織には部下を対等な人間と見なさない構成員がいる可能性がある
    • ある顧客企業では、従業員がAIツールのライセンスを付与されていた事実さえ知らなかったことが明らかになり、既存の生産性主張の根拠が揺らいだ
  • 広範な信念と直接衝突しない

    • 特定の問題解決が目的なら、「AIがすべてを変える」といった包括的な発言は受け流すほうがよい
    • 最上位職の人物から信頼を得てからでなければ、組織の現実認識に挑戦できない
    • 信頼は、公の場で相手を困らせるよりも、非公開の食事の場で不安を下げながら形成される
    • 会議に入る前に、誰がどのような公開コミットメントをしたのかを知るのは難しい
    • 「昨年より生産性が100倍高まった」とすでに発言した人は、それを撤回したくても面子のためにできない可能性がある
    • 「LLMが人のレビューなしにコードをデプロイしてはいけない」という常識的な言葉でさえ、初期の関係を断つ可能性がある
    • 公益的な目標が重要なら、中核事業に1万ドルのAIチャットボットを付け、会議ではその部分だけを強調する方法も現実的な生存策である

組織で耐えなければならないとき

  • この状況に実質的に抵抗するのは難しいという事実を受け入れるべきであり、問題はAIそのものよりも機能不全の企業文化にある
  • 正社員ではなく契約社員へ移行すれば、報酬が高くなり社内政治から距離を置ける可能性があり、耐えがたい状況でも契約終了日が決まっている
  • AIニュースの消費は、精神的消耗を減らせる程度に制限すべきである
    • Hacker NewsやRedditのように関連ニュースが絶えず流れる場所を避ける
    • 現実感覚を保つのに必要な分だけ読み、そこでやめる
    • 友人に愚痴を言うときも、その目的を事前に明らかにしておくほうがよい
  • 誰かが不適切な用途でAIを使っていても、即時の身体的危険がないなら、相づちだけ打って流すほうがよい
  • プログラマーとしてAIに関する意見を求められた場合、重要な意思決定に影響を及ぼし得る相手でない限り、「誇張された面がある」と短く答えて話題を変える方法を勧める
  • 大量のAIコードが業務を侵食するとき

    • 2,000行の低品質なAI生成PRを継続的にレビューしなければならないなら、組織が最終的にレビュアーを消耗させた後に解雇する可能性を前提に、すぐに求職を始めるべきである
    • 生成者に作業方法を変えるよう説得するのは難しく、エネルギーが残っているうちに転職を準備するほうがよい
    • 求職のために処理速度が落ちても、そうしなければ消耗とうつによって後で同じ問題が起きる
  • 管理者がAI生成文で会話するとき

    • 管理者が明らかなAI生成テキストで返信するなら、同じ方法で応答して精神的負担を減らし、新しい職場を探すべきである
    • こうした管理者は、従業員がAIで返答した事実を無礼と受け取るより、AI利用そのものを肯定的に評価する可能性がある
    • トークン使用量を最大まで満たせという要求まで受けるなら、現在の組織を離れる準備が必要である
    • こうした問題が少ない会社は存在するが、求人プラットフォームにはあまり現れない小規模企業であることが多く、見つけるのに数か月かかる可能性があるため、早めに始めるべきである

長期的に残る問題

  • 現在のAIバブルがいつか終わっても、指導層に根付いた非合理的な特性は、その後の別の流行をきっかけに再び活性化する可能性がある
  • 一部の組織は、ブロックチェーン熱から抜け出せなかった事例のように、完全に崩壊するまでイデオロギー的に取り込まれた状態を維持する可能性がある
  • 当面は、正常な判断を回復できる範囲で非公開データと現場の意見を確保し、変えられない組織では個人の現実感覚と生存可能性を優先すべきである

まだコメントはありません。

まだコメントはありません。