- Deloitteは、生成AIを活用して誤りを含む44万ドルの報告書を提出した後、豪州政府に一部返金を行った
- この報告書は、福祉システムのコンプライアンス・フレームワークおよびITシステムをレビューする目的のもので、報告書内で複数の誤りや架空の引用文および虚偽の資料引用の問題が見つかった
- Deloitteは、報告書の付録で Azure OpenAI GPT–4o のような大規模言語モデルを使用したことを明記したが、誤りの直接原因がAIであるとは認めていない
- 労働党の上院議員は、コンサルティング会社の専門性が不足しているとして、AIが主要な役割を果たした点を批判した
- 最終報告書の修正後も、中核的な内容と結論に変更はなく、勧告事項も維持された
Deloitte、豪州政府にAI使用をめぐり返金
事件の概要
- Deloitteは、44万ドル相当の政府報告書の作成に生成AIを活用した事実を認めた後、誤りが見つかり、契約金の一部を返金することを決めた
- この報告書は、オーストラリア雇用・職場関係省（DEWR）の依頼で、福祉受給者コンプライアンス自動化システムの見直しのために作成されたもの
- 報告書では、フレームワークの規則と実際の法律の連結性の欠如や、ITシステムの根本的欠陥など複数の問題が指摘された
AI活用と問題点
- 報告書は7月4日に最初に公開された後、複数の誤りや存在しない引用文の問題がメディアによって指摘された
- University of Sydney の Dr. Christopher Rudge によれば、報告書にはAIでよく見られる "hallucination"（ハルシネーション）、つまり存在しない資料を作り出す問題が各所に現れていた
- たとえば、新しい報告書のバージョンでも虚偽の引用文がむしろ増えており、一部の結論が実際の根拠資料よりもAIによって生成されたことを示唆している
- Deloitteは更新版報告書の付録に、Azure OpenAI GPT–4o のような大規模言語モデルの使用事実を追加した
- DEWRのAzure環境で、ライセンスベースで動作するツールチェーンを利用したと明記した
- ただし、初版報告書の問題の原因が直接的にAIにあるとは認めていない
反応と後続対応
- 労働党の Deborah O’Neill 上院議員は、「Deloitteは人間の専門性の不足に苦しんでいると言える。部分返金はずさんな仕事に対する不十分な謝罪だ」と批判した
- 政府および発注側には、実際の専門家の関与とAI非依存性の証明が必要だと主張
- 「コンサル会社に頼むよりChatGPTの購読をした方がましだ」との批判的な意見も示した
- 報道機関の調査によれば、存在しない大学研究報告書の引用、実際と異なる裁判所判決の要約の提示など、具体的な虚偽内容が報告書に含まれていた
- 例：University of Sydney、Lund University の教授論文、Robodebt事件（Deanna Amato v Commonwealth）判決などに関する資料の虚偽要約
公式見解と影響
- Deloitte側は、DEWRと直接問題を解決したとして、更新版報告書の結論および勧告事項には変更がないことを強調した
- DEWRも、一部の不備のある脚注と引用文を修正しただけで、全体の勧告事項と中核内容は維持されているとの立場を示した
- 一部の専門家は、報告書全体の結論は現存する証拠と一致しているものの、報告書の信頼性には疑問が残るとみている
示唆
- 本件は、コンサルティング業界における生成AI利用の透明性と、専門性の担保要求を社会的に浮き彫りにするきっかけとなった
- 発注者は、AI活用の有無や専門性の実名検証のプロセスを強化する必要性を認識することになった
1件のコメント
Hacker Newsの意見
補足すると、この報告書は、公的支援を受けている人々が求職要件を満たしていないとして人生を壊しかねない誤った罰金を科した、問題のあるITシステムに関するもの。罰金は即座に債務判決の形で課され、実際に借金取り立て人が自宅に来て物を持っていく事態まで起きた。しかも、そのシステムの深刻な欠陥のせいで、公的支援を一切受けていない人にまで誤って罰金が科された。そんな状況でDeloitteのようなコンサル会社に44万ドルを払って報告書を依頼したところ、彼らはAIを使って報告書を作成し、かえって誤りを増やした。もしDeloitteにシステム構築まで任せていたら、Royal MailとFujitsuの件が再現されていたのではないかという懸念がある
こうしたAI乱用が本当の意味で生死に関わる問題へ拡大するのではないかと懸念している。Deloitteの人たちが無知だったりやる気がないのではなく、金だけを追う集団なので、AIを使って雑に要件だけ満たし、次の契約へ移るという姿勢を見せている。その結果、多くの人の人生が壊れたり、極端な選択につながる可能性すらある。単なる文書のごまかしではなく、実際に武装した人間が家に来る問題だ
想像する必要もなく、こういう問題はすでに起きている。Deloitteのロードアイランド州データ漏えい事件を参照
Deloitteを通すのすら面倒なら、もうOpenAIに直接頼めばいいという意見
そもそも最初から問題だった理由は、元のシステム構築時にもDeloitteを使っていた可能性が高いことだ
コンサル／アウトソーシングの問題点を語るついでに、Aチーム／Bチームへのすり替え問題にも触れたい。最初は有能そうな人が商談に出てきて契約を取るが、いざ契約が成立するとその人は別の営業現場へ行ってしまい、代わりにBチームかCチームのメンバーが出てくる
私の経験では、大型サービス契約で最初にAチームがうまく口説いて契約を成立させても、実際に働くのはBチーム。こちらの関心が薄れた頃には今度はZチームに入れ替わる。品質に金を惜しまず一生払い続けるつもりだったとしても、結局は欲をかいて契約そのものを失うことになる
チーム規模がさらに大きくなると、A級の実力者が100チームを回っていて、クライアントが怒ると一瞬だけ現れて安心させ、また消えるというケースになる。残りは全員ジュニア級か、今ではAI併用でなおさら専門家が少ない。私の顧客は50万ドル払ってプロジェクトを任せ、数か月にわたり15人分の費用を払っていたと信じていたが、Zoom会議で面談してみると15人のうちプロジェクトを理解していたのは1人だけだった。その1人は最初に雇われたテックリードで、パートタイムでかろうじて参加していた。コード品質を見るに、残りの5人ほどはcodexやclaudeでコードを貼り付け、「偽のQA」を通してそのまま本番に出しているようだった。こういうことはAI以前からあったが、昔は単に15人のジュニアが無差別にコーディングしていたという違いしかない
この話を時代をよく表したジョークとして言うなら、Dilbertの漫画を参照
これこそがゲームのすべてだ。パートナーに会い、結局は新卒を連れてこられ、しかもパートナー級の人件費を払う。運が悪ければその新卒を自分で教育する羽目にまでなる
好意的に言えば、コンサル／アウトソーシングを使う理由の一つは、社内人員だけでは消化できない単発の大規模プロジェクトがあるからだ。複数のフリーランサーを個別に集めてチームを作るより、すでに構築済みの外部チームを短期間使うほうが効率的だ。実際にはコンサル会社もその都度外部から人を集めてきて、チームのように見せることもある
コンサルティングがどうして、なぜ機能するのか説明できる人がいるのか気になる。実質的に「助言」しかできない個人なら落伍者扱いされそうなのに、会社形態にするとむしろ企業や政府が列をなして助言を求める。実際には社内社員のほうが外部コンサルタントより会社事情をよく知っているのに、プレゼンとググることしかしない外部の人間がなぜより信頼され、金を稼げるのか理解できない
実際には、責任を取りたくない悪いアイデアを押し通すときに、望む答えが出るまでコンサルを雇い続ける。コンサルの品質は重要ではなく、インターンやAIで代替しても十分だ。結果がひどければコンサルのせいにできる。社内社員は会社の利益のために助言するのに、自分の利益のためにその声を抑えたり無視したりする。問題が表面化した頃には、本人はすでに転職して履歴書に1行追加して終わりだ
実際、大企業の中には社内に専門性がまったくないところが多い。しかも1人が専門家のふりをして、もっと優秀な人材の採用を妨げることも珍しくない。優れたコンサルタントは、何をすべきかを証拠付きで助言し、必要ならプロジェクト単位で実行までしてくれる。本当に優秀なITコンサルタントは、国内でも指折りの複数スキルセットを持っていて、企業がフルタイム雇用するには負担が大きいが、月に数時間外注するだけでも十分価値がある。一方で大手コンサル会社は、単に営業に命を懸け、意思決定者をVIP待遇する。出張、酒、接待などの裏事情も働く。以前あるプロジェクトの助言をしていたとき、クライアントの前で見当違いなコンサルタントのDynamics CRM・Sharepointの営業トークを公然と論破したことがある
コンサルティングは単なる「助言」ではない。実際にはソフトウェア実装など多くの実務を含む。大企業ほど欲しいのは「法的保証」だ。プロジェクトが失敗したとき、訴える相手が明確でなければならない。成果物の「品質」は法的保証に比べれば二の次だ。その役割をコンサル会社が担う。人員は多く、新卒社員も多い。品質が足りなければ、さらに人数を追加投入するか長時間労働を強いることで対応する。こうした構造から「ミートファーム(meatfarm)」とも呼ばれる。簡単には潰れない。ソフトウェア開発も多重下請けや海外アウトソーシングを通じて何度も手数料を抜かれながら進む。仕事自体は難しく、退屈で、雑務も多い。契約書の作成も一冊の小説並みに詳細だ。Accentureで新卒だった頃、単純なウェブサイトのスクロールバーの色変更の見積もりが、インドの社員が10行のコードで済ませる内容でも3000ユーロだった経験がある。その後転職した
理論上は、独特の問題解決能力や特化ドメイン経験を持つ人たちもいる。そういう人材を集めて会社にし、プレミアムを付けて売るモデルは成立する。どのコンサル会社にも本物の実力がないと決めつけるのは誤りだ。単なる「経営コンサル」だけでなく、テックコンサルやセキュリティのように実際の専門性を持つ分野も多い。実際、社内人員では解決できない、あるいは社内で問題を起こしたケースもよく見る。優れたコンサルタントは、社内社員の隠れた洞察まで最大限引き出し、問題解決に活用する。要件収集やマネージャーとのコミュニケーションなど、ソフトウェアエンジニアと重なる能力もある
現場で見たコンサル活用の例はこうだ
政府などの組織はたいてい社内エンジニアの意見を無視し、むしろ何百万円もかけて外部コンサルを雇い、同じ結論を聞いたり、単に「我々は解決のために何かしている」と見せるために使う。時には経営陣が社内人材を信用していなかったり、チームを本業から逸らさずに素早い結果を出したいから使うこともある。一部では無意味な実績作りや、紹介料や裏取引が動機になっていることすらある
社内の人間は問題の当事者と判断者が重なりうるので、時には外部コンサルを使うのが必ずしも悪い選択ではない。独立した、多少誤解があったとしても利害関係のない視点が役立つこともある
コンサルティングが法的・成果責任の分散に使われる重要な役割を見落としている
これは一種の「実査ごっこ(due diligence theater)」だ。特に経営陣は競合他社のエンジニアが何を勧めるか知りたがっており、コンサルタントはそうした最高の助言を代理する役割を目指している
それを簡単に言えば「意思決定ロンダリング(decision laundering)」だ。すでに内部で決まっている方針に信頼性を上乗せしたいとき、外部コンサルを使う。CEOたちですら私的な場では認めている
もし物事が壊れたら、ディレクターは「我々はDeloitteの勧告に従った」と言って責任回避できる。「IT部門のBobがそう言った」と言うのとは、防弾性がまるで違う
MBA出身でコンサル業界に入りかけたが思い直してソフトウェアエンジニアに転向した人間だ。コンサル案件の顧客は、現実には「役員」だ
以前、「Elonならどうするか？」みたいな秘書を紹介されたことがある。役員たちは、競合他社（あるいは仮想の競合）が同じ情報の下でどう判断するかを知りたがっている。同時に、その仲介役をするコンサルの補佐役の判断も参考にしたいのだ
業種と地域によって大きく異なる。私が働いていた大企業の中には、コンサルの顧客が役員ではなく、中間管理職レベル（役員から何段階も下）だったところもある
軽いリサーチ＋聞きたいことを言ってくれるのが核心だ。この点でAIにはコンサル市場をひっくり返すチャンスがある
この過程では「クライアント」と「顧客(customer)」の概念の違いも重要だ
オーストラリア政府をだまして税金を無駄遣いしても、結果は一部返金だけだ
Craig Wrightの事例を見ると、彼は有名なSatoshi詐称者だ。ビットコイン詐欺以前にも、何百万ドルもの付加価値税およびR&D税還付詐欺を行い、さらに何千万ドルもの詐欺を試みて見つかり、オーストラリアから逃げて一部返金しただけで、残りの処罰もなく海外でうまく暮らしている
実際、こうならざるを得ない構造だ。もし10人に1人が詐欺をするなら、全額回収は不可能だ。「費用＋損害」だけ請求して終わる。もし全額回収が原則なら、契約書は実務そのものより長くなるだろう
この事例は本質的にはAIの問題ではなく、報告書作成の監督失敗のほうが大きい。外部コンサルの役割は、調査結果が公衆の検証に耐えられるようにすることなのに、ここでは完全に失敗している。衝撃的なのは、こうした実績不振にもかかわらず一部返金だけで済み、現在および将来の契約全体に対する再評価がないことだ。報告書の誤りがAIのせいであれ、徹夜続きのコンサルタントのせいであれ、結果によって扱いが変わるべきではない
CEOたちはGenAIが人員を置き換えると誤解しているが、現実には顧客の側もGenAIが作った成果物に対してはるかに低い金額しか払おうとしない。結局、削減効果は消える。いまや低利益、品質低下、値下げの悪循環だ
付け加えるなら、顧客は「責任を負って任務を完遂する人間」に対して金を払っている。AIには責任能力がないので、この種の報告などに金を払う価値はない
関連して、Post-AI時代には同じ人数（あるいはそれ以上の人数）でより多くの成果を出すことが成功への道だ。AIによって自動化が一般化し、仕事の価値が下がる中で、人員だけ減らして運営するのは生存戦略ではない。むしろ、以前は不可能だった「規模と品質」を基準値として満たさなければならない
「サービス価値をゼロに近づける一方で、新しい価値を創出できる」というのがこの考え方だ
今回の報告書は、失業者が求職活動に失敗すると給付を受けられなくする政策、つまりAIによって仕事を失うと懸念されているまさにその層に関する問題でもある
顧客の立場からすれば、GenAIが作った成果物を安く使えるなら、むしろ売上拡大要因ではないか。Deloitteの件は別として、GenAIをうまく使えば本当により良い成果も出せる
長年コンサル会社で働いてきた経験があるが、多くの人はコンサルについて正しく理解していないように思う。もちろん不誠実な不正事例もあるが、コンサルがもたらす利点と価値は実際に大きい。今なお市場に残り、毎年何十億ドルも稼いでいることを見ても分かる
経済規模に比して社会に生み出す価値がこれほど少ない組織が、Big 4以外にあるだろうかという意見だ