EY Canadaがサイバーセキュリティ報告書を公開したが、引用の大半は幻覚だった
(gptzero.me)- EY Canadaの44ページに及ぶロイヤルティ詐欺レポートは、虚偽の引用、誤った出典表示、捏造された統計、AI生成テキストが混在する文書だったことが判明
- 参考資料表のURLの大半は壊れているか偽物で、タイトルの半数以上が実際の出典と一致せず、AI Scanは本文の72%をAI生成と判定
- BleepingComputer、Wired、Gartner、McKinsey、Forbes、Cisco Talos、TechCrunchの出典の多くが404エラー、タグページ、存在しない文書であることが確認された
- 2,000億ドルという数値は、ロイヤルティポイント市場全体と未使用ポイント価値という両立しにくい意味で使われ、根拠として示された2件の引用も捏造だったことが判明
- 欠陥のあるレポートはCanberra Timesと60紙以上の新聞に広まり、Claude・ChatGPT・Perplexityもその幻覚情報を露出した
EY Canadaレポートの問題
- EY Canadaは2025年末のロイヤルティシステムにおけるサイバー脅威と詐欺を扱う44ページのレポート Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems を公開した
- このレポートにはパートナー2名とシニアマネージャー1名のクレジットが付されていたが、虚偽の引用、誤った出典表示、捏造された統計、AI生成テキストが見つかった
- EY Canadaは、カナダ政府に毎年数百万ドル規模のサービスを提供しているErnst & Youngのカナダ組織である
- GPTZeroのHallucination Checkは、ここ数か月の主要コンサルティング企業の公開レポートを探してスキャンする自動化パイプラインで使われており、大企業のレポートでもvibe citingが広がっていることを示唆する
引用方式と検証結果
- EY Canadaのレポートは、脚注や一般的な学術引用の代わりに本文中で直接出典に言及するか、41〜43ページのresources tableに出典をまとめていた
- この表は出典タイトル、説明、URL、一部の出版社名と日付を提供しているが、URLの大半は壊れているか偽物で、タイトルの半数以上は実際の出典と一致していなかった
- GPTZeroは、誤検出によるレピュテーションコストを考慮して具体的な基準で幻覚引用を定義し、Hallucination Checkの結果を手動で検証した
- レポート本文はGPTZero AI Scanで72%がAI生成と判定され、虚偽の統計、誤った出典表示、内部矛盾といったLLM由来の誤りが繰り返し見られた
代表的な虚偽または不正確な出典
-
BleepingComputerの航空会社ロイヤルティ侵害記事
Airline Loyalty Breach: BleepingComputerは、航空会社のロイヤルティアカウント数百万件がcredential stuffing攻撃で侵害されたとする記事として提示されたhttps://bleepingcomputer.com/news/security/…は404エラーを返し、そのパスの記事は削除されたか、そもそも存在しなかったことが確認された
-
Wiredの音声ディープフェイクとAPIセキュリティ記事
AI Voice Deepfakes Targeting Call Centersは、攻撃者がAI生成音声で顧客サービス手続きを悪用する内容を扱うWiredの記事として提示されたhttps://www.wired.com/story/voice-deepfakes-ai-scams/のパスにはそのWired記事は存在しないWired: API Security Gapsも消費者向けデジタルサービスのAPI脆弱性を扱う記事として提示されたが、https://www.wired.com/story/api-security-risks-retail/も404エラーを返した
-
GartnerおよびMcKinseyのレポート
Gartner Market Trends – Loyalty Fraudは、デジタルロイヤルティプログラムとモバイルウォレットにおける詐欺の進化に関する戦略ガイダンスとして提示されたhttps://www.gartner.com/en/documents/4000201はGartnerのメインサイトに移動するだけで、そのタイトルのGartner文書は存在しないMcKinsey & Company – Loyalty Economics Report (2022)は、世界中の未使用報酬ポイントが2,000億ドルに達すると推定したレポートとして提示されたが、そのレポートは存在しない
-
Forbesのロイヤルティ経済記事
Forbes – The $200 Billion Loyalty Economyは、ロイヤルティプログラムを重要なデジタル資産として説明する根拠として提示された- URLは壊れており、Blake MorganがForbesに寄稿したことはあるが、そのタイトルと一致する記事は存在しない
- ただし、2020年のForbes記事には “$200 billion loyalty economy” という表現が使われている
-
Cisco TalosとTechCrunch
Cisco Talos: API Attacks on Retailは、コマースとロイヤルティシステムでの安全でないAPI悪用を扱う記事として提示されたが、https://blog.talosintelligence.com/api-abuse-retail/は404エラーを返したTechCrunch: Loyalty Program Breachesは、ロイヤルティプログラム侵害とユーザーデータ流出に関する記事として提示されたが、https://techcrunch.com/tag/loyalty-program/は特定の記事ではなくloyalty-programのタグページだった
2,000億ドル統計の内部矛盾
-
要約文での主張
- Executive Summaryは、世界のロイヤルティポイント市場規模が2,000億ドルで、そのうち30〜50%が使われていないと主張している
- この主張は偽のForbes引用で裏付けられている
-
10ページで変わる意味
- 10ページでは、同じ2,000億ドルという数値が世界のポイント総価値ではなく、未使用ロイヤルティポイントの推定値へと変わっている
- すでにポイントの最大50%が未使用だと主張しているため、この2つの主張が同時に成り立つには、世界のロイヤルティポイント市場規模は少なくとも4,000億ドルでなければならない
-
McKinsey引用の出典追跡
- 43ページの捏造されたMcKinsey & Companyレポートは、世界の未使用ポイント価値が2,000億ドルという後者の主張を裏付ける根拠として使われている
- 同じ数値が両立しにくい2つの意味で使われ、それを支える2件の引用がどちらも捏造だったことが確認された
- このMcKinsey引用は、EYレポートより6か月前に公開されたFinancial ITのフィンテックブログ記事にまでたどれる
- その記事は “more than $200 billion in points sit idle each year” と主張し、出典セクションで存在しない
McKinsey & Company: Loyalty Economics Report (2022)を引用していた - この捏造引用がEYレポートの参考資料表にそのまま入り、低品質ブログの偽出典がBig Fourの刊行物としてロンダリングされた
出典が混在する72%および89%統計
-
ロイヤルティプログラムの72%詐欺統計
- 6ページでは、顧客ロイヤルティプログラムの**72%**が窃盗または詐欺を報告したと主張している
- この数値は、カナダの決済処理企業Paystoneの2019年記事に帰属されている
- 11ページでは、同じ統計がデジタル不正防止企業ForterのNRF 2020 summaryに帰属されている
- PaystoneとForterのどちらもレポートの参考資料表には含まれておらず、元の出典はIpsosの2017年調査とみられる
-
ロイヤルティ詐欺攻撃89%増加統計
- 6ページでは、ロイヤルティプログラムへの詐欺攻撃が2019年以降89%増加したと主張している
- 11ページでは、この89%増加が2018年から2019年までの単年変化に限定され、ForterのFraud Attack Indexに帰属されている
- この出典は実在し、2つ目の主張を部分的に裏付けているが、EYレポートで使われた多くの出典と同様に古い資料である
- 互いに矛盾する出典、低品質な出典、古い統計、不正確な言い換えは、AI slopの兆候として提示されている
公開の影響とデータ汚染リスク
- Points of Attack はカナダでは大きな波紋を広げたようには見えないが、最近のCanberra Times記事で引用され、この記事はオーストラリア全土の60紙以上の新聞に配信された
- レポートは、公開ドメインにない顧客向けブリーフィング、社内プレゼンテーション、独占メディアを通じても流通した可能性がある
- オンラインでのレポート公開は、インターネット上の知識プールに対するデータ注入に近く、著名なコンサルティング会社が高トラフィックのウェブサイトに虚偽情報や幻覚引用を載せると、その後の研究者を誤導しかねない
- AIの“deep research”ツールは、人間とは異なるシグナルに基づいて出典を選ぶため、このようなデータ汚染により脆弱になる可能性がある
- Claude、ChatGPT、Perplexityは、EYの欠陥あるレポート由来の幻覚情報を露出した
Hallucination Checkの目的
- GPTZeroは、vibe citingが研究者、学界、コンサルタント、ウェブ検索に依存する人々にとって現在進行形のリスクになっていると見ている
- Hallucination Checkは、すべての引用を手作業で確認しなくても、幻覚引用と虚偽情報を識別するためのツールとして提示されている
- このツールは、IJCAI、ICLR、ICSEのような学術カンファレンスの投稿審査にも使われている
- Ernst & Youngのような評判ある出典の引用であっても、信頼だけで受け入れるのは難しくなったという結論につながる
- GPTZeroのHallucination Checkリンクが示されている
1件のコメント
Hacker Newsの意見
さまざまな職種で見られる問題は、AIの出力が熟練したアナリスト、シニアエンジニア、専門の弁護士、研修医のような知識のある人にきちんとレビューされていないことだと思う
せいぜいざっと目を通す程度で、最悪の場合は公開・配布・本番反映・顧客への提出・裁判所への提出前にまったく見られていない
多くの場合、必要なレビュー能力は組織内にあるが、その人たちはすでに日常業務だけで過負荷状態になっている
数か月前にAmazonが生成AIの出力をシニアエンジニアにレビューさせるという投稿（https://news.ycombinator.com/item?id=47323017）を見て、笑うしかなかった。すでに忙しい人たちなのに、Amazonがプロジェクトや基盤インフラ開発全体で人間のボトルネックが増えるのを許すはずがないと思った
組織全体に基本的なエンジニアリング原則が必要だと強く感じている
エンジニアに、何を達成しようとしているのかという元の仕様もなくコード1000行をレビューしろとは言わない。少なくとも文脈が必要で、理想的にはレビューアは仕事が最初に紹介された場にいて、全体の文脈を把握しているべきだ
なのにこういう文書は、全部かゼロかの形で渡される。39番目の指標まで最後まで細かく定義された状態で、それを差し戻すのか、それとももうこうなってしまったと諦めるのか、という話になる
1枚ものの文書、Amazon流なら6ページの文書かもしれないが、「私の提案はこうです」程度のものでもあれば、アイデアの骨格段階で全体の形に反論したり磨いたりできる。大事なレポートが完成したという感情的投資が生まれる前であるべきだ
伝統的には、プロダクト側がSCRUM環境で仕様を見て、エンジニアがきちんとコードレビューをするのに近い。もちろんSCRUMは死んだが、それはまた別の話だ
AIを使うと全部読んで、なぜ間違っているのか説明して、結局全部書き直すことが多い
請求可能時間はずっと増えるが、その一方で、主題を理解していない人にとって速くて手軽だというAIの利点がどう消えていくかを示す症状のように見える
「偉い人たち」がバイブコーディングを好む理由の一つは、以前なら「文脈の専門家に渡す」苦痛なプロセスが必要だった仕事を、今では自分たちだけでできると感じているからだ
いまやLLMが「内蔵された文脈の専門家」になったので、もう出力をレビューする必要はないと考えているのだ
そうなるとAIは、多くの用途で投資対効果が大幅にマイナスのシステムになる
ミスをするとその結果が夜のニュースに出かねないような専門教育を考えてみればいい
数字の行列から出てきた文字列を判断停止のまま受け入れ、誰もが自分の責任だけを避けようとするという発想自体がぞっとする
南アジアの航空会社がパイロットに手動操縦での着陸を禁じ、技能低下を進め、最終的によく知られた災害につながった件に似ている
高額なコンサルタントですらリンク確認をしないなら、なおさらそう思う
プレーンテキストで見られるソースはないのか？ CSSスタイルのせいで頭が痛くなるし、リーダーモードも動かないかブロックされているようだ
ただ、この機能でも使われているソースの一部が入った画像を消してしまう問題がある
本当の喜劇は、こういうゴミが上級経営陣から降ってくるのを見ることだ。下手なプロンプト、幻覚まみれのゴミ、実行可能な情報はゼロ、実際に分かっている分析もゼロの大言壮語ばかりだ
「Jiraから抽出したサポート課題の分析を見てください。この上位3つの問題は必ず修正しなければなりません!!!」みたいな話だが、実際には全員が何年も前から知っていたことで、経営陣が誰にも修正する権限を与えなかっただけだ
こういうのを2回以上見たので、名前が必要だ。Garbagemaxxingとでも呼ぶべきか
たどるのが本当にひどいページだ
後でデスクトップで見直すしかなさそうだ。内容は面白そうだが、実際には読むことができない。Ernst and Youngを紹介するセクションを通り抜けられない
ウェブサイトを作ってはいけない人もいる
誰かがウェブページでスクロールがどう動くべきかまで幻覚したのか？
奇妙なのは、このレポートが12〜18か月前なら大スキャンダルになって長引くブランド毀損を引き起こしていたはずなのに、今では誰も覚えても気づきもしないだろうという点だ
まずウェブサイトを直すべきだ。ひどいJavaScriptアニメーションは捨てるべきだ。こういうものは2014年にD3JSとjQueryですでに解決済みだった
こういうことがいったいどうやって起きるのか分からない。たとえばQwen ChatやPerplexityは、生成された各文の末尾に引用を付ける
だから各引用にマウスを載せると、どのウェブサイトから取ったのか分かる
単にウェブ検索なしのChatGPTにプロンプトを入れてコピペしたのか？
EYはこの1年ずっと静かに人員削減を進めてきた
少ない人数でより多くの仕事をさせれば、品質低下につながるのは驚くことではない
多くの企業業務は単なるチェックボックス埋めだ
上司が「Xについてのレポートを持ってきてくれ。私はそのレポートを自分の上司に渡すが、その人は読まないだろう」と言う
すると「E&Yさん、レポートを1本作ってください。20万ドルです」という構図になる
ウェブページ自体もバイブコーディングで作られた可能性が高く、作成者はそれを気にしていなかったのだろう