- ECサイト訪問者の73% は、実際の人間ではなく高度なボットである可能性が非常に高い
- 標準的な分析ツールではこうしたボットトラフィックを見分けにくく、その結果、広告効果の分析やマーケティングROIの算定が歪められる現象が発生
- エンゲージメントボット(Engagement Bot)、カート放棄ボット(Cart Abandonment Bot)、ソーシャルメディア流入ボットなど、さまざまなパターンでWebサイト上の行動を精巧に模倣
- 一定割合のボットトラフィックはデータ収集または正当な自動化によるものだが、かなりの部分は広告詐欺や内部指標の操作を目的としている
- 現在この問題は特定のサイトに限られたものではなく、広範かつ体系的な業界課題へと広がっている
問題の始まり: コンバージョン率0.1%のミステリー
- あるECクライアントのWebサイトは月5万人の訪問者を記録していたが、実際の販売はわずか47件にすぎなかった
- Google Analytics などの分析プラットフォームではデータが非常に好調に見えたものの、実際の売上との結び付きが弱いことが判明
- 広告に月4,000ドルを投じていたにもかかわらず、成長傾向と収益がまったく比例していなかった
- 製品自体に問題があるという当初の推測とは異なり、Webサイトのトラフィックデータを直接分析する中で異常の兆候を捉えた
- この問題を把握するため、実際の利用者の行動様式を監視するトラッキングスクリプトを開発した
初期調査: トラフィックの真実を検証する追跡
- 単純なクリック数の集計ではなく、実際のユーザー行動パターンを観察する追跡ツールを開発
- マウス移動: 自然な曲線と機械的な直線移動パターンを分析
- スクロールパターン: 可変速度や停止・逆スクロールと、完全に一定な機械的スクロールを比較
- インタラクション間隔: クリック、ホバー、カート追加の間の時間間隔の変動性を測定
- わずか1週間で、非人間(Non-human)トラフィックが実に**68%**に達することを確認
- 一般的なスパムではなく、分析ツールを欺くために設計された巧妙なボットが大半を占めていた
問題の拡大: 個別事例ではなく業界現象
- マーケティングフォーラムやDiscordグループで、ほかのEC運営者に「トラフィックと売上が食い違う経験はありますか?」と質問
- 200超の中小規模ECサイトにトラッキングスクリプトの導入許可を得て、6か月間調査した結果、平均73%が偽の(ボット)トラフィックであることを確認
- これは個別の問題ではなく、デジタルコマース生態系全体の構造的課題だった
現代の広告詐欺(Ad Fraud)の構造: トラフィック種別ごとの分析
-
エンゲージメントボット(Engagement Bot)
- 分析レポートを良く見せるために設計されたボットで、質の高い訪問者の行動をシミュレートする
- ページスクロール、商品上でのカーソルホバー、内部リンクのクリックなど、複合的な相互作用を実行
- 致命的な欠陥: 完璧な一貫性
- すべての商品説明ページで正確に11〜13秒滞在
- スクロール速度が常に毎秒3.2ページで一定
- 人間の行動は不規則だが、これらのボットは臨床的なほど精密
-
カート放棄ボット(Cart Abandonment Bot)
- 同じ商品をカートに追加して4分間保持し、その後放棄する過程を毎日数十回繰り返す
- 多様なIPとセッションで繰り返され、これはカート放棄率など主要なEC指標を意図的に歪めたり、内部推薦アルゴリズムを操作したりする目的の可能性がある
-
ソーシャルメディア流入ボット(Phantom Social Media Visitor)
- Instagram、TikTokなどから来たものとして分析ツール上に表示されるトラフィック
- そのうち約64%は、ページ到着後正確に1.8秒待機して離脱
- スクロールやクリックなしで即座に離脱するのに、「ソーシャルメディア訪問者」として集計される
- 広告詐欺の中核要素: 偽のエンゲージメント販売業者がトラフィック送信を「証明」する手段
すべてのボットが悪意あるわけではない: 合法的なデータスクレイピング
- ECデータ業界の関係者が提供した情報: 1日7,000万件の小売Webページをスクレイピング
- 合法的なビジネスインテリジェンス目的
- Amazonなど主要リテーラーは、在庫切れ時にベンダーへ常に通知するとは限らない
- ブランドは自社商品の監視のためにデータスクレイピングサービスへ費用を支払う
- 在庫水準の確認、buy box競争の分析、商品説明の正確性検証
- 地域別・モバイル端末別の検索結果順位追跡
- ターゲットオーディエンス別のバナー広告分析
- Kurzgesagtの動画によれば、インターネット全体のトラフィックのほぼ50%がボット
- 一部は合法的な競合分析や価格モニタリングだが、かなりの部分は広告予算を浪費させる不正トラフィック
デジタル広告の崩れた経済学
- ある顧客企業はGoogle Adsに月1万2,000ドルを支出
- 高度なボットトラフィック検知とフィルタリングを実装した結果:
- 報告上のトラフィックが71%急減
- CFOは当初ショックを受けた
- しかし実際の売上は34%増加
- 本物の**コンバージョン率最適化(CRO)**の取り組みは最初から効果があったが、偽クリックの雪崩に埋もれていた
- 数千ドルが、決して購入しないようプログラムされたロボットへの広告に浪費されていた
- マーケティングROIは「悲惨」から「卓越」へと即座に転換
-
広告プラットフォームの反応
- 主要広告プラットフォームとの会話でクリック詐欺またはボットトラフィックに触れると態度が急変
- 「当社のAI検知は業界最高水準です」
- 「広告詐欺は非常に深刻に受け止めています」
- ある担当者は非公式に認めた: 「みんな分かっている」
- 「きちんとフィルタリングすれば、収益は一晩で40%減少し、投資家はパニックになるでしょう」
- 巨大な利益相反: 広告プラットフォームはクリックや表示ごとに収益を得るため、それが見込み客かクリックファームのサーバーかは関係ない
ロボットに広告していないか? 偽トラフィック検知の実践ガイド
-
1. トラフィック急増と売上データの監査
- トラフィック急増は売上急増と一致しているか?
- プロモーション実施時にトラフィックは2倍になったのに、売上が停滞しているなら、不正トラフィックの可能性が高い
-
2. ユーザー行動指標の分析
- 「完璧すぎる」数値を探す
- 主要ランディングページの「平均ページ滞在時間」が月ごとに不気味なほど安定していないか?
- 実際の人間の行動は不規則で変動的
-
3. 地理データのセグメント化
- 配送していない国から相当量のトラフィックが発生していないか?
- そうした訪問者がコンバージョンしないなら、低品質または偽トラフィックの重大な兆候
-
4. リファラルソースの調査
- 上位トラフィックソースを細かく分析
- リファラルサイトが無関係または低品質に見えるなら、トラフィック交換ネットワークの一部である可能性
- サイトへのリンクが実際には存在しない「ゴーストリファラル」を探す
-
5. 直感を信じる
- 数値に違和感があるなら、実際に問題がある可能性が高い
- 顧客基盤を知る事業オーナーの直感は、貴重なボット検知ツールである
冷厳な結論: デジタル砂上の楼閣
- あるスタートアップ創業者は、「ユーザー成長」指標を根拠に200万ドルを調達
- 後になって、その指標の80%がボットだったことが判明
- 現在は真実を認めれば会社と投資家との関係が危うくなる可能性があるため、すべてが正常であるかのように装っている
-
隠れたボット経済
- 広告プラットフォームはボットに表示を販売
- 企業は指標を水増しするために偽トラフィックを購入
- 分析会社は、こうしたボット活動を律儀に報告
- 業界全体が集団的な仮面劇に加担しており、真実を認めれば脆弱なシステムが崩壊しかねない
-
最終的な見通し
- インターネットの半分以上が虚像であり、ボットが別のボットのために演じるデジタルな舞台劇になっている
- その比率はAIと自動化がさらに高度化するにつれて日々増加中
- 問いはもはや「あなたのビジネスは影響を受けているのか?」ではない
- 本当の問いは「このデジタル砂上の楼閣がついに崩れたとき、何が起こるのか?」
2件のコメント
もはや headless ボットだけでなく、comet browser のような agent bot まで登場していて、検知はますます難しくなりそうですね
Hacker Newsの意見
自分はマーケティング代理店を運営しているのだが、あるクライアントの分析データがまったく辻褄が合わず（訪問者5万人に対して販売47件）、深掘りすることになった。そこで簡単なスクリプトでユーザー行動を追跡し、200以上の中小規模ECサイトを分析した。平均すると、全訪問トラフィックの73%が、標準的な分析ツールでは実際の訪問者として集計されるボットトラフィックだった。ボットは今や本当に人間のように振る舞うことの模倣が非常にうまくなっている。自分が直接経験した奇妙なパターンや、アドテク業界関係者と交わした非公式な会話も整理した。驚くべきなのは、このボットトラフィックが、誰もが知っているのに誰も公然とは語らない公然の秘密だという点だ。システム全体がこうしたボットに依存して回っているように感じる。他の開発者や起業家、マーケターにも、似たような乖離のあるデータを見たことがあるのか気になる
昔スイスのyellow pagesで働いていたとき、有料顧客が自社ページの訪問者数を見られるダッシュボードがあった。うちの開発チームがボットトラフィックをフィルタリングしたところ、数値が50%以上急減した。1日も経たないうちにビジネス側からフィルタを外せと言われた。結局、ボットも実際の人間として扱われたわけだ
実際、全部詐欺でも構わないのでは？ 47件の実際の購入があったなら、その期間の広告費がいくらだったのか、そして前後のデータと比較すれば、キャンペーンが成功したか判断できるはずだ。屋外広告やバス広告でも、誰が見ているか、本当に人間が見ているかは気にしない。結局重要なのは、実数としてのインパクトだ
Web分析コンサルをしているが、2021年にグローバル物流企業の異常なトラフィックパターンを調査した経験がある。自分のブログで要約している。この記事。ボットトラフィックの問題はかなり前から存在しており、それを防ぐための新興「広告不正検知サービス」も多いが、実際に有用なサービスはまだほとんど見たことがない。「どう解決するか？」という問いがいつも最後に残るが、ボットを完全に防ぐ方法は誰も知らない。大半の消費者はGoogle、Facebook、Instagram、TikTok、LinkedInなどの主要プラットフォームを使っており、ボットの少ない代替広告ネットワークは実質的に存在しない。みんなある程度が偽物だと知りながら、それでもそのトラフィックを買っている。この状態が変わるには、広告収益が何十億ドルにもなるビッグテック企業に、現体制を維持するより変えたほうが大きいインセンティブが生まれる必要がある。今のところ、そんな必要性すら感じていない。「私が広告に使う金の半分は無駄だ。だが問題は、どの半分かわからないことだ。」 - John Wanamaker
「良いボット」トラフィックの話は興味深かった。自分の調査中、データ業界のある関係者が非常に大きな手がかりをくれたのだが、その人がいた会社では毎日7,000万件の小売Webページをクロールしていると言っていた。これは極めて巨大な合法的ボットトラフィックの供給源だ。たとえばAmazonは在庫切れの際にサプライヤーへ通知しないため、ブランド各社はデータスクレイピングサービスを使って、自社商品の在庫状況や「バイボックス」の優位競争、商品説明の適切さ、検索順位、さらにはどのバナー広告がどのオーディエンスに表示されているかまでクロールする。こうした「良いボット」でさえ、見方によって評価が変わりうる。自分のサイトを競合がスクレイプするのは嫌だが、自分が市場データを集めるのは良いことだと思う。誰かがプログラムし、動かしているということは、その人にとって利益になるボットだということだ。コンテンツクリエイターはAIスクレイピングを悪いものと見るが、AIを作る側は良いものと見る。価格比較サイトは自分たちのクローラーを正当だと信じ、小売業者は嫌がる。「良い」あるいは「悪い」ボットトラフィックかは、どの立場から見るかの問題だ
システム全体がボット前提で成り立っているという話には共感する。昔から反抗的だったわけではないが、初期インターネットの楽観主義をどこかに残している自分の一部は、広告モデルが粉々になるのを見たいと思っている。実際、広告が「正常」に機能していたとしても、本質的に搾取と欺瞞の匂いがあった。たとえば「この商品を絶対に買わないと友達に嫌われる」といった類のメッセージだ
この記事の文体は興味深い。「単にXなのではなく…」というパターン、太字の強調、箇条書きなど、どこかで何度も見たChatGPT風のスタイルだ。もちろんChatGPTに手伝ってもらっても問題はないが、記事の内容自体が皮肉にもAIっぽい文体になっている。もし実際の筆者がもともとこういう書き方なら、ChatGPTのほうがこうしたスタイルに寄せられたという意味かもしれない。アドテク業界のコミュニケーションはもともとこんな感じなのだろうか
むしろこの記事は、人間が「型に合った言葉」をきちんと使っている例なのに、表面的にはAIっぽくて誤解されているところが本当に皮肉だ。「それはXではなくYだ」というのは、読者がXだと思うことを見越して、Yへ視点を切り替えさせる明確な目的を持った文法だ。記事中の「単にクリックを数えたのではなく行動を見た」「単にサイトに入って出ていくボットではなく、人間の行動を模倣するボットだ」といった部分がそうで、読者の予想と実態を明確に差別化しようとしている。AI文体の特徴と、人間の意味ある文章の違いを研究するのも面白そうだ。将来的には、本当に高等教育や採用で、こういう形でAIと人間を見分ける問題が出てくるかもしれないと思う
「単純で致命的な問題から始まった」というくだりで興味を失った。続く「見慣れない不快感を覚えた」という展開もしらける。しかも筆者は結局、別の広告ツールを売っている側のようにも見える
こういう記事ほど、いっそう皮肉に感じる。それでも救いなのは、人々も今ではこうした薄っぺらい記事をすぐ見抜いて無視できるようになったことだ。スタートアップは素早い失敗を望むというが、自分はAI生成コンテンツを素早く見分けてスルーしたい
記事のAIっぽい特徴をすぐ見抜いて、そのままコメント欄まで降りてきた。誰が見てもAI生成の文章に見えるなら、自分で書いたり編集したりもしていないというサインで、信頼度は自動的に下がる
写真もAI生成に見えるか、少なくとも場違いなクリップアートのようだ
自分は15年間アドテク業界で働いてきたが、GoogleやFBのような大企業もユーザーを欺いていると思う。彼らは二重トラッキングを許さず、自社の数値だけを信じろと言うし、クリックのIPを見るとFB/GoogleのデータセンターIPが出てくることもある。そこから来るトラフィックも実際には、どうせ自分のサイトで購入したであろうユーザーをアルゴリズムで拾い、自分たちの広告成果に見せかける手口だ。インパクト指標をちゃんとやろうとしている会社もあるが、ごく少数だ。広告掲載サイトはユーザーを苛立たせるだけで得るものはない。広告主は金を払うだけで得るものがない。結局、中間業者だけが得をする
Google広告を出すのは、まるで自分の店の前でチラシを配る人に金を払うようなものだ。来訪者の大半はGoogle広告経由でチラシを受け取って来たのかもしれないが、そのうち何人が新規顧客なのかはわからない
Facebook AdsやSA360はサードパーティトラッキングをサポートしているし、サードパーティ分析ツールもいろいろ使える。IPがFB/Googleのデータセンターとして記録されるというのは話が単純すぎるし、そんな話は初めて聞く。大企業にVPNがないとでも？ それに「アルゴリズムでオーガニックトラフィックを盗む」という理屈も理解できない。自分も10年以上この業界にいるが、その話には納得できない。15年やっていても、業界や技術をよくわかっていないことはありうると思う
業界では、トラフィック数値は概ね虚構で、広告クリックデータの半分以上は詐欺だということを皆わかっているものだと思っていた。なのに「正確な広告費分析」を掲げるOPが今さらそれに気づいたというのは現実味が薄い。この点は新しくないのに、OPが本当に初めて知ったように見えて疑わしい。一方で、さまざまなボットパターンを分類した部分は興味深く、その点について詳しく書かれたものは見たことがなかった
業界人の一部はずっと前から知っていたが、状況はますます深刻になっている。過去10年間マーケティングチームと一緒に働いてきて感じる自分の理論は、たいていの人が数字を無批判に信じるということだ。特に指標が毎年指数関数的に伸びないとチームが生き残れないので、水増しされた数字のほうがむしろ都合がいいし、売れないのは営業チームのせいにすればいいという構造になっている
直前のスタートアップでも、マーケティングと開発のリソースを大量投入してコンバージョンファネル最適化に取り組んでいたが、事業の方向性そのものが間違っていた。無意味なデータノイズに振り回されていなければ、もっと早くピボットできたかもしれない
こういう問題は10年以上前から業界で知られていた話だ。ある程度はdatacopsという企業のマーケティング記事だろう
「OPが今さら気づいたのか!?」という反応があるが、この会社（Datacops）は始まってまだ日が浅いようだ。実際、製品リリースのタイミングに合わせてこの問題を扱う記事を出したのだろう。参照
5万トラフィックで47件のコンバージョンなら、自分の基準ではもっと偽物が多くなっていたように思う。昔は半分が詐欺だったが、今では本物のユーザーはごくわずかな少数しか残っていないように感じる
Facebook広告を出していて不正トラフィックが大量に流れ込むなら、誰が何のためにそんなボットを回しているのか気になる。Facebookにそういう動機があるのはわかるが、もしバレたら終わりなので、さすがにそこまではしない気もする。競合か？ 自分の予算を消耗させる狙いだとしても、技術的に高度すぎる気がするし、本当に誰かが裏で人を雇ってやっているのかも疑問だ。広告代理店？ データがめちゃくちゃならすぐ広告費の返金要求が来るだろうし、あまり筋がよくない。だとしたら、誰が何の目的でやっているのか？
おそらく、単に本物の人間のように見せるシミュレーションを回しているボットなのだろう。自分の広告だけを狙ってクリックしているのではなく、無差別に実ユーザーを真似ること自体が目的なのかもしれない
Facebook広告にはクリック課金だけでなく、実際の販売やコンバージョンごとに支払うモデルもあるので、そのほうが利害関係はより明確だ
methbotの事例を調べることを勧める。多くは広告収益を狙い、アルゴリズムをだますためにボットを回して、自分たちが載せたコンテンツやページにトラフィックを集中させ、そのうえ本物の人間を装ってさらに多くの広告予算を誘導する構造だ。構造的に、FB/Googleが完全に排除しにくいようになっている
「まさかFacebookがそんなことを？」と思うかもしれないが、歴史的に見て、こうした数値計算で「企業を信じる」という姿勢は常に愚かだった。すべての企業に当てはまる法則だ。見込まれる利益がコスト＋発覚リスクを上回れば、行動に出る
Facebookが直接やっているわけではないのかもしれないし、広告主が広告を買い続ける限り、この問題を気にするインセンティブもあまりない
スクリプトが公開されていればいいのに。手法が適切だったのか、あるいは広告ブロッカーやJS無効の正常なユーザーをボットと誤認していないか確認したい。73%でも驚かない。むしろもっと多いと予想する。印象的なのは、アドプラットフォームの営業にボットやクリック詐欺の話を持ち出すと、会話が急に硬い企業的な言い回しに変わることだ。以前よく知っていた営業担当も、オフレコで「みんな知ってるよ。みんな知ってる。でも本当に全部きっちり排除したら、売上が一夜にして40%減って投資家が大騒ぎする」と打ち明けていたのを思い出す
マーケティング担当者のインセンティブがバニティメトリクス依存で設計されていると、コンバージョンの問題をファネル後段の話としてしか見なくなる。ベンチャースタートアップですら、投資家に水増しした数字を見せるためにボット登録を意図的に放置する誘因が確かに存在する
「きっちり排除したら売上の40%が消える」という証言を聞くと、これは集団訴訟案件ではないかと思ってしまう
2000年代初頭にLycosの広告運用チームで働いていたときも、すでにボット比率が25〜75%に達するという内部監査結果を見た。当時も止めようとしたが無駄で、今も変わらない。オンライン広告はたいてい金の無駄だ。経済活動を生んでいるように見えて、実際には時間と資源の浪費だ
ボット対策を具体的に挙げていなかったので補足すると、ボット防止を強化すると（CAPTCHAなど）、実ユーザーの離脱が大きく増える。コンバージョン率に深刻な悪影響がある。ボットがますます人間に近づいている以上、この問題は分析とアトリビューションの段階で解くべきで、使い勝手を損ねて解決すべきではないと思う
以下は自分が経験した実例だ
ただ気になるのは、ではこうしたボットフィルタリングがどうやって広告費支出の減少に直結するのかという点だ。たとえばGoogle Adsに「こういうクリックには金を払いたくない」と直接通知できるのか？ それともターゲティング自体を修正してボットを避けたのか？
ボットトラフィックを遮断すれば、リターゲティングが実際の人間により正確に使われてコンバージョンが増える、ということは想像できる
おそらくフィルタリングで「これはボットだ」と判断されたら、そもそも広告自体を表示しない仕組みなのだろう
Lookalikeやリマーケティングオーディエンスを作るときにボットが混ざると、Facebookなどのプラットフォームに誤ったシグナルを与える可能性がある。そしてGoogle Adsで特定のクリックについて「これは払わない」と指定することはできない
以前、似た例として「Web広告市場は事実上ほぼすべてが偽物・詐欺・ボットで、あらゆる企業や業界がそれを見て見ぬふりをしたまま維持されている」と主張する記事を読んだことがある。多くの職業や会社、産業全体が、その事実を認めないことに依存している