TheNumbers.comで何が起きたのか

 (stephenfollows.com)
1 ポイント 投稿者 GN⁺ 5 시간 전 | 1件のコメント | WhatsAppで共有
  • 映画約7万8,000本のデータを提供していた The Numbers は2026年3月5日に突然停止し、30年物のシステムを狙った大規模な自動トラフィックとセキュリティ探索のため、既存サイトを廃棄して最小限の機能だけを復旧した
  • 全トラフィックに占める人間の割合は約 10% にすぎず、2025年12月以降はプロンプト駆動の収集とエージェント型AIトラフィックが急増し、運営チームの業務時間の約90%が既存サイトの維持に投入されていた
  • ログでは通常の収集だけでなく、データへの早期アクセスや改ざんを狙ったとみられる バックドア探索 も見つかったが、実際の障害原因と攻撃主体は確認されていない
  • The NumbersのデータがPolymarketの映画興行予測市場の判定基準として使われることで、公開前データが取引上の優位を与え得るようになり、AIツールは古いサイトの脆弱性を低コストで探索できるようにしている
  • AIクローラーは読者を送り返さないまま莫大なコストと障害を引き起こし、オープンウェブの交換関係 を壊しており、古いコードと少人数の運営に依存する独立系アーカイブ、ニュース、フォーラム、参照サイトが特に脆弱である

映画業界のデータ基盤が消えた1週間

  • The Numbers は、興行収入、製作費、ホームビデオ、ストリーミングのデータを独自に調査して提供する、年間訪問者数 800万人超 の映画データサイトである
    • ジャーナリスト、学界、映画制作者、予測市場、そして Guinness World Records が権威ある資料として利用している
    • 2026年初めのデータベースには映画78,396本、劇場公開記録178,375件、人物236,176人が収録されていた
  • サイトは 2026年3月5日 に停止した後、1週間以上戻らず、3月13日に新しいインフラ上で縮小版として復旧した
    • 過去のチャート、映画別ページ、Report Builderなどは消え、最新の興行収入データ中心の最小限機能だけが残った
    • 具体的な案内もなく再構築メッセージだけが表示されたため利用者は怒り、有料商品への転換を狙った意図的な機能縮小ではないかという疑念まで生じた

1997年に始まった30年物のシステム

  • 数学者で元IBMソフトウェア開発者のBruce Nashは、1997年10月17日 に映画300本を追跡するGeocitiesサイトを立ち上げた
    • AccessデータベースからHTMLを生成してGeocitiesに掲載し、Hollywood Stock Exchange掲示板で映画株取引に活用するための興行分析を知らせたのが出発点だった
    • 当時の20周年回顧文は現在、Internet Archiveの保存版 にのみ残っている
  • 数十年にわたって拡張された既存サイトは、約 16万個のソースファイル で約200万ページを提供していた

AIクローラーが生んだ2度のトラフィック波

  • 最初の25年間は、人間、比較的ルールを守る検索エンジン、個人プロジェクト向けの収集ツールが主な訪問者で、過剰な収集者は見つけて遮断できていた
  • 最初の変化は 2024年ごろ、AI学習用クローラーが検索エンジンの収集に加わったことで始まった
    • AIクローラーは検索エンジンよりルールを守らない傾向があり、サイトを安定運用するための管理作業が増えた
    • 2024年にはウェブ全体で自動トラフィックが人間トラフィックを上回り、その後Cloudflareの集計ではボットがウェブページ要求の 57.5% に達した
  • 2度目の波は 2025年12月ごろ に始まり、プロンプトに応じてサイトを収集するAIエージェントや、ユーザーが自作したエージェントがトラフィックをさらに増大させた
    • The Numbersの訪問のうち、人間が直接閲覧していた割合は約10%で、残りはAIボットと自動化トラフィックだった
    • 12月から3月初めまで、運営チームは業務時間の約 90% を既存サイトの維持に使い、残り時間で新システムを開発していた

クローラーにライセンス経路を知らせる対応

  • 運営チームは、LLMが読める案内をサイトに入れ、データを直接収集する代わりに ライセンス購入方法 を答えるよう誘導した
    • その後、データライセンスに関する問い合わせは約10倍に増えた
  • トラフィック緩和策には効果があったが、30年物のコードと16万個のファイルを守りながらサービスを継続運営しなければならないという構造的負担は解消できなかった

サーバー停止とセキュリティ探索の痕跡

  • サーバーは 3月5日未明 に崩壊し、運営チームは当初、AIトラフィック負荷だけを原因として疑っていた
  • ログでは通常URLを使ったアクセスとともに、バックドアを探す試み が見つかった
    • 誰かがサイト公開前のデータにアクセスしたり、利用者に提供されるデータを改ざんしようとした可能性がある
    • 数か月にわたり自動化された収集と探索があったが、最終的な障害を何が引き起こし、誰が実行したのかは確認されていない
  • サイバーセキュリティ専門家の助言に従い、既存サーバーは再起動されなかった
    • バックアップを復旧すると、長期間にわたり脆弱性を探索していた攻撃者に16万個のレガシーファイルを再びさらすことになる
    • 既存サーバーは再稼働後数分以内に再停止する可能性があると判断し、新インフラ上に最小機能版を構築した

予測市場が映画データに与えた金銭的価値

  • Polymarket は映画公開週末成績の市場を運営しており、The Numbersの Daily Box Office Performance を 市場判定基準 に指定している
  • 個別の週末市場は通常、数万〜数十万ドル規模で、同時に開いている映画興行市場全体には数百万ドルが賭けられることもある
  • 公開前にThe Numbersのデータを見られるなら、毎週ほかの取引参加者より先に結果を把握して先回り取引できる
  • 予測市場はほぼあらゆるデータを金銭的価値に変えられ、低コストのAIツールはサイト侵入の技術的障壁を下げ、大規模なエージェントボットは既存ウェブインフラの脆弱性を拡大する

AIが下げたサイバー攻撃の参入障壁

  • Anthropicは2025年11月、AIが調整した初の文書化されたサイバー諜報キャンペーン を公開した
    • 国家支援組織が約30機関を攻撃し、AIが作業の 80〜90% を実行した
    • 人間はキャンペーンごとに4〜6個の意思決定ポイントにのみ介入した
    • 高度なサイバー攻撃の障壁は大きく下がっており、今後も下がり続けるとみられる
  • Anthropicの以前の脅威報告書 によれば、技術力の低い犯罪者でも、過去なら数年の訓練が必要だったランサムウェア開発のような複雑な作業をAIで実行している
  • 自律型AIペネトレーションテストツール XBOW は約 1,060件の脆弱性 を提出し、HackerOne米国ランキング1位になった
  • 既知の脆弱性が存在する可能性が高い30年物のサイトは、AIツールが低コストで探索するのに適した攻撃面であり、過去に小規模サイトを守っていた専門性の障壁は大きく弱まっている

全面再構築に着手した The Numbers

  • 公開サイトは停止したが、The Numbersの中核的な収益源は影響を受けておらず、事業そのものは維持されている
    • 無料サイトは近年、広告依存度が高くなかった
    • 大量データを販売する OpusData、映画制作者と投資家向けの比較分析レポート、Business Report が主要事業である
  • 映画78,396本、公開記録178,375件、人物236,176人を提供するウェブサイトをゼロから再構築しなければならないため、機能を一度に復元できていない
  • 運営チームは、2026年の公開ウェブサイトが相手にしなければならない利用者を6類型に分けている
    • 人間
    • 検索エンジン
    • LLM学習ジョブ
    • プロンプト駆動AIトラフィック
    • エージェント型AI
    • 予測市場の取引参加者
  • 以前はコンテンツ、広告、SEOの3要素に集中すればよかったが、今ではすべての設計判断で約 8〜10要素 を考慮しなければならない
  • 新サイトは6種の利用者すべてを支援しつつ、OpusDataサービスとBusiness Report購読者向け機能を追加し、一般利用者に既存データを改善された形で返すことを目標としている

クロールコストと戻ってこない訪問者

  • Cloudflareのプラットフォーム別集計では、サイトが推薦訪問者1人を得るために許容するクロール規模には大きな差があった
    • Googleは訪問者1人あたり約 5ページ を収集する
    • OpenAIは1,000ページ以上を収集する
    • Anthropicは38,000ページ以上を収集する
  • 検索エンジンがコンテンツを読む代わりに読者を送っていた オープンウェブの交換関係 は、AIクローラーでは機能しない
  • 大量収集は小規模サイトの帯域コストを押し上げ、サービス全体を停止させる可能性がある

他サイトが受けた大規模収集被害

  • Read the Docs では、あるクローラーが1か月で圧縮HTML 73TB をダウンロードし、帯域コストが5,000ドル超発生した
  • iFixit はAnthropicクローラーから1日100万件のリクエストを記録した
  • 従業員7人の3Dスキャン販売会社 Triplegangers は営業時間中にOpenAIボットのせいで停止し、CEOはこれを事実上のDDoS攻撃だと評した
  • SourceHutの運営者は毎週、業務時間の 20〜100% をAIクローラー対応に使い、週に数十回の短時間障害を経験している
  • LinuxニュースサイトLWNは、数百万IPから来るクローラートラフィックを分散型サービス拒否攻撃と判断している
  • GNOMEオープンソースプロジェクトが測定したトラフィックの約 97% はボットだった
  • ある大学図書館は、目録サービスを維持するため48時間でIPアドレス 1万6,000件 を遮断した

Wikipediaが被ったコストと読者減少

  • Wikimedia Foundationは2025年4月、ボットがWikipediaのページビューの約 35% を占める一方、処理コストが最も高いトラフィックでは少なくとも65%を占めると集計した
    • クローラーが人間にはほとんど読まれないページまで大量に取得するため、コスト比率がさらに高くなる
  • 6か月後、Wikipediaの人間によるページビューは前年比で約 8%減少 した
    • 利用者がWikipediaを直接訪れず、AI要約から知識を得ることが増えている
    • AIシステムはコンテンツを大規模に取得すると同時に、元のサイトが受け取るはずの読者も減らしている

既存インターネットの前提が崩れた状況

  • AIツールは強力である一方で破壊的でもあり、実環境で大衆によってリアルタイムに試されている
  • 従来のオープンウェブは次の前提の上に築かれていたが、いずれも現在の状況とは合わない
    • 訪問者の大半は人間である
    • トラフィックは読者数とおおむね比例する
    • サイト提供コストは運営者が得る価値と結び付いている
  • AIの有用性を否定する問題とは別に、現在のウェブは、誰でも利用できるAIモデルの力と規模に備えられていなかった

クロール課金とデフォルト遮断の実験

  • Cloudflareは、サイトがAIクローラーにページ単位で料金を課す pay-per-crawl を公開した
  • その後、コンテンツがAI回答に実際に使われたときに出版社へ対価を支払う pay-per-use モデルを発表した
  • 9月15日から、Cloudflare顧客の広告ベースページでは、料金を払わない mixed-use クローラーをデフォルトで遮断する予定である
  • こうした政策の成否は、AI企業が技術的に回避せず、課金体系に参加するかどうかにかかっている

独立系ウェブサイト全体への警告

  • The Numbersは過剰な機械トラフィックと侵入可能性のはざまでサイト全体を失ったが、公開ウェブサイトが事業のすべてではなかったため生き残れた
  • ドイツの繊維企業 ZEGO は37年間事業を続けていたが、3月のサイバー攻撃で生産が6週間停止した後、破産を申請した
  • 独立系アーカイブ、趣味のデータベース、地域ニュース、フォーラム、参照サイトは、古いコードと小規模チームまたは個人運営者に依存しながら、蓄積された共同知を保存している
  • The Numbersはより良い構造で復旧を進めており、従来のインターネットのために作られた小規模サイトを使い続け、支え続けることが生存に直結している

関連記事

1件のコメント

 
GN⁺ 5 시간 전
Hacker Newsの意見

  • 真面目に問うなら、予測市場は TheNumbers.com の新たな収益源になり得るのではないか？ 攻撃者の一部は公開前の数値を入手し、予測市場で確実な情報をもとに賭けようとした可能性がある
    明白なインサイダー取引で非常に非倫理的だが、PolyMarket CEO はインサイダー取引がサービス趣旨の一部だと述べたこともある: https://youtu.be/ZN4njIQcSR4?si=ztyTtgjeHSJbNjSZ&t=1566

  • 要点は、エージェントがサイトを叩いているだけでなく、悪用可能な潜在的脆弱性があることだ。サイトが停止した後、データとデザインを大幅に縮小して戻ってきた理由もここにある
    悪意ある利用者が The Numbers の公開前データにアクセスできれば、毎週ほかのトレーダーより先に答えを知って先回り取引できる

    • 予測市場のトレーダーが結果を先回り取引しようとしていたのなら、市場終了前に一定の取引停止バッファ時間を設ける形で予測市場側が防ぐべきだ

  • 無料サイトを壊してユーザーを有料製品へ追い込もうとする意図的な食い逃げだったという Reddit の推測を見て、今後は無料リソースがさらに減るのではないかと考えさせられる
    以前は、誰かが似た問題を解決するのに使ってくれればと思って小さなツールをオープンソースで公開していたが、今ではそれがスクレイピングされて学習データになり、後で収益化されると思うと、無料のWebに貢献する気が薄れる。有用な無料サイトの運営者が腹を立てるのも当然だ

    • 他人のサイトをスクレイピングして収益化する行為は大規模言語モデル流行以前からあったが、変わったのは規模だ
      不快な形で成果物が使われるだけでなく、保守コストと時間が増え、現実の被害まで発生している
    • 最近、GitHub Star 200件を獲得したオープンソースプロジェクトを非公開に切り替えた。ほかのプロジェクトが土台として使い、出典を明記するのは構わなかったが、大規模言語モデルは全部吸い上げて加工したうえで自分のもののように出してくる
    • 人々が結局ほかで金を払ってアクセスするデータなら、なぜ無料で提供すべきなのか？ AI の無分別な利用のせいで、インターネット全体が極端な強欲へ流れかねず、Google が人々が検索結果の2ページ目を見ない習慣を利用して小さなサイトを殺したのと似ている
    • モデルが自分のソフトウェアで学習してもっと良くなってほしいので、できるだけ多くオープンソースとして公開している
    • 次の AGPL、あるいは一般 GPL には、ソース資料を使ったクローズドモデル学習の禁止が明記されるかもしれない。理想的には、公開ウェイトのモデルであっても、学習プロセス全体を共有しないなら禁止すべきだ

  • 数年前、COVID-19 の期間中に、米国政府の中小企業支援金と DOJ が起訴した詐欺融資を検索するサイトを運営していた。公開データ全体は約 10GB で無料ダウンロードでき、寄付は累計で約 2,000 ドルだった
    ところが AI クローラーはトップページの一括ダウンロードリンクではなく、検索条件のあらゆる組み合わせをページ巡回して数十テラバイトの HTMLを取得していった。CloudFront キャッシュと効率的なバックエンドがあっても、月間ネットワーク費用だけで約1,000ドルになり、翌月にサイトを閉鎖した

    • BigQuery の公開データセットを使えば、ユーザーが複雑な SQL を実行しても費用はユーザー負担になり、提供者はストレージ費用だけ払えばよい
    • Hetzner の専用サーバーはインバウンドもアウトバウンドも無制限で、サーバーオークションなら月約40ドルで高性能なマシンを確保できる
      ただし支払いを逃すと1週間ほどでサーバーが削除されることがあるので、絶対に滞納してはいけない
    • それらは AI クローラーではなく、セキュリティサービスの購入を誘導し、既存ブラウザの独占を強めるために世論を作ろうとするDDoS 攻撃者である可能性がある
    • AWS ベースの構築は財務的な時限爆弾のようなものだ
    • AI クローラーが検索エンジンのような従来のクローラーより、なぜより大きな負荷を生んだのか気になる。より徹底的に舐めたのか、より頻繁に訪問したのか知りたい

  • 変化したトラフィック構成に対応するオープンソースの技術パターンとライブラリが必要なのではないか？ 何百万もの小規模サイトやクリエイターには、大規模な自動アクセスを自力で防ぐ力がなく、有用なコンテンツほど攻撃的なクロールを受けて運営コストと不安定さが増す
    エージェント識別、レート制限、トラフィック分類、アクセス方針、キャッシュ、検証手順、ロギング、出所確認、利用統制を含むコミュニティ管理ツールが必要だ。各運営者が一人で作り直すのではなく、今日の自動化トラフィックに合った強力な共通ルールを提供すべきだ

    • ボットネットに対する共同対応が必要だ。正体を明かしてルールに従う善良なボットは遮断しやすいが、実際のユーザーのように振る舞い、住宅用プロキシの背後に隠れる悪質ボットはほとんど止められない
      感染したスマートTVや携帯電話のプロキシアクセス権を公然と販売している企業もあるので、その IP データベースを作って遮断できないだろうか。遮断案内を通じて家庭内の感染機器を検査するよう促せば、根本から解決できる可能性がある: https://news.ycombinator.com/item?id=49000864
    • コミュニティの解決策はrobots.txt の遵守だったが、法的義務ではない紳士協定なので AI クローラーは無視した
      結局、従来のトラフィック殺到制御手段へ戻ることになる。提案されたツールは Slashdot 効果、DDoS、過剰な検索エンジンクロールを防ぐために何十年も使われてきており、Cloudflare のような企業がすでにこの分野を主導してきた
    • この問題に技術官僚的な解決策はないと思う。裕福な者たちが特別な理由もなく金でインターネットを DDoS しているのだから、当事者を見つけて罰金や禁錮刑を科すべきだ。住宅用プロキシ提供業者から始めるのがよいだろう

  • AI 企業は本当にコストを社会化し、利益を私有化している。The Numbers のようなサイトは AI 攻勢に耐えるコストを背負うが、AI 企業からは何も返ってこない

    • ただし、サイトに大規模言語モデル向けの案内を追加した後、ライセンス問い合わせが10倍に増えたという。実際に契約金が支払われたかどうかは記事には出ていない
      クローラーが高品質な完全データにライセンス料を払っていたなら問題なかっただろうが、公開前データにアクセスするため脆弱性まで探し始めたことが核心だ
    • 見返りがないどころか、追加コストまで負担している

  • 無料公開エリアは静的サイトジェネレーターで作り直し、ボット認識 CDN を組み合わせるのに理想的なサイトに見える。そうすれば妥当なコストで長く運営できそう
    既存・新規アーキテクチャや、サイト維持のために導入した緩和・拡張戦略も気になる

    • この問題は20年前に Varnish Cache と Coral CDN ですでに解決されていた。ボットは、ここ最近で Web サーバーがどれほど非効率になったかをあらわにしているだけだ
      2000年代の粗い PHP サイトですら毎秒約200件、静的サイトは1,000件以上を処理し、Node.js は協調的スレッディングで毎秒10万件を掲げていた。ところが今日のサイトは ORM と N+1 問題のせいで数百〜数千回のデータベースクエリを実行し、応答に 500ms 以上かかり、同時ユーザー1,000人でも負荷を感じる
      言語とデータベースに依存しないロシアンドールキャッシュと、依存データの正確なキャッシュ無効化は普及しなかった。Laravel の touch イベントや Redis クエリキャッシュまで試したが、キャッシュ無効化は事実上未解決の問題であり、自前で実装せず初期段階からパッケージやシャーディングのような戦略を検討すべきだ
      Web は BitTorrent のように近くのピアからコンテンツを受け取る P2P コンテンツアドレス指定ストレージになるべきだったが、HTTPS/SSL とブラウザのセキュリティモデルが障害になった。信頼ネットワークやゼロ知識証明まで必要になるかもしれず、当分は陳腐な人間確認画面に縛られそうだ
    • アプローチ上、ほぼ静的な公開だけでも優れたセキュリティモデルを作れそうで、いずれにせよ書き直しの時期だったようだ。大規模言語モデルの助けがあれば、今では週末程度の作業かもしれない

  • 2015年に、当時唯一のリアルタイム映画チケット販売データを提供していた Applaudience を始め、補正の過程で TheNumbers.com の数値と比較していた
    今は別の事業をしているが、自分で作った技術の中では今でもいちばん気に入っているので、いつか復活させたい

  • 大手 AI 企業のクローラーは、robots.txt でそれぞれ ClaudeBot、Claude-SearchBot、Claude-User、GPTBot、OAI-SearchBot、PerplexityBot、Google-Extended、Google-Extended-Factual、Bingbot に Disallow: / を指定してブロックできる

    • ルールを守るクローラーにしか効かない。スマート TV や携帯電話アプリなどの消費者向けデバイスを使い、ときにはインターネット接続提供の見返りとして報酬まで支払うボットは従わない。ハッキングされた歯ブラシのような機器まで動員される可能性がある: https://news.ycombinator.com/item?id=49000864
    • 便利ではあるが、全面許可か全面遮断かの方式に近い。Google が crawl-delay をサポートしてサーバー事情に合わせて調整できればよいのだが、対応していない: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec#syntax
      ブロックすると検索流入もさらに減りそうだ
    • ClaudeBot には少なくとも先月までは、ディレクトリ URL の末尾スラッシュを削除するバグがあった。リンクにはスラッシュがあるのに、それを外してリクエストし、Caddy のリダイレクトを受けてから再度正しい URL をリクエストする
      その結果、ほとんどのサブディレクトリ URL に不要なリクエストが1回ずつ追加される
    • 運営中のサイトネットワークに来るボットトラフィックの90% は住宅系ボット経由のヘッドレス Chrome で、事実上ブロック不能だ。Google でさえ防げず、AdSense の数値まで水増しされる
    • 弁当箱に「食べないで」とシールを貼れば、私が食べないだろうという程度の防御だ

  • 古いロシア語のラジオ放送を保管した小さなサイト http://radar.lv を運営しているが、以前は米国トラフィックが 5% だったのに、最近は90% が米国から来ている
    月 1TB までは耐えられるので幸いで、クロール自体には反対しないが、実際の訪問者の安定性が心配だ。Cloudflare が最近作った訪問課金機能を有効にするか悩んでいる
    個人ブログは静的ジェネレーターを使っているが、このアーカイブは何年もセキュリティパッチが止まった古い Drupalを使っているという問題もある