1 ポイント 投稿者 GN⁺ 5 시간 전 | 1件のコメント | WhatsAppで共有
  • SourcewareでAnubisハニーポットが収集した267万超のユニークIPのうち、89.3%は既存の脅威リストに載っておらず、既知のブロックリストだけではスクレイパー活動の大半を特定しにくい
  • チャレンジページに意味的に無効なHTMLと「Don't click me」リンクを挿入し、これをたどる粗雑なスクレイパーを無意味なコンテンツと追加リンクへ誘導
  • ユニークIP 2,678,193件のうちデータベース登録済みアドレスは286,161件(10.7%)で、そのうち98.6%がabuseカテゴリに分類され、全トラフィックは229の国・地域と21,116のASNにまたがる
  • トラフィックは、プロキシネットワークに参加する感染したスマート家電から発生している可能性もあるが、収集データだけでは実際のデバイスタイプや感染の有無を立証できない
  • 特定の国や通信網に限られないスクレイピングに対処するには、AnubisのようなWebアプリケーションファイアウォールが必要であり、根本的な解決には同時に調整された世界規模の対応が求められる

既存の脅威リストが見落とすスクレイパー

  • Anubis reputation databaseを構築する過程で、ハニーポット機能が記録したアクセスの**80〜90%**が既存の脅威監視リストにないIPから発生していた
  • Sourcewareがここ数か月で収集したデータには、ユニークIP 2,678,193件が含まれる
    • IPでない項目や重複として除外されたアドレスはなかった
    • データベース登録済みアドレスは286,161件で全体の10.7%
    • 未登録アドレスは2,392,032件で全体の89.3%
  • 入力テーブル全体はAppendix A: Full tables for the reputation database inputで確認できる

登録済みIPの分類とプロバイダー

  • データベース登録済みアドレスのうち、abuseカテゴリは282,182件で98.6%を占める
    • datacenter 7,918件(2.8%)
    • proxy 2,562件(0.9%)
    • vpn 1,264件(0.4%)
    • crawler 46件
    • tor 17件
  • 別フラグ基準では、is_datacenter 7,918件、is_proxy 2,562件、is_vpn 1,264件、is_crawler 46件と集計されている
  • プロバイダーは126社あり、netshieldが237,945件(83.2%)で最大の比率を占めた
    • bitwire 96,539件(33.7%)、magicteamc 26,475件(9.3%)、ipinsights 17,378件(6.1%)、threathive 8,422件(2.9%)
    • このほか、netmountains、multacom、fyvri、cbuijs、x4bnet、solispirit、dailyproxy、blackwall、hproxy、Scaleway、AWS、Alibaba Cloud、OVHcloudなどが含まれる
    • 1つのIPに複数のカテゴリやプロバイダー情報が適用されることがあるため、比率の合計は100%を超える

国・地域とネットワーク全体への分布

  • 全アドレスは229の国・地域で観測されており、特定の地域に限定されない
    • アドレス数はブラジル270,937件、インド185,091件、サウジアラビア120,372件、メキシコ95,449件、トルコ87,258件の順で多い
    • データベース登録率はバングラデシュ29.9%、ウクライナ27.6%、イラク21.9%、ベネズエラ21.3%、パキスタン20.0%などとなっている
    • 米国は40,828件中3,347件が登録され、8.2%だった
  • ISO 3166-1に含まれる国・地域が249、そのうち国連加盟国が193である点と比べても、スクレイパー活動は世界中に広がっている
  • アドレスは21,116のASNに分布している
    • AS55836 Reliance Jio Infocomm Limitedは57,029件中1,749件が登録され3.1%
    • AS45899 VNPT Corpは56,910件中6,831件で12.0%
    • AS14593 Space Exploration Technologies Corporationは31,569件中4,597件で14.6%
    • AS9541 Cyber Internet Servicesは21,386件中3,696件で17.3%
    • 表では残り18,069件のASNが省略されている

Anubisハニーポットがスクレイパーを閉じ込める仕組み

  • Anubisはスクレイパー問題の広がりを測定するため、すべてのチャレンジページに次のような意味的に無効なHTMLを挿入する

/init">Don't click me

  • 正常な処理では無視されるべきリンクだが、これをたどると生成コストが低く、実質的な情報のないコンテンツが返される
    • 返されたコンテンツには、さらに別ページへ続くリンクが2つ含まれている
  • この構造は、粗雑に作られたスクレイパーを保護対象のWebサイトではなくハニーポット内部へ誘導しつつ、問題の規模を測定できるよう設計されている

スマート家電の感染可能性と対応の限界

  • 観測されたトラフィックのかなりの部分は、プロキシネットワークにトラフィックを提供する感染したスマート家電から発生している可能性がある
  • ただし、これは推測の域を出ず、収集データが個々のIPの実際のデバイスタイプや感染の有無を直接立証するものではない
  • 国やASN全体に分散した問題に実質的な影響を与えるには、同時に調整された世界規模の対応が必要になる
  • スクレイピングの規模が十分に広範であるため、AnubisのようなWebアプリケーションファイアウォールを運用する必要がある
  • 公開後に事実や状況が変わっている可能性があるため、不明確または誤っている部分は、早計に結論を出す前に確認するべきだ

1件のコメント

 
GN⁺ 5 시간 전
Lobste.rs の意見
  • script type=ignore は巧妙。elinks のようなツールやスクレイパーが使うヘッドレス Chrome はどちらもこれを完全に無視するが、内容自体は本拠地に送られてジョブキューに追加されうる
  • 肝心の興味深い質問には触れていない。検査をどう実施するのか、敵対的な挙動が見つかったら何をすべきかが気になる
    特に、感染した機器が コマンド&コントロール(C&C)サーバー と通信しているかを検知する方法をもっと知りたい
    • そもそも対象になりうるスマート TV のモデルをすべて把握する方法すら分からないのに、各モデルのマルウェアをどう検査するかはなおさら提示しにくい。せいぜい言えるのは、無料TVをうたう違法アプリをインストールしないことくらい
    • ある程度の ネットワークエンジニアリング なしでは難しそう。最も確実な方法は、ルーターで LAN の送信元機器ごとのトラフィックを分析すること
      全体のトラフィック量や、接続した異なる宛先 IP の数を基準にできそう
  • ここでいう abuse カテゴリ が何を意味するのか気になる
    • 複数の意味が混ざっているので分ける必要はあるが、普通は メールスパムの送信元として知られているか、FireHOL に表示されている対象 を指す。このファイルで abuse を検索すればよい: https://github.com/TecharoHQ/reputationdb/…