AmazonのAIクローラーで不安定になった私のGitサーバー

 (xeiaso.net)
1 ポイント 投稿者 GN⁺ 2025-01-19 | 1件のコメント | WhatsAppで共有

  • AmazonのAIクローラーによって私のGitサーバーが不安定に

  • サポートブログ: ブログを楽しんでいるなら、PatreonでXeを支援できます

  • Patreon購読: EthicalAds広告

  • 更新（2025-01-18 23:50 UTC）: Giteaサーバーにリクエストを許可する前に、プルーフ・オブ・ワーク検証を行うプロキシを書きました。名前はAnubisで、近日中にブログ記事を書く予定です。現在は https://git.xeserv.us/ で確認できます。やや荒削りですが、十分に動作しています

  • 更新（2025-01-18 19:00 UTC）: ギブアップしました。GiteaサーバーをVPNの背後に移しました。ボットからサーバーを守るため、プルーフ・オブ・ワーク式のリバースプロキシを作業中です。近日中に再稼働させる予定です

  • 更新（2025-01-17 17:50 UTC）: イングレス設定に次のスニペットを追加しました:

    nginx.ingress.kubernetes.io/configuration-snippet: |
  if ($http_user_agent ~* "(Amazon)" ){
    return 418;
  }

    ボットは依然として別のIPから攻撃しています。リクエストの約10%にはamazonbotのユーザーエージェントがありません。次に何をすべきか分かりません。未来が嫌です

  • 助けてほしいこと: AmazonBotを運用している人に、git.xeserv.us をブロックされたドメイン一覧に追加してほしいと頼んでいます。Amazonに知り合いがいるなら、このメッセージを伝えてください。Gitサーバーをクロールしたいなら、少なくともハードウェア増強に見合う費用を支払えるよう連絡してほしいです。Giteaサーバーを一般公開から閉じたくはありませんが、必要ならそうします。AIクローラーボットをブロックするのは無意味です。ボットは嘘をつき、ユーザーエージェントを変え、住宅用IPアドレスをプロキシとして使います。リクエストが止まってほしいです

  • robots.txt ファイルはすでにすべてのボットをブロックするよう設定しています:

    User-agent: *
Disallow: /

    これ以上何をすべきか分かりません

関連記事

1件のコメント

 
GN⁺ 2025-01-19
Hacker Newsの意見

  • 弁護士に「明確な停止要求書」を作成してもらい、Amazonに送付することで問題解決を試みることができる

    • Amazonがやめなければ、刑事告発によって注意を引くこともできる

  • 人が訪れないリンクをWebサイトに追加し、robots.txtでそれを禁止してAIクローラーをブロックする方法の提案

    • そのIPアドレスが当該リンクを訪れた場合、24時間ブロックする

  • AIやSEOボットはrobots.txtをほとんど順守せず、ブロックするのも難しい

    • AIクローラーがアクセスしたいのであれば、ルールに従うか費用を支払うべきだ

  • Amazonではない別の主体がAIクローラーを装っている可能性がある

    • 回転する住宅向けIPと変化するユーザーエージェント文字列が疑わしい

  • 個人サーバーでAIクローラーによりCPU使用量が急増する問題が発生

    • robots.txtとユーザーエージェントベースのブロックリストで問題は軽減したが、継続するかどうかは不確実

  • AIクローラーをブロックする代わりに、有害なコンテンツを提供して問題を解決できるのではないかという意見

    • Amazonがそれを発見すれば、問題解決のために費用を投じる可能性がある

  • Amazonを装ったDDoS攻撃である可能性の指摘

    • 住宅向けIPからリクエストが来ていることが疑わしい

  • PinboardサイトもAIクローラーによってトラフィックが急増し、サイトがダウン

    • IPレンジでブロックできないため、CAPTCHAを使わなければならない

  • AmazonがAWSクレジットを提供して、超過トラフィック費用を補償してくれることを望む意見

    • 広告収益でそれを相殺できるのではないかという期待

  • Nginxでブロックする設定を行う前は、BytespiderとAmazonbotが全トラフィックの80%を占めていた

    • ClaudeBotはRedmineに対して、5年分のトラフィックをわずか1か月で上回った