- 多くのユーザーは、Webサイトのコンテンツを最新の状態で追うためにRSSフィードリーダーを使っている
- しかし、WebサイトでCloudflareを有効にすると、こうしたRSSユーザーがコンテンツにアクセスできないようブロックされる可能性がある。
- Cloudflareのダッシュボードには、ボットトラフィックを遮断するためのツールがある。特に Bot Fight Mode と「AI scrapers and crawlers」ブロックオプションがある。
- これらの機能を有効にすると、RSSリーダー経由でWebサイトにアクセスするユーザーがブロックされることがある。
CloudflareがRSSリーダーをブロックする方法
- Cloudflareは、Webサイトへの訪問をAIスクレイパーやボットと判断してブロックする。
- RSSリーダーがWebサイトを読み取ろうとすると、Cloudflareは人間が解かなければならないチャレンジを提示する。RSSリーダーはこれを解決できない。
- 別のケースでは、理由なくRSSリーダーのアクセスをブロックすることもある。
Cloudflareを使いながらRSSリーダーのブロックを解除する方法
- Cloudflareを使いながらでも、RSSリーダーをホワイトリストに追加してブロックを解除できる。
- Cloudflareの分析ダッシュボードで、ブロックされたRSSリーダーのユーザーエージェントを見つける必要がある。
- ユーザーエージェント文字列やIPアドレスに基づいてカスタムルールを作成し、トラフィックを許可できる。
CloudflareがRSSリーダーを許可するための、より良い方法が必要
- Cloudflareは、RSSリーダーの所有者が手動で申請できるボット認証プログラムを提供しているが、このプログラムは保証されておらず、いくつか問題がある。
- 認証プロセスが不安定。
- 認証済みのRSSリーダーが依然としてブロックされる。
- 複数のWebサイトでRSSリーダーのブロック解除を行うのは煩雑。
GN⁺のまとめ
- Cloudflareのセキュリティツールは悪意のあるボットや攻撃を防ぐのに有用だが、RSSツールの利用者がWebサイトのコンテンツにアクセスできるようにする必要がある。
- Cloudflareは、RSSリーダーのブロック問題を簡単に解決できる方法を提供すべきだ。
- Cloudflareのセキュリティ設定を使うWebサイト所有者にとって重要な情報だ。
1件のコメント
Hacker Newsの意見
NewsBlurの運営者は、CloudflareのブロックによってRSSフィードの収集に苦労しており、ユーザーが返金を求めていると述べている。CloudflareにIPアドレスの一覧を共有したが効果はなかった。Cloudflareがこの一覧を許可リストに追加してくれることを望んでいる
Listen NotesはCloudflareを使ってサービスのセキュリティを管理しており、トラフィックの種類に応じてサブドメインを分離し、それぞれに適したファイアウォールおよびページルールを適用している。これにより最適なサービス提供を保証している
OpenBSDで厳格なプライバシー設定のFirefoxを実行すると、Cloudflareの前段にあるWebサイトで403 Forbiddenエラーが発生する。これはCloudflareの問題に見える
特定のユーザーエージェントをホワイトリストに追加するのは終わりのない手作業であり、悪意ある行為者がこれを回避できる。代わりに、ボットブロックを無効にするページルールを作成して、すべてのRSSリーダーの問題を解決することが勧められている。Cloudflareのデフォルト設定の問題は何年も解決されていない
Cloudflareのjgc@cloudflare.comメールを通じてRSSリーダーの所有者たちの経験を聞きたいとしており、チームに問題を詳しく調査するよう依頼する予定だとしている
RSSリーダーの所有者は、多くのサポート要請が「フィードが動作しない」という問題によって発生しており、これはCloudflareだけでなくさまざまなファイアウォール設定によって起きると述べている
CloudflareはRSSリーダーによるフィード収集を妨げており、Webサイトの所有者に個別の例外追加を依頼する以外に解決方法がない
Cloudflareを使うWebサイトはSafariユーザー、Chromeユーザー、またはすべてのユーザーをブロックする可能性があり、これはWebサイト所有者に損失をもたらす。Cloudflare自体にアクセスするときにはブロックされない
政府のWebサイトがCloudflareによってブロックされる場合、問題を説明して解決を要請することはほとんど不可能である。解決しても数週間後に再び問題が発生する
CloudflareはタイのIPとLinux FirefoxのフィンガープリントでWebアクセスを妨げているが、Web管理者はこうした問題を認識していない。Scrapfly WebスクレイピングAPIを使ってRSSブリッジを作成し、問題を解決している。現代のWebは反社会的であり、APIですべてがつながるというWeb 2.0の理想からは遠ざかっている