- RedditはOld Redditのログアウト利用を悪意あるスクレイピングと自動化トラフィックの主要な発生源と見なし、ログインを要求し始めたが、New Redditは依然としてログアウト状態でアクセス可能
- Old Redditは投稿とコメントの大半をプレーンHTMLで提供し、約1MBをダウンロードして0.5MBを送信する一方、JavaScriptが必要なNew Redditは約5倍多いデータを読み込む
- 限定的なブラウザ実験では、New Redditも一部のJavaScriptとコメントAPIリクエストだけでコメント本文を受け取れるため、今回の変更がスクレイピングを実際に阻止するかは確認されていない
- Old Redditは最初からコメント200件を読み込むが、New Redditは25件だけを読み込み、スクロール後も約35件にとどまるため、スクレイパーがより簡潔なOld Redditを好む理由は明確
- あいまいな「安全」という名目より、スクレイピング抑制やサービス終了の目的を直接説明すべきであり、ログイン強制は人間が書いた検索結果を読もうとする利用者に不要な障壁を作る
Redditと人間が書いた検索結果
- Redditは多数の人気フォーラムをホストし、ユーザーが作ったコミュニティからできるだけ多くの価値を引き出す企業と見なされている
- LLM時代の人間生成データの価値が高まるにつれ、Redditコミュニティの投稿はさらに重要な資産になった
- 過去のReddit API論争も、コミュニティから価値を回収しようとした事例につながる
- 検索語に
site: reddit.comを付けると実際の人間が書いた結果を見つけやすく、Redditを積極的に使っていなくても検索結果は引き続き訪れる価値があった
Old Redditのログイン要求
old.reddit.comはRedditの従来デザインを提供するフロントエンドだが、今ではログアウト状態では正常に利用しにくい- FirefoxとNoScriptを使う少数の利用者は、正常に動いていた製品からサポート終了で押し出される経験を繰り返してきた
- 8年前の携帯電話と10年前のタブレットは、OSが古いという理由で使えなくなった
- アプリストアから消えたStack Exchangeアプリが使っていたAPIも停止された
- Redditは今回の措置を「Redditを安全に保つため」と案内したが、知識へアクセスしようとする利用者がプラットフォームにどのような脅威となるのかは明確ではない
Redditが明かしたスクレイピング問題
- Redditの公式告知によると、Old Redditのログアウト利用は悪意あるスクレイピングと自動化トラフィックの主要な発生源である
- New Redditはログアウト状態でもアクセスできるため、Old Redditだけを制限する理由には疑問が残る
- 関連コメントでは、悪意あるトラフィックの手法が変わり続ける中でブロックと回避が繰り返され、事後検知は容易だが事前ブロックは難しいと見ている
- Old Redditには現代的なセキュリティスタックがなく、自動化トラフィックへの対応がより難しいという解釈が示され、Reddit管理者はそれを回答の代わりとした
Old Redditの動作と転送量
- ログイン後に告知スレッドを調べた結果、Old Redditはユーザーコンテンツの大半をプレーンHTMLで提供している
- 追加コメントを読み込むときでなければ、JavaScriptなしでもページを読める
- 測定したページは約1MBをダウンロードし、0.5MBを送信しており、レスポンスの大半はHTMLが占めていた
- レスポンスまで約2秒かかり、サイズに比べてGitHubより約4倍遅かった
- レート制限のためなのか、Reddit自体がもともと遅いのかは確認されていない
- 追加コメントのリクエストは簡潔かつ高速に処理され、一般的なWebページと異なる明確なセキュリティ問題も見つからなかった
New RedditのJavaScript依存
- New RedditはJavaScriptなしでは投稿以外のコンテンツをほとんど読み込めない
- 全体の読み込み量はOld Redditの約5倍で、正確なセキュリティ機構を回避する代わりに、ブラウザでコンテンツを取得するのに必要な最小限のリクエストだけを残す方法で試した
- 次のリクエストだけを許可しても、ページ自体はロードされた
- フィルターを適用すると追加コメントボタンは読み込み中のままだったが、実際のリクエスト応答にはコメント本文が含まれていた
- ページのJavaScriptを実行し、必要なリクエストを送るだけでコメント情報を受け取れるため、JavaScript実行がスクレイパーを阻む核心的な障壁なのかは不明
CAPTCHAとユーザー操作の送信
- ページを何度も再読み込みし、コメントと返信を読み込む間、ほとんど失敗しなかった
- リクエストフィルターを解除した一度の実験では、リダイレクトとともにCAPTCHAフィールドがクエリパラメータとして渡されたが、同じ現象は再現できなかった
- コメントAPIを直接繰り返し呼び出したときにCAPTCHAが表示されるかも確認されていない
- New Redditはユーザーがスクロールしたりカーソルを動かしたりするたびに、ハートビート信号をRedditへ送信する
スクレイピング抑制効果の限界
- フロントエンド自体の安全問題というより、Redditが価値あるユーザー生成データのスクレイピングを難しくしようとする措置に見える
- New Redditを依然としてスクレイピングできると証明したわけではなく、Old Redditより作業が難しい可能性は残っている
- スクレイパーがOld Redditを好む理由は、ページが簡潔で初期コメント読み込み量が多いからである
- Old Redditは最初からコメント200件を読み込む
- New Redditは最初に25件だけ読み込み、スクロールすると約35件まで自動的に増える
- New RedditはプレーンHTML中心の従来画面をWeb Componentsなどに依存する約5倍重い構造へ変え、その結果ブラウザはより多くのデータを受け取り、より多くの処理を行う
- ブラウザの負担を増やしてスクレイピングコストも高めた可能性はあるが、実際のブロック効果は確認されていない
「安全」という名目への反発
- Redditが
old.reddit.comに30X・40Xレスポンスをひそかに適用するか、利用者が少ないため削除すると明らかにしていたなら、不快ではあっても予測可能な決定だった - 実際の利用者と直接関係のない、あいまいなセキュリティ・スクレイピング名目で、正常に動いていたアクセス方法を奪う点がより大きな反発を招いている
- Anubisのように必要性に納得できる場合はJavaScriptを有効にする意思もあり、反感の核心はJavaScript自体ではなく、説明と措置の不一致にある
- 個人ブログもOld RedditのようにプレーンHTMLでテキストを提供するが、Redditのユーザー生成コンテンツと違い、もともと運営者自身のコンテンツであるという違いがある
残された選択肢と懸念
- ログインはできるが、以前は不要だった手続きを強制されることへの不満は残る
- New Redditを使わざるを得ないかもしれず、RedditがOld Redditのサポートを継続するかも分からない
- Redditが可能だと判断すれば、今後New Redditのログアウトアクセスも遮断する可能性があるという懸念がある
- 人々の実際の文章を読むために巨大で高価なLLMを経由する環境より、人間が書いたテキストを直接検索して読めるインターネットを望んでいる
- 関連する議論はLobste.rsにも投稿されている
1件のコメント
Lobste.rsの意見
ソーシャルメディアの エンシティフィケーション（enshittification） を示す最良の例は、旧Redditから新Redditへの移行だと思う。旧版は古びているが高速で無駄がなく、ブラウザに負担をかけずに何十件もの返信を読み込めるし、RESやToolboxのようなツールで不便な点も改善できる
数か月おきに新バージョンをまた試しているが、登録してからもう15年近くになるのに、いまだに慣れるのが難しい。巨大なサイドバーが2本も場所を取り、投稿を開くまでの流れは遅くて分かりにくく、コメントのまとまりを読み込んでいるとページが更新されて文脈を見失うことさえある
画像投稿、投票、新しい運営ツールのような良い機能もあるが、それでも結局は旧版を使ってしまう。会社が再びユーザーの使いやすさを重視する可能性もなさそうだし、旧版を無期限にサポートするという立場が最近 「今のところは違う」に後退したこと も不穏だ
よく参加している /r/rust も、運営者や長期ユーザーの大半を失って崩れてしまう可能性が高い。Rustが成熟し、過度にメインストリーム化したことで、10年前より質が大きく落ちてもいる。新Redditは会社が望む方向にはより適しているが、昔のWebとは見込みのない、まったく別の製品だ
核心の問題は、宣伝文句が「サーバーの スクレイピング負荷を減らすため」ではなく「セキュリティのため」と書いていることにある。今どきサイト運営者にとってスクレイピング負荷は十分に妥当な懸念であり、他の点はもっともな苛立ちではあっても、差し迫った問題とはややずれている
Philips Hueの照明アプリも、数年前にアカウントなしでは照明を操作できなくする予定だとして、「セキュリティのため」というバナーを表示していた。本当のセキュリティとは、すべての通信を自分のネットワーク内に留めることであって、ホームネットワーク上の機器を操作するのに外部サーバーや外部認証の仕組みを持ち込むことではない。幸い、まだ警告にとどまっていて、アカウントなしでも問題なく動いている
スクレイパーのせいで打撃を受ける小規模サイトには気の毒だが、Redditにはあまり同情できない。GoogleなどがAPIアクセスに巨額を支払ったのなら、Old Redditを維持する価値がある限り、非ログインでのアクセスも引き続き提供できない理由が分からない。CAPTCHAへのリダイレクトも見た気がするので、それをOld Redditに追加するのがそんなに難しいのかも疑問だ
シニカルに推測するなら、誰かがOld Redditに 2秒の速度制限 をかけたのにスクレイピングの数字が変わらず、それを見て終了を決め、社内の対立の末に今の折衷案が出てきたのだろう
こういう分野では 露骨な嘘 が信じられないほど一般的で、あまりに頻繁に見逃されている。Cloudflareも数か月前までは「example.comで続行する前に接続の安全性を確認する必要があります」と表示していたが、最近になってようやく悪質ボット対策サービスがユーザーを確認していると、より正直な表現に変えた
GoogleがXSLTを削除した名目も似たようなものだ。最初はセキュリティを主な理由に挙げていたのに、実際の削除を始める前に、拡張機能として実装した完全互換の代替品を提供し、自らそのセキュリティ論を無効化した。それでも実際の削除段階ではずっと「セキュリティのため」と言い続けており、正当な別の理由を率直に示すべきだった。すべてのブラウザベンダーがXSLT削除を望んでいたことではなく、Googleのその包み方が気に障る
企業は何でも「安全のため」と言いたがる。ずっと前、コンビニで小さな携帯用バッグを持って入ってはいけない、それは私と他の客の安全のためだと言われたことがある。空のバッグで誰かを殴ることもできるし、強盗に遭ったこともあるのかもしれないが、実際の心配はほぼ間違いなく万引きだったはずだ
正直に「安全」を「利益率を維持し、高めるため」と言い換えてくれたほうが、よほど尊重できた。事業の目的が金を稼ぐことなのは当然だ
libredirectのようなリダイレクトプラグインと一緒に、redlib、libreddit、teddit のようなReddit読み取り専用のプライバシー重視フロントエンドを使えばいい。そうしたインターフェースの開発者を除けば、誰もRedditの最新の横暴を直接受ける理由はない
old.reddit.comを使えば、性的な話題だけでなく他のセンシティブな内容も含む 18歳以上向けサブレディットのログイン障壁 を回避できる
Redditアカウントなしで特定の話題にアクセスしたい人にとって、今回の変更はさらに悪い。Redditは今も膨大な情報源なので、検索語に site:reddit.com をよく追加している
Redditが JSON APIも廃止 したことで、アカウントやログイン障壁やJavaScriptなしでRedditを見られるようにしていた lurker(https://tangled.org/oppi.li/lurker) のようなツールも塞がれた。いつか来るとは分かっていたが、高品質なユーザー生成データこそがRedditの防壁らしい
Old RedditはRedditの事業上の利益にとっても「安全ではない」。新Redditは今やスマートフォンで完全に動作を拒否し、アプリのダウンロードへ強制的に送るが、アプリでは一般的な広告ブロッカーも動かないため、Redditはブラウザよりはるかに強く支配できる。一方で 旧サイトはまだモバイルで利用できる
RedditやHNでも、明らかなボットや宣伝目的のマーケティングをたくさん見てきた。オンラインでやり取りする数少ない場所の一つが lobste.rs なのは、そこにいる大半が本物の人間だと信じられるからだ
モバイルで新Redditのコメントをある程度読むと、閉じられないアプリ導入の壁 が現れて「Redditはアプリのほうが良い」と押しつけてくる。アプリを入れずにこれを避ける唯一の方法がOld Redditだ
手間をかけて作られたモバイルサイトを1、2ページ以上見る行為は「安全ではない」らしく、Old Redditの終了はアプリ導入へのこの抜け道を塞ぐためのものに見える