- Google検索結果が数日間にわたり大規模なスパム攻撃にさらされ、複数のドメインがそれぞれ数十万件のキーワードでランクインしており、全体の規模は数百万件の検索語に及ぶ可能性がある
- 攻撃は、ロングテール検索語、寛容なローカル検索アルゴリズム、新規ドメインの短い初期露出期間を組み合わせて狙ったものとみられる
- 一部のスパムドメインは登録後24〜48時間以内に順位に入り、1つのドメインだけで300,000件を超えるキーワードフレーズにランクインした
- スパムページは一般訪問者とGooglebotを区別し、GoogleのIPからのみコンテンツを表示し、それ以外の訪問者は別ドメインへリダイレクトする
- Googleは12月19日、この事例を検索チームに共有して調査中だと明らかにしたが、ローカル検索とロングテール検索の弱点への対応は引き続き課題として残っている
Google検索結果を覆い尽くしたスパム
- Google検索結果が数日間にわたり、制御が困難なレベルのスパム攻撃を受けた
- 複数のドメインがそれぞれ数十万件のキーワードでランクインしており、攻撃規模は数百万件のキーワードフレーズにまで及ぶ可能性がある
- Lily Rayによると、
"craigslist used auto parts" の検索上位20件の結果では、Craigslistの最初の2件を除くすべてがスパムだという
スパムが狙った3つの機会
- スパムサイトは、Googleのランキングシステムにおける少なくとも3つの機会の窓を利用しているとみられる
-
競争度の低い検索語
- 検索量の少ないロングテールキーワードは競合が少なく、順位に入りやすい
- 月に1回、あるいは年に1回発生するような検索語は、特に順位入りのハードルが低い
-
ローカル検索アルゴリズム
- ローカル検索は、近くの飲食店や映画の上映時間のように地域性のある検索で機能する
- このアルゴリズムはより寛容で、リンクのない地域の飲食店でもランクインできる
-
新規ドメインの短い初期露出
- 多くのスパムドメインは、順位に入る24〜48時間前に登録されていた
- Googleはまったく新しいサイトでシグナルが不足している場合に推定値を使い、実際のシグナルが確定する前の初期段階では、より目立つように表示することがある
- スパムドメインはこの短い期間に検索結果へ入り、多数の検索語で露出した後に消えるという動き方ができる
リンクネットワークは発見とインデックス登録に使われている可能性
- Bill Hartzerは、Majesticのバックリンクツールで生成したリンクグラフを通じて、複数のスパムサイトのリンクネットワークを明らかにした
- グラフには複数のWebサイトが互いに密接につながっている様子が示されており、これはスパム的なリンクネットワークでよく見られるパターンだ
- リンクが高順位の直接的な原因というより、Googlebotが新しいスパムページを発見・クロールし、1日か2日だけでもインデックス登録するのを助ける役割を果たしている可能性がある
- Bill Hartzerは、Googleがリンクよりもコンテンツを重視している点も一因だとみている
ロングテールとローカル検索の組み合わせ
- 複数のスパムサイトがランクインしている検索語は、ロングテールフレーズとローカル検索要素が組み合わさった形だ
- ロングテールとは検索頻度の低いフレーズであり、競争が少ないため順位に入りやすい
- スパム運営者が数百万件のロングテールページを作成すれば、短期間で毎日数十万件のキーワードに露出できる
- Amazonのように多数の個別商品を販売する方式とは異なり、スパムは多数の競争度の低い検索語に合わせたページを露出させる方式だ
- 明らかになった事例には、
Craigslist auto parts、Craigslist rooms to rent、Craigslist for sale by owner のようなフレーズが含まれる
- スパムの規模は、
Craigslist という単語を含むキーワードをはるかに超えている
Googlebotにだけ見えるスパムページ
- 一般のブラウザでスパムページにアクセスしても実際のページ内容は確認できず、自動的に別ドメインへリダイレクトされる
- W3Cリンクチェッカーでもサイトを見ることはできず、ブラウザのユーザーエージェントをGooglebotに変更してもリダイレクトは続いた
- これは、スパムサイトがユーザーエージェントではなくGooglebotのIPアドレスを確認していることを示唆している
- 訪問者のIPがGoogle所有のものだと確認されるとGooglebotにコンテンツを表示し、それ以外の訪問者は怪しいコンテンツのある別ドメインへ送る
- Google Rich Results Testerを使ってGoogleのIPからアクセスすると、スパムページのHTMLを確認できる
- Rich Results TesterでHTMLをコピーしてファイルに保存し、JavaScriptを削除したうえで、Googleが見ている形のスパムWebページを確認した
1つのドメインだけで300,000件以上のキーワードにランクイン
- Bill Hartzerが共有したスプレッドシートには、あるスパムサイトがランクインしたキーワードフレーズの一覧が含まれている
- そのスパムサイト1つだけで、300,000件以上のキーワードフレーズにランクインしていた
- キーワードにはCraigslist関連のフレーズが多かったが、そのほかにもローカル検索要素を含むロングテールフレーズが多数含まれていた
- ロングテールフレーズとローカル検索フレーズはそれぞれ順位に入りやすく、2つのタイプが組み合わさるとさらにランクインしやすくなる
ローカル検索の弱点とGoogleの対応
- ローカル検索は、非ローカル検索とは異なるアルゴリズムを使用する
- ローカルサイトは検索語でランクインするために多くのリンクを必要とせず、ローカル検索アルゴリズムをトリガーする適切なキーワードがあれば順位に入ることができる
- ローカル検索アルゴリズムは非常に寛容で、ほぼ全体がラテン語で書かれたサイトが
Rhinoplasty Plano Texas のようなフレーズでランクインした事例もある
- Google SearchLiaisonのDanny Sullivanは12月19日、この事例を検索チームに共有し、調査中だと明らかにした
- Googleは特定のドメインでサイトがランクインできないようにするなど、より厳格な方法で対応できるが、このタイプのスパムを解決する方法を見つけられるかが課題として残っている
7件のコメント
Googleのスパム報告用ウェブ文書です。スパムを報告する際、
abc.abc.uk/trashasdaのようなドメインであればabc.ukとして報告し、abc.abc.uk/sitemap.xmlを問題を正確に把握できる検索語に入れて報告するとよいです。すでにソリューションとして固められたウェブで、一般ユーザーがアクセスするとすぐに派生文書を再生成する構造になっているようです。対処方法としては積極的に報告するのが適切で、Googleで押された分だけ再びスパムページが作られ、google.com/urlimage.google.com/urlnaver redirectなどのようにボットがアクセスするよう仕向けて、また生成されたスパムページへ移動する過程があるので、押さずにリンクだけを取って報告すれば大丈夫です。google.com/urlと明示してリダイレクトするアルゴリズムが撤廃されない限り、現在の問題は今後も続くと見られます。（スパム、スパムウェブ文書の報告）
上記のスパム対策ソリューションに該当するウェブ文書を報告する場合、
全5つの欄のうち、1つ目にはメインドメイン、追加の4つのURLにはそこから派生して作られた文書の一覧を記入するのが適切で、さらにそのドメインのサイトマップを検索語に入れるのが望ましいです。サイトマップを開いてみると、
/new/asdasdのようにアクセスした瞬間に生成されるような戦略を取っており、報告文書を作成すると結局Googleが閲覧する際に逃げる文書を追加で生成するよう仕組まれている巧妙な相手なので、ドメイン自体を報告する必要があります。私の場合
(h は x に、/ は | に置き換えました)
xttp:||baddomain.com
xttp:||baddomain.com/blogs
xttp:||baddomain.com/blogs/asdasd1
xttp:||baddomain.com/asdasd1
xttp:||baddomain.com/asdasd2
このように通報書を作成した後、
サブドメインから腐っているやつなら、
site:*baddomain.comこのキーワードでこんなふうに通報書を書いて送ります。
その後、サイト自体が完全にスパム的なら、フィッシングサイト通報書も一緒に送ります.
それらのスパムWebサイトのソフトウェアには皮肉にもタグマネージャーが連携されており、https://picsum.photos のようなサイトが使われているにもかかわらず、インデックス登録は正常に行われています。これはGoogleが審査していないことを意味します。スパム活動が通常の範囲を超えているにもかかわらず、スパムWebページ + AdWords広告が付いている状態であれば、いくら通報しても広告流入数のぶんだけ派生文書がすぐに作られます。スパムWebサイトがタグマネージャーを普通に使っているという点がぞっとします。
1か月にわたってスパム報告を出し続けていますが、スパム文書・詐欺文書として通報しつつ、フィッシングサイト通報ページでも一緒に報告していただけると、より早く整理されます。該当ページも入力しますが、最上位ドメインが
abc.abc.ukならabc.ukと入力していただくことで、ドメイン自体の整理に役立ちます。ウェブマスターにとっては宿題のような日常になってしまいました。ただでさえGoogleは以前から検索結果の質が全体的に低下しているのが目に見えていましたが、このように短期間で大量の攻撃を受ければ、多くの人がGoogleの検索結果をさらに信頼できなくなるでしょう。
Hacker News のコメント
以前は、Googlebot に通常の未ログインユーザーとは異なるコンテンツを見せるサイトは許容されず、厳しく不利益を受けるという明示的なポリシーがあった。
今はそのポリシーはなくなったが、自動執行ツールがまともだったなら、こうした状況の助けになった気がする。
最近の Google は、Googlebot にはコンテンツを見せながら一般ユーザーには意図的に見せないサイトも、まったく問題ないと見ているようだ。
そのうち Bing がクローラートラフィックの約70%、Google が約25%で、Bing が攻撃的にクロールした結果、数か月でただでさえ大きかったトラフィックが倍増し、スケーリングの限界が露呈した。
ページに表示する広告を選ぶシステムを担当していたが、自社データに基づくターゲティングを行う社内広告システムだったため計算コストが最大の部分で、広告は HTML に直接挿入されていた。
広告選択インフラの90%がクローラーに広告を食わせるために使われていると知り、クローラー向けには広告をオフにしたかったが、Google の「クローラーとユーザーに同じコンテンツを見せるべき」というポリシーの趣旨に反するように見えた。
最終的にはほぼすべてのターゲティングを止め、ページと大まかに合うランダムな広告をクローラーに見せたところ、広告選択インフラのコストをほぼ80%削減し、毎月6桁ドルを節約できた。
「プロダクトの中核機能は100行で複製できるのに、なぜ会社に多くのエンジニアが必要なのか」という問いが見落としているのは、こういう部分だ。十分な規模では、クローラートラフィックを処理するだけでも本物のエンジニアリングが必要になる。
2000年代初頭の Google は主に Google 所有の IP からクロールしていたが、ときどき Comcast のような協力 ISP の IP も使っていた。
IP クローキングをしていたなら、そうした厄介な非 Google IP にも注意する必要があり、当時「IP Delivery」というサービスのスクリプトでそういうゲームをしたことがある。
そこにスパムサイトができるだけ多くのキーワードをばらまくので、最初のページを過ぎると何を検索してもサイトの95%がスパムのようになる。
なぜインターネットをこんな状態にしておいたのか分からない。本物で信頼できるコンテンツに署名する方法があるべきだが、SSL 証明書は明らかにそれではない。
サイトの正当性の評価をクラウドソーシングすることもできそうだ。
人々が Reddit や YouTube のような大手に集まる理由もこれだ。McDonald’s のように、今回受け取るものが以前と同じだと分かるからだ。
数か月前に Kagi に乗り換えた。たまに良い検索結果を得るのが難しいこともあるが、Google を確認しても特に良くはない。
自分の好きなサイトを常にうまく上げてくれるわけではないが、すでにいくつかのドメインをブーストしたり固定したりして、自分の好みに合わせて結果を調整し始めている。
Gmail や Maps を含め、ほかの Google サービスはかなり使っているが、検索はもう使っていない。
ただ、この数か月はインターネット検索自体を完全にやめた。ChatGPT-4 がはるかに効果的にやってくれているので、この体験が何らかの形で壊れない限り、インターネット検索に戻る理由が見当たらない。
Kagi が見つけられるはずのものを見つけられないときは Google を試すが、Google は本当にひどく悪くなった。
10年前と比べて今どれほど悪くなったか、正直信じがたいほどだ。
簡単な質問に答えるために馬鹿げた量のテキストを提供するサイトがどんどん増えているのを見かける。
ほとんどの場合、実際の答えはページの一番下にある構成になっている。
表面的には関連しているように見えるが、実際に読んでみると完全に一般的なゴミ記事だ。高校生が字数を稼ぐためにエッセイに水増しを入れているような内容だ。
複数の検索エンジン最適化業者が、2,000個以上のキーワードを持つページのほうが上位にランクされるという研究を出し、その後すべての会社が Google に合わせようとして、2,000語のたわごとでページを膨らませ始めた。
たいてい高校のエッセイのような構成でそれと分かり、「結論として、長所も多いが短所も多い」といった段落で終わることが多い。
この20年間、私たちの知る検索エンジンは一般的な問題を解けるものだと当然のように考えられてきたが、教師なしWebクローリングを単一目的の検索エンジンの入力にするという発想自体が消えていくのかもしれない
この1〜2年の自分のWebクエリを思い返すと、Google 1つよりも、目的別のシステムを複数使う形に置き換えたほうがよい可能性が高そうに見える
技術的なクエリはStack OverflowとGitHubを直接検索し、地域の場所は新規項目が最低限の審査を通過しなければならない専用の場所データベースで探し、医療の質問は信頼できるいくつかのサイトだけを検索する、といった具合だ
映画タイトル、「chinese restaurant philadelphia」、「flights to miami 4/12/24」、「Error code 127 python」を1か所に入力できるのが便利だったのでGoogleに慣れていたが、その1か所が大規模言語モデルの助けを借りて検索の種類を推定し、厳選された専門検索へ送るほうがよい気がする
人が選別するDMOZ/Yahoo式のディレクトリモデルに戻れば、最近嘆かれてきたスパムやクリックベイトの流れも巻き戻せるのか気になる
1クリックでGeeksForGeeksをすべての検索結果から永久に消したい。そして以前なら「ブラックリスト」と呼んでいたリストに、引き続き追加できるとよい
画像検索のときはPinterestを絶対に表示しないでほしい
そうすれば自分の検索結果はすぐによくなりそうだ
さらに、全ユーザーのリストを集計すれば、まだブラックリストを作っていないユーザーの検索も改善できる
どのサイトがWeb上で事業をできるかは、このエンジンで正しく分類されるか、あるいはそもそも分類されるかに完全に左右されることになる
何らかの理由でStack Overflowの競合を始めたいとしても、注目を集めるのは非常に難しくなる
現在の汎用検索エンジンでも似たところはあるが、それでも十分に参照され、高い順位に上がってトラフィックを受けられる可能性はある
Yahooモデルが崩れた理由もまさにこれだ。昔は、ディレクトリに手動追加されたサイト一覧にないという理由で、最新情報を表示できないことがよくあった
今のGoogleの問題はスパムそのものより、Googleが安住してしまったことにあると思う。どうせGoogle広告はあらゆるサイトに貼られているので、「検索あたり収益の最大化」関数は、ユーザーが求めるものを見つけられるかをあまり気にしない
悪い結果を食わせれば、ユーザーがより多くのページを開くことになり、広告をもっと見せられる可能性もある
かつてGoogle検索がスパムサイトの上にいた時代はこうではなかったが、今は現在の流れを止めるためのアルゴリズム更新をもうしていないように感じるし、スパムサイト側は何が上位に出るかをすでに把握している
検索エンジンの美点は、理論上は新しいものを見つけられることにある
オープンなWebを排除すれば、現在のプレイヤーがより固まり、固定化されるだけだ
Google検索から返ってくる応答の品質が、長い間急激に低下しているのを感じる
他の人たちも同じようなことを言っているのを見た
この流れがいつ始まったのかは分からない
必要な検証を受けないまま長く続いてきたのだろうか。今回のスパム攻撃が最終段階なのだろうか
飾り気のない人間的なやり取りを取り逃がし、そこから雪だるま式に転がっていったような直感がある
人々は実際に頼ろうとする試みを諦めた。Googleが気にしていないことを皆が学んだからだ
以前は鋭いナイフになるよう最適化されていたが、今は安全ナイフになるよう最適化されているというわけだ
ゴミコンテンツは年々ものすごく増えている一方で、情報性のある、または高品質なコンテンツは停滞しているか、データ腐敗のせいでむしろ減っているように見える
Search Engine Journalなら、Googleがどのサイトをどう評価するかに影響する変更を定期的に適用していることをよく知っているだろうと思っていた
こうした変更の時期には、特定のクエリで「関連性のない」または「低品質な」結果が上位に大きく上がるなど、順位がかなり変わることがあり、その状態が長く続くこともある
以前はこうしたアルゴリズム更新を、検索エンジン最適化関連サイトが熱心に監視し、議論していた
ただ、Googleを使わなくなって10年以上になるので、純粋に軽い関心から残している考えだ
記事では、なぜこうしたことが起きる可能性が高いのかを説明している
要約すると、スパマーたちは2つの抜け穴を悪用しているようだ
ほかにもこうしたサイトが通過する理由があり、記事で詳しく扱っている
Googleはさまざまな状況で使い物にならなくなり、スパムに報酬を与えている。否定してはいるが実際にはそうで、最近の多くの検索エンジン最適化戦略は、記事やページなどを検索エンジンにばらまく方式で回っている
有用なコンテンツのためではなく、バックリンクや内部リンクなどのためだ
地域ごとに異なるページ群を作らなければならない地域特化型の検索エンジン最適化では特に深刻だ
結局、Google初期のように簡単に操作されていた時代へ戻ったということだ
今や人々はAIで何百ものページや記事を作ってばらまいている。本当に悪くなったが、さらに最悪なのは、キーワード競争をするには今やそうしなければならない点だ
今はもう気にしていないように見える
低品質な検索エンジン最適化ページがまともなサイトより高い順位を占めるので、そうしたまともなサイトは広告費を払うよう追い込まれる。とても悲しいことだ
Googleはオーガニック検索を諦めた。検索エンジン最適化の分野にはかなり詳しいが、もうGoogle検索は使えない。どのページがなぜその順位なのかはかなりすぐに見当がつくし、その理由の中に、正確で価値ある情報に関係するものは一つもない。
Googleはマーケットプレイスであり、特定のコンテンツ構造に従いながら、最も「エンゲージメントを誘発する」結果が勝つようにしている。
今では有料結果の大半のほうが、オーガニック検索結果よりユーザーにとって価値がある。Googleが望んでいるのはそれだ。有料結果をクリックし、ゴミは無視しろということだ。
最初の段落の通りなら、有料結果もゴミだという意味ではないのか？
GoogleがChatGPTをより多く組み込み始めた後、約1年前にGoogleを使うのをやめてBingに乗り換えた。
概して、自分が探しているものを表示するやり方がずっと気に入っている。
完璧ではないが、もどかしくなってGoogleと比べてみた数回のケースでも、Googleのほうが優れていたわけではなく、問題は検索エンジンではなくテーマそのものにあった。
普段Googleと比較していないので、結果が「同等」だと断言するのは難しいが、自分の体験は明らかに良い。
何かを検索するとリンクのあるページが出てきて、たいてい欲しいものは1ページ目にある。
たまに見つからなかったり、最近の内容なのでGoogleにもっと新しい版がありそうだと思ったりしたら、検索語に
!gを付けてそのままGoogleへ行く。良いし、ちゃんと動くし、ストレスを感じたり、ひどいと思ったり、イライラしたりしない。おすすめする。
ここ数年は、Google自体がスパム攻撃のように感じられた。
Googleは金を稼いでいて、それ以外のことは何も気にしていない。