流出した Google Search API 文書の分析

xguru · 2024-05-29T11:53:51+09:00

少し前に、匿名の情報源から Google の検索 API 文書が大量に流出したというメールを受け取った文書の真正性は元 Google 従業員によって確認され、一部の元 Google 従業員との会話による追加情報も含まれている主な主張 Google はクリックベースのユーザーシグナルを使用していないと繰り返し否定してきたが、流出した文書はこれに反しているサブドメインを別個に評価していない、新しい Web サイト向けのサンドボックスは存在しない、ドメイン年齢は考慮しないという Google の主張も否定される Google 検索チームは当初から、検索結果の品質向上のために多くの Web ユーザーのクリックストリームデータ（ブラウザで訪問したすべての URL）を必要としていた DoJ で言及された NavBoost システムは、Google ツールバーの PageRank からデータを収集しており、さらに多くのクリックストリームデータを得るために Chrome ブラウザを開発する主要な動機となった NavBoost は特定キーワードの検索数、検索結果のクリック数、短いクリックと長いクリックを分析してユーザー意図を評価し、動画や画像へのクリックが多ければ NavBoost 関連クエリに対して動画または画像機能をトリガーするクリックデータの活用: Google は Cookie 履歴、ログイン済みの Chrome データ、パターン検出などを用いて手動および自動のクリックスパムを防ぎ、ユーザーのクリックとエンゲージメントを分析して検索結果に反映するサイト品質評価: NavBoost データはサイト全体の品質評価に使われ（Panda と呼ばれる）、この評価に応じて順位が上がったり下がったりする NavBoost はクリックデータを地理データも考慮して国および州・省レベルに分けて評価する COVID-19 と選挙関連の検索結果にホワイトリストを適用し、特定のサイトを優先表示する文書の信頼性検証このうち一部は Google/DOJ 事件で明らかになった情報と重なるが、大半は新しい内容匿名の情報源は 5/28 に自身を明かし、Erfan Azimi（SEO 専門家）であることが判明した元 Google 従業員の確認: 3人の元 Google 従業員のうち 2人が文書の信頼性を確認した技術的レビュー: テクニカル SEO の専門家 Mike King が文書をレビューし、信頼性を確認した Google API Contents Warehouse ? この API 文書の目的: Google チームのメンバーが、プロジェクトで利用可能なデータ要素を理解できるようにするための文書流出経路: GitHub で一時的に公開されており、その期間中に文書が流出した主な発見事項 #1: Navboost とクリックデータ活用クリックデータのフィルタリング: Google はランキングシステムで考慮するクリックデータをフィルタリングし、クリックの長さとインプレッションを測定する。ランキングシステムに含めたくないクリックは除外し、含めたいクリックは取り込む方法を持っているクリックの長さ（例: 検索者が検索結果をクリックした後、見つけた答えに満足できずにすぐ戻るボタンを押す場合）と表示回数を測定しているようだ #2: Chrome ブラウザのクリックストリーム活用 Chrome クリックストリームデータ: Google は Chrome ブラウザのクリックデータを使って Sitelinks（その Web サイトで人気のある URL）を決定する #3: 旅行、COVID、政治関連のホワイトリストホワイトリストの存在: 旅行、COVID、選挙関連の検索結果で特定ドメインを優先表示する #4: 品質評価者のフィードバック活用品質評価者データ: 品質評価者の評価が検索システムに直接使用される可能性がある #5: リンクランキングの重み付け決定にクリックデータを使用リンクインデックスの分類: クリックデータを使ってリンクインデックスを高品質・中品質・低品質に分類するマーケター向けの主な示唆ブランドの重要性: Google は大きなブランドを優先的にランキングへ反映する E-E-A-T 要素の重要性低下: 一部の SEO が強調する経験、専門性、権威性、信頼性の要素は、直接ランキングに反映されていない可能性がある Experience, Expertise, Authoritativeness, Trustworthiness ユーザー意図とクリックパターンがコンテンツやリンクよりも重要なランキング要因である PageRank、アンカーテキストなど従来のランキング要因の重要性が低下している SEO の難しさ: 中小企業や新しいクリエイター／パブリッシャーにとって、SEO で大手ブランドと競争するのはより難しくなっている

(sparktoro.com)

29 ポイント投稿者 xguru 2024-05-29 | 3件のコメント | WhatsAppで共有

少し前に、匿名の情報源から Google の検索 API 文書が大量に流出したというメールを受け取った
文書の真正性は元 Google 従業員によって確認され、一部の元 Google 従業員との会話による追加情報も含まれている

主な主張

Google はクリックベースのユーザーシグナルを使用していないと繰り返し否定してきたが、流出した文書はこれに反している
サブドメインを別個に評価していない、新しい Web サイト向けのサンドボックスは存在しない、ドメイン年齢は考慮しないという Google の主張も否定される
Google 検索チームは当初から、検索結果の品質向上のために多くの Web ユーザーの クリックストリームデータ（ブラウザで訪問したすべての URL）を必要としていた
DoJ で言及された NavBoost システム は、Google ツールバーの PageRank からデータを収集しており、さらに多くのクリックストリームデータを得るために Chrome ブラウザを開発する主要な動機となった
NavBoost は特定キーワードの検索数、検索結果のクリック数、短いクリックと長いクリックを分析して ユーザー意図を評価 し、動画や画像へのクリックが多ければ NavBoost 関連クエリに対して動画または画像機能をトリガーする
クリックデータの活用: Google は Cookie 履歴、ログイン済みの Chrome データ、パターン検出などを用いて手動および自動のクリックスパムを防ぎ、ユーザーのクリックとエンゲージメントを分析して検索結果に反映する
サイト品質評価: NavBoost データはサイト全体の品質評価に使われ（Panda と呼ばれる）、この評価に応じて順位が上がったり下がったりする
NavBoost はクリックデータを 地理データも考慮 して国および州・省レベルに分けて評価する
COVID-19 と選挙関連の検索結果に ホワイトリスト を適用し、特定のサイトを優先表示する

文書の信頼性検証

このうち一部は Google/DOJ 事件で明らかになった情報と重なるが、大半は新しい内容
匿名の情報源は 5/28 に自身を明かし、Erfan Azimi（SEO 専門家）であることが判明した
元 Google 従業員の確認: 3人の元 Google 従業員のうち 2人が文書の信頼性を確認した
技術的レビュー: テクニカル SEO の専門家 Mike King が文書をレビューし、信頼性を確認した

Google API Contents Warehouse ?

この API 文書の目的: Google チームのメンバーが、プロジェクトで利用可能なデータ要素を理解できるようにするための文書
流出経路: GitHub で一時的に公開されており、その期間中に文書が流出した

主な発見事項

#1: Navboost とクリックデータ活用

クリックデータのフィルタリング: Google はランキングシステムで考慮するクリックデータをフィルタリングし、クリックの長さとインプレッションを測定する。
ランキングシステムに含めたくないクリックは除外し、含めたいクリックは取り込む方法を持っている
クリックの長さ（例: 検索者が検索結果をクリックした後、見つけた答えに満足できずにすぐ戻るボタンを押す場合）と表示回数を測定しているようだ

#2: Chrome ブラウザのクリックストリーム活用

Chrome クリックストリームデータ: Google は Chrome ブラウザのクリックデータを使って Sitelinks（その Web サイトで人気のある URL）を決定する

#3: 旅行、COVID、政治関連のホワイトリスト

ホワイトリストの存在: 旅行、COVID、選挙関連の検索結果で特定ドメインを優先表示する

#4: 品質評価者のフィードバック活用

品質評価者データ: 品質評価者の評価が検索システムに直接使用される可能性がある

#5: リンクランキングの重み付け決定にクリックデータを使用

リンクインデックスの分類: クリックデータを使ってリンクインデックスを高品質・中品質・低品質に分類する

マーケター向けの主な示唆

ブランドの重要性: Google は大きなブランドを優先的にランキングへ反映する
E-E-A-T 要素の重要性低下: 一部の SEO が強調する経験、専門性、権威性、信頼性の要素は、直接ランキングに反映されていない可能性がある
- Experience, Expertise, Authoritativeness, Trustworthiness
ユーザー意図とクリックパターン がコンテンツやリンクよりも重要なランキング要因である
PageRank、アンカーテキストなど 従来のランキング要因の重要性が低下 している
SEO の難しさ: 中小企業や新しいクリエイター／パブリッシャーにとって、SEO で大手ブランドと競争するのはより難しくなっている

3件のコメント

yangeok 2024-06-09

では、戻るボタンが動作しないように塞いでしまうのはどうでしょうかｗｗ

wkang586 2024-06-03

なんとなくは想像していましたが、こうして目の前に広げられるとメンタルが崩壊しますね……
Navboost までは納得できる気もするのですが……
ホワイトリストは衝撃的ですね。聞こえはいいですが、露骨な差別的ポリシーですから。

xguru 2024-05-29

流出した Google Content API Warehouse 文書
https://hexdocs.pm/google_api_content_warehouse/0.4.0/…