- 10年前、新しいWordPressブログを始めると、Googleは数時間以内、ときには数分でコンテンツをインデックスしていた
- Googleの使命は「世界中の情報を整理し、世界中の人がアクセスできて使えるようにする」ことだった
- ユーザーにとっては、情報がウェブのどこかに存在すればGoogle検索で見つけられることを意味していた
- コンテンツ制作者にとっては、コンテンツを作ればGoogleが見つけられるようにしてくれるという黄金の機会だった
SEO軍拡競争とGoogleの対応
- 機会があるところには悪用もある
- 低品質コンテンツがウェブに氾濫
- リンク売買
- 数多くのグレーおよびブラックハットSEO戦術
- Googleは操作的なSEO慣行を一掃するため、Panda、Penguinなど一連のアルゴリズム更新を導入した
- これはSEO専門家とGoogleのあいだで20年続いた綱引きのようなものだった
「コンテンツは王様」の台頭と没落
- 「コンテンツは王様」という新たな教義が業界に登場した
- 良いコンテンツは自然にリンクを集め、ポジティブなユーザーインタラクションのシグナルを生み、順位改善につながりうる
- Googleのアルゴリズムは本質的に高品質なコンテンツを重視し、高く評価して上位表示するはずだ
- 本当に良いコンテンツを作る多くの制作者が、自分たちが当然得るべきだと感じる順位に結局到達できず、品質だけでは十分でないことが示された
- 根本的な問題の一つは、Googleにも、そして誰にも、「良い」コンテンツをアルゴリズムで判定することはできないという点だった
AIコンテンツ革命
- 2018年にOpenAIがGPT-1を公開し、コンテンツ制作の未来は明確になった
- 人間が書いた文章と見分けがつかないAI生成コンテンツが登場した
- 「コンテンツは王様」の時代は終わりを迎えつつある
Googleの実存的危機
- Googleの立場から見ると、AIが人間に似たコンテンツを無限に生成できる未来に直面している
- Googleの対応は二つあった
- 専門性・権威性・信頼性（Expertise, Authoritativeness, Trustworthiness）という概念を曖昧に打ち出した。実際には、よく知られたブランドや既存のウェブサイトを優遇するものと解釈できる
- すべてをインデックスしようとする使命を放棄し、代わりに選別する方針を採った。しかも非常に厳しく。
新たな現実: 選択的インデックス
- Googleはもはやウェブ全体をインデックスしようとしていない
- 実際には非常に選別的になっており、大半のコンテンツのインデックスを拒んでいる
- これはコンテンツ制作者が恣意的な品質基準を満たしていないからではなく、Googleが検索エンジンとしての役割への向き合い方を根本的に変えたからだ
- 私の経験からすると、Googleはいま「デフォルトではインデックスしない」という原則で動いているように見える
- さまざまな要素を通じて本当に必要だと判断した場合にのみ、コンテンツをインデックスに含める
- 極度のコンテンツ独自性: 広く扱われていないテーマについて書くだけでは不十分。Googleは、そのコンテンツが本当に新規性を持つか、あるいはインデックス内の大きな空白を埋めることを求めているようだ
- 認知された権威性: Googleがニッチ市場で高い権威を持つと見なすサイトは、より多くのコンテンツがインデックスされる可能性があるが、それでも保証はされない
- ブランド認知: よく知られたブランドは大半のコンテンツがインデックスされることが多い一方で、小規模または無名のブロガーははるかに厳しく選別される
- 一時的なインデックスとインデックス解除: 実際、Googleは速報ニュースや重要な更新を見逃さないため、新しいコンテンツを非常に素早くインデックスすることが多い。その後まもなく、そのコンテンツをインデックスから外し、その状態が続くこともある。したがって、最初にインデックスされたからといって、必ずしもGoogleがそのコンテンツを価値あるものと見なしているサインではない
- こうした変化を私は直接目の当たりにしている
- 以前は新しいドメインを設定すると、1時間以内、ときには数秒でインデックスされていた
- これは言及もバックリンクもない新規ドメインでも同じだった
- 新しいブログ投稿のタイトルや記事中のユニークな一文を検索すれば、Googleの1ページ目にすぐ表示された
- いまでは各コンテンツについて、Googleがインデックスする価値があるかどうかを判断し、その答えは大半の場合「ノー」になる
- 本当にユニークだと思われるコンテンツや、まったく扱われていないテーマであっても、インデックスされないことがある
- しかし、すでに他所で扱われていると判断されるテーマについて書いた場合は、インデックスされない可能性が高い
- これは、かなりの読者層を持つ尊敬される著者であっても起こりうる
- 興味深いことに、コンテンツがインデックスに成功すると、意外なほど高順位になることが多いこともわかった
- まるでインデックスのハードルがあまりに高くなり、それを超えればすでに順位を獲得する道の大半が開けているかのようだ
- しかし、そこに到達すること自体は指数関数的に難しくなっている
- 重要なのは、この極端な選別が同じようには適用されていないという点だ
- 有名ブランドは大半のコンテンツが素早くインデックスされる一方で、小規模ブロガーやニッチなウェブサイトは、はるかに厳しい基準でインデックス入りを判断されることが多い
- こうした小規模な事業者にとっては、もはや良いコンテンツを作るだけではなく、自分のコンテンツがGoogleのインデックスにぜひ必要だと納得させることが重要になっている
結果
- Googleは総合検索エンジンから、排他的なカタログに近いものへと変貌した
- ユーザーにとっては、探している情報が存在していても、Google経由では見つけられない可能性があることを意味する
- 膨大な量の価値あるコンテンツが見過ごされていると確信している
- ユーザーが検索できる情報がGoogle検索結果に現れないことがある
- それは存在しないからではなく、Googleが含めないと決めたからだ
- コンテンツ制作者にとっては、Googleが大半のコンテンツのインデックスを拒むなら、どうやって可視性を確保するかが重要な課題になってしまう
10件のコメント
Google が検索結果への表示を選別しているという筆者の主張は、どうやら正しいようです。
Google 検索コンソールではクロール済みと記録されているにもかかわらず、検索結果には表示されません。
私のブログでは、検索可能な記事とそうでない記事が混在しています。
少なくともGoogleの判断では、他の文書と重複している内容だったり、他の文書と比べて独自性や有用性が低いと判断された場合、インデックスには含めないようです。
今後はコンテンツ面でもAIとの差別化を示しながら競争しなければならない時代が来ているようですね。たとえ元記事が個人的な私見にすぎないとしても、このような大きな流れは十分に起こり得ると予想されます。
Hacker Newsのコメントのように、コンテンツの性質や規模によって違うでしょうし、根拠も弱いですが、私はかなりもっともらしく聞こえます。
今年の第1四半期に会社で全体的なSEO改善作業を進め、現在までモニタリングしています。
新規に送信したURLは10万件ほどで、5か月ほど監視しましたが、新規URLは特にエラーレポートもないまま「検出済み」あるいは「クロール済み」から次の段階に進まず、最近ではすでにインデックスされていたURLも数万件単位で外れることがありました。
3月に新しいスパムポリシーが発表され、Web Vitalsに問題はあるものの、それだけでは説明がつかず悩んでいたのですが、もっともらしい主張に聞こえます。
筆者は自称SEO専門家でフリーランス開発者らしいですが、不安商法でもしたいのでしょうか？
SEO専門家の90%は詐欺師だ。
ぐるぐる回ってヤフー〜？
...
これは筆者の個人的な主張なので、Hacker Newsのコメントではこれをめぐってかなり議論が起きています。
実際にそうだという人と、そうではないという人が言い争っています。
個人的には、今の状況ならGoogleの立場としては選択的にインデックスしたうえで、De-indexingするのが妥当なのではないかと思います。スパムサイトがあまりにも増えすぎましたからね。
幸い、私が運営しているサイトはどれも問題なくインデックスされています ^^;
> 以前は新しいドメインを設定すると、1時間以内に、時には数秒でインデックスされていた。
今年の初めに購入した、まだ内容が少なく、やはりリンクもない私のドメインも、きちんとインデックスされています。（どれくらい時間がかかったかは測っていませんが……）
多少は慎重になったのかもしれませんが、問題になるほどではないように思います。