GoogleがBear Blog全体を検索インデックスから削除したが、理由は不明

• 個人ブログ blog.james-zhan.com が開設から1か月で Google検索のインデックスから完全に除外された
• Google Search Console（GSC）でRSSフィードURLを誤って検証した直後、すべての投稿が「Crawled – currently not indexed」状態と表示されるようになった
• ドメイン設定、コンテンツ品質、内部リンク構造など 複数の原因候補を点検したが問題なし と確認された
• Bear Blog創業者のHermanの協力で DNS、HTML/CSS、プラットフォームの問題も除外 され、他の検索エンジンでは正常にインデックスされていた
• 最終的にブログを新しいサブドメインへ移転し、Googleの自然なインデックスに任せることに決定。原因は依然として不明のまま

---

当初の状況

• ブログは10月4日に開設され、最初の長文の 時事コラム風記事 を公開
  • Google Search Console（GSC）にサイトマップを送信してインデックス登録をリクエストすると、翌日にはすぐ検索結果に表示された
  • その後も新しい記事を公開するたびにインデックス登録をリクエストし、正常に反映されていた

問題の発生

• 10月14日、GSCであるURLがインデックスされていないというメッセージを見て、「Validate」ボタンをクリック
  • 該当URLはRSSフィード（feed/?type=rss）で、実際のページではなかった
• 10月20日、GSCから「一部の修正に失敗しました」というメールを受け取った後、すべての投稿がインデックス解除 された
  • ステータスメッセージは「Page is not indexed: Crawled – currently not indexed」
  • サイトマップの再送信や個別URLのインデックス登録リクエストも効果がなかった

原因の追跡

• インデックス検証を開始した日と、全投稿の非インデックス化が発生した日が一致 していた
  • RSSフィードの検証試行が問題を引き起こしたのかは不明
• その後に新規公開した記事も、すべて同じエラー状態のままだった
  • 11月3日には、最後に残っていた1本の投稿までインデックス解除された

原因候補の点検

• ドメインの問題: GoDaddyで使用中の james-zhan.com は他のサブドメインでは正常にインデックスされていた → 原因ではない
• コンテンツ品質: 他のBear Blogの事例と比較しても、コンテンツ量や品質に問題はない → 原因ではない
• 内部リンク不足: Bear Blogの基本構造は同じで、他のブログは正常にインデックスされている → 原因ではない
• その他の要因: Bear Blog創業者Hermanが確認した結果
  • DNS、HTML/CSS、プラットフォーム設定はいずれも正常
  • カスタムCSSコードもインデックスに影響していない

他の検索エンジンと対応策

• DuckDuckGo、Bing、Braveなどでは ブログは正常にインデックス されていた
  • 技術的な欠陥ではなく、Google側の問題だと推測された
• ブログを 新しいサブドメイン（journal.james-zhan.com） に移転し
  • GoDaddyからPorkbunへドメインを移管
  • URLフォワーディングを設定し、既存リンクが新しいブログへ自動的に接続されるよう構成した
• 新しいブログではGSCにサイトマップを送信せず、自然なインデックスに任せる ことにした
• 原因はいまだ解明されておらず、筆者は Googleのインデックスシステムの不透明さ に疑問を呈している

[GN⁺]

Hacker Newsの反応

• 今年、私のブログのトラフィックが急減した。原因を追ってみると2つあった
  1. AI Overview のせい。表示回数と順位はそのままなのに、クリック率が急落した。ユーザーは要約だけ読んでクリックしない
  2. スパム露出の問題だった。検索ページでユーザーのクエリが h1 として表示され、Google がそれをスパムコンテンツだと認識した。
     AI Overview は自分では制御できないが、検索ページに noindex を追加したところ、1週間でトラフィックが回復した
     詳細は 自分のブログ記事 にまとめている
  • 2つ目の問題は Negative SEO 攻撃 のようだ。/search ページがキャッシュされてクローラーに露出したらしい。
    検索ページはキャッシュせず、X-Robots-Tag による noindex を適用するのがよい
  • 9月ごろに Google のクリック・表示回数の集計方法の変更 があった。以前のデータとは比較不能だという。
    今後は独自の 分析ツール でトラフィックを追跡する必要がありそうだ
  • Google はこの状況をかなり前から計画していたのではないかと思う。
    1. SEO サイトを増やして有用なコンテンツを下に押しやり
    2. 広告を上部に配置してさらに押し下げ
    3. AI 要約 を導入して、ユーザーがクリックする理由をなくす
       今や人々は要約と広告だけ見て去っていく
  • 気になることがある。誰かが私のブログで “crypto” を検索したとき、どうしてその結果ページが Google にインデックスされるのだろう？
    ひょっとして別のサイトがその検索 URL にリンクを張って、クロールされたのだろうか？
  • AI Overview はなくならない気がする。一般ユーザーは要約だけ読む。
    Google が要約文に 出典リンク を付けてくれれば、クリック率は多少回復するかもしれない
• この事例が事実かどうかに関係なく、問題は Google の不透明な制裁の仕組み にある
  サイトが制裁を受けても、理由も分からず、不服申立てもできない。
  Google は事実上 ゲートキーパー(Gatekeeper) の役割を果たしている。
  公共財のように機能している以上、それに見合う 支援体制と責任 が必要だ。
  規制が万能とは言わないが、この種の公益インフラ級企業には最低限の アクセス保証義務 があるべきだ
  • これはゲートキーパーの問題というより 独占の問題 に近い。Google はインデクサーと検索ツールの両方を所有している
  • Google が倫理的責任を感じるなら、広告入札競争を緩和して 正常なサイトが1ページ目に表示 されるようにすべきだ。
    今は広告費を払って初めて検索で見える構造になっている
• 6か月前、Ahrefs の勧告に従って URL パスから ユニコード文字 を除去し、リダイレクトを設定した。
  その結果、インデックス済みページが数千から100まで激減した
  スクリーンショット 参照。
  6か月たっても回復しない。個人プロジェクトだからまだいいが、ビジネスだったら激怒していただろう
  更新後のスクリーンショット
  • おそらく Google が AI にリソースを集中 する中で、キャッシュ無効化後に新たにクロールされたページのランキングが変わったのだろう
  • Google はすでに必要なコンテンツをすべて収集し終えている。今やウェブサイトは AI 学習用の競争相手 になってしまった
  • 教訓は単純だ — うまく動いているなら触るな
  • 私も同じ経験をした。何千ものページが非インデックス化され、最終的に 広告ベースのコンテンツビジネス を畳んだ
• Google マップには 違法広告 が多い。無許可の宿泊施設や酒類販売店が平然と登録されている。
  一定期間運営されると「既存使用権」として認められることすらある。
  しかも法廷で Google Maps のスクリーンショット が証拠として提出されるのも見たことがある
  • 私もこうした被害に遭った。Google マップで近くの鍵屋を探したら、
    実際には 詐欺業者 だった。鍵を壊されて600ドル請求された。
    通報したら Google はすぐ削除したが、こういうものは登録時点で 本人確認 が必要だと思う
  • これは昔の地図制作者が入れていた トラップストリート(Trap Street) の話を思い出させる。
    問題は、現実が地図に合わせて変わってしまうこともある点だ
  • こうした広告が他の広告と違う扱いを受けているのか気になる。
    行政手続きでは「異議がなければ問題なし」という感じで通ってしまうことが多い
  • これは一種の 法的シトジェネシス(legal citogenesis) のようだ — 誤った情報が公式文書として固定化される現象だ
• 最近 Google 検索の品質が急落 している。
  私のサイトが重複コンテンツだと誤認されて 非インデックス化 されている。
  Bing では問題ないのに、Google だけがこうしたエラーを出す
  • 私も似たように感じた。Hugging Face の人気モデルが検索に出てこず、
    Reddit のページは見当違いの言語に翻訳された版だけが表示される。
    おそらく 重複排除ロジック が誤作動しているのだろう
  • SNI リクエスト が誤ってルーティングされていないか確認したほうがよいかもしれない。
    別ドメインでリバースプロキシを通すと、Google は重複としてインデックスする。
    Canonical タグ と絶対パスのリンクを使うのがよい
  • Amazon も Google も 偽商品とスパム結果 だらけだ
  • Bing は自分のすべてのサイトでうまく動くが、Google は全部失敗する
  • 最近の Google 検索はほとんど 役に立たない。中核能力をここまで放置しているのは驚きだ
• 私も同じ問題を経験した。Hugo Bear テーマ を使っているが、最近 Bing で完全に非インデックス化された。
  17年間問題のなかったブログだった
• おそらく RSS 検証失敗 がスパムフラグを引き起こした可能性がある。
  スパムがあまりに増えたせいで 誤検知 も増えているようだ
  • RSS エラー1つでサイト全体が非インデックス化されるなら深刻な問題だ。
    こうしたやり方はむしろ 正常なコンテンツの比率を下げる逆効果 を生む
• 正直、「Google de-indexed my Bear Blog」というタイトルを見て、クマのブログ の話かと思ってクリックした
  • 本当にクマ関連のブログを見つけたら 思わぬ結果 を目にするかもしれない
  • 私もタイトルに “Bear” がなぜ入っているのかまだ分からない
  • 静かなキツネ(quietfox)としては、自分自身を守ることが大事だ ^^
• これは 以前の HN スレッド と似ている。
  Google が 誰が生き残るかを決める構造 だという点で同じだ
  • 関連事例として この記事 もある。
    RSS エラーは単なる 無関心の引き金 になっただけかもしれない
  • 以前、TripAdvisor は英国のローカルレビュー市場の60%を占めていたが、
    Google Maps はそんなに早く追いつけたのだろうか？
    Instagram や TikTok の影響も無視できないのに、
    Google にだけあまりに多くの 権限を与えた解釈 のように思える
• Google 検索は 大規模サイトを優遇 し、新規サイトを不利にしている。
  結局 鶏が先か卵が先か の問題になる。
  小さなサイトは露出されず成長できず、
  大きなサイトは何の問題もなく上位表示され続ける