Google検索の「千の傷」による衰退
(matt-rickard.com)- Redditの非公開化やTwitterのログイン必須化・レート制限のように、大規模サイトのアクセス制限が増えると、Google検索結果の多くのリンクが実際には開けない結果になる
- 大規模言語モデルが公開データで学習されるようになると、コンテンツサイトはデータを開放し続けるよりも、販売したり自ら活用したりしようとするインセンティブを持つようになる
- こうした制限はGoogleの検索インデックス収集を妨げたり複雑にしたりし、AIモデルの学習データ確保にも影響を与えうる
- Wikipediaのように検索結果で頻繁に表示されるサイトまでAPIアクセスを有料化または制限すれば、Google検索の中核的な情報源も揺らぎうる
- GoogleがAI回答で補強したとしても、データがログインウォールや有料の障壁の向こう側へ移っていけば、検索品質は数年にわたって徐々に悪化する可能性がある
アクセス制限が検索結果を死んだリンクに変える
- Redditの一部コミュニティは新しいAPIルールに抗議し、いまなお非公開のままとなっている
- Twitterはログインウォールを強化し、ユーザーにレート制限を適用している
- この変化により、Googleのインデックスに残っている何百万件もの検索結果が事実上の死んだリンクになる
- GoogleでRedditの結果を探して使っていたユーザーは、Reddit自体の検索がより劣っていると感じる状況で代替手段を失う
- 検索結果のツイートへのリンクは、多くのユーザーにとってログイン要求画面へつながる
AI時代のデータ統制がGoogleインデックスを圧迫する
- 大規模言語モデルはAPIで収集した公開データで学習されており、コンテンツの多いサイトほど、自分たちのデータで学習されたモデルの影響を受ける可能性が高い
- こうしたサイトはデータアクセスを制限した後、2つの選択肢を検討しうる
- データを販売する
- 独自モデルを学習する
- アクセス制限は、Googleが検索のためにデータを自動収集する過程を妨げたり複雑にしたりし、モデル学習用データの確保にも影響を与える
- Google検索は、サイトごとに結果を失う千の傷を負う可能性がある
-
Wikipediaが制限をかけた場合
- WikipediaはGoogle検索の99%で1ページ目に登場すると推定される
- APIアクセスを有料化または制限すれば、検索結果への影響は大きくなりうる
- Wikipediaのデータは、ほぼすべての大規模言語モデルのコーパスに含まれるデータセットである
- Wikimedia Foundationは寄付バナーで資金支援を求めてきており、2021年にはWikimedia EnterpriseというエンタープライズAPI製品を公開した
- 検索結果が1つずつ死んだリンクとなってインデックスから削除されれば、ユーザーは閉じたサービス内のサイト別検索により依存するようになる
- GoogleはAI生成回答で結果を補強しようとするかもしれないが、すべての回答が十分に良いとは限らず、学習データもログインウォールや有料の障壁の向こう側へ移る可能性がある
- 新しい代替手段が現れるまで、検索は数年にわたって徐々に悪化する可能性がある
1件のコメント
Hacker Newsの意見
Google検索は、もうかなり前からゆっくり死につつあると感じる
以前は文書、フォーラム投稿、ウィキのような簡潔な情報を見つけられたが、今ではSEOに最適化されたマーケティング文句、リンクファーム、クリックベイト、何千語書いても中身のない長文、アメリカ人でなければ文脈が合わない政治的な長広舌、そして大量の広告ばかりが目に入る
この状況はGoogle広告とGoogle検索アルゴリズム自体が直接生み出した結果のように見え、そのためLLMに尋ねるほうが検索よりはるかに魅力的になっている。幻覚さえなければ、AIがノイズを取り除いて実際の情報を抜き出してくれるからだ
Webはもはや人間や情報探索のための場所ではなく、ボット、クローラー、Googleアルゴリズム、マーケティングのための場所になっており、人間はこれを処理しきれなくなって、より簡潔で要点を押さえた結果をAIに期待するようになっている
タイル型のおすすめインターフェース経由で、自分でキャベツスープを缶詰にするブログスパムのレシピばかりが表示され、普通のテキストリンクも実際の缶詰スープ製品もなかった。何ページ見ても変わらなかった
奇妙なことに、"canned cabbage soup history"で検索すると通常の結果モードに切り替わり、製品とWikipediaが出てきた。製品を買おうとして積極的に探している検索なら、Googleを変な特殊検索にしてしまう事業上の理由が最も明白なはずなのに、なぜ「ブログスパム提供」モードがあるのか分からない
しかも今では1日に少なくとも5回はロボットかどうか尋ねる画面を見る
求めているのは関連情報のある場所へ行くためのリンク一覧であって、検索エンジンに内容を要約したり整形したりしてほしいわけではない。自分で読んで理解しなければ、あまりにも多くの知識や文脈が失われる
ユーザーは広告を経由せずに短く正確な答えを受け取れるし、それは昔のWebがそうだった姿に近い
本来なら除去されるべきStack Overflowのスパム複製サイトや、CanvaやPinterestのようにタイトルだけ少しずつ違う似たページを何千も作るサイトは、今でもGoogleで許容され、上位に表示される
"best domain name registrar"のような検索をしたときに出てくる上位10ページも嫌いだ。アフィリエイトリンクだらけのスパムブログ記事ではなく、実際のドメインレジストラを表示してほしいし、ChatGPTに聞けばそうしてくれる
Googleはあまりにもひどく操作されており、そのスパムブログ記事に自分たちの広告が載っているからなのか、まともに手を付けていないように見える。HNで学んだuBlock Originのフィルタリングのコツもあるが、検索そのものはGoogleが直すべきだ。今は有用なコンテンツが阻まれ、スパムコンテンツが上位にランクされている
昔は、クローラーには見えるがユーザーには見えない極小で透明なフォントのキーワードのような小細工に眉をひそめたものだが、検索エンジン操作が職業になった瞬間に検索の終わりが見え始めた
結局はウェブリングとリンク索引に戻ることになりそうで、それも統合されて課金が重くなったあとで捨てられるだろう。運が良ければ2040年代にはダイヤルアップBBSに戻るかもしれない
しかしGoogleは、人を雇ってうまく仕事をさせられるのに、AIを訓練して同じ仕事をできなくするほうに固執しているように見える
簡単な機能に見えるのに、Googleはもうずっと前に道を見失っている
複数の検索エンジンで複製サイトをブロックして非表示にしてくれる。uBlacklistと一緒に使うこともできる
これは Google のイノベーションの失敗だと思う。
Google の目標は「世界中の情報を整理すること」だったが、人間が読みやすい高品質なキュレーション情報の保管庫である Wikipedia を作れなかったし、些末ではない情報の想起と整理をこなせる十分に優れた最初の LLM である ChatGPT も作れなかった。
Google は検索で初期の成功を収めた後、競合他社が採用しにくくなるよう「最も賢い人たち」に資金を注ぎ込み、先行優位を固めようとした。その結果、イノベーションよりも、Android、Chrome、メールのようなインターネット基盤を支配して既存の優位を守ることに資源を使うほうが得な状況になった。
非常に大きな変化がない限り、Google は歩く死体だと思う。ここでいう「最も賢い人たち」とは、学業的には成功しているが、規則によく従い、想像力に乏しく、リスク回避的な人たちを指す。
ただし一般公開しなかったのだから、イノベーションの失敗と言うのは妥当だが、技術や機械学習の面での失敗ではない。
https://ai.googleblog.com/2020/01/towards-conversational-age...
私の解釈では、Google は自重で身動きが取れなくなったのだと思う。政府の制裁金と、それを恐れ始めた法人構造が進展を遅らせ、そうした環境では変化をリリースするのは非常に難しい。
ベースラインについても同じだ。人々は変化に反応し、現状を黄金基準とみなす。そういう状況では急進的な変化を打ち出すのは難しいと思う。
脱出口は製品を減らすことしかないと思う。分割するにせよ、シャーディングするにせよ、他に比べて十分小さくなり、主要な標的にならないようにすべきだ。Coca Cola や Procter & Gamble のような会社はこれがうまい。
政治化され得るものはすべて政治化され、誰かの計画や観点を押し出すために利用できるものはすべて利用される。
悪意とは別に、ボランティアベースなので、関連情報が抜けていたり誤りを含んでいたりする文書もある。
惑星科学をやっていたとき、Google で画像 ID を検索する癖があった。
たいていは論文で言及された特定の月周回画像で、もちろんこういうものを検索する専用アーカイブもあるのだが、Google は意外なほど良い結果を返していた。
今では画像 ID を検索すると、文字どおり結果が 0 件だ。何が変わったのかわからない。Planetary Data System の索引を外したのか、惑星科学論文の索引を外したのか気になる。
結果がまったくないことより悪いのは、少し違う数字やコードが入った「結果」がページごとに延々と出てくることだ。
今では結果が出ないか、無関係な検索エンジン最適化記事しか出てこない。
修正: 画像ではなく画像 ID を検索しているという点を見落としていた。
それ以前の単語埋め込みモデルの大半は単一言語で文脈も見ないため検索には有用ではなく、そのため Google は逆索引と何年も調整してきたアルゴリズムを使わざるを得なかった。
BERT 以降は、言語の検索クエリの 99.99% を埋め込めるモデルを作れ、99% のクエリにはだいたいうまく機能するので、それで十分だと考えているように見える。
どのクエリが新方式より旧来の索引でうまく動くかを検知するのは比較的容易だったはずだが、そうしなかったようで、その結果、電話番号検索のような有用性がかなり失われた。
Google の死はコーパスの問題より深刻で、ランキングアルゴリズムもひどく悪化している。
1 週間前、
< James Palmer manchester foreign policy >で検索しても https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... は 1 ページ目に出てこなかったが、< James Palmer manchester site:foreignpolicy.com >なら見つかった。今日は直ったように見えるが、こうした幼稚園レベルの検索意図すら満たせないというのは、数年前の Google なら想像しにくかった。
https://twitter.com/BeijingPalmer/status/1670904508191322112
https://twitter.com/shalmanese/status/1670973880637493249
これはインターネット版の共有地の悲劇だ: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
あまりに多くの個人や集団が、できるだけ少ない労力で利益を得ようとする中で、自由にアクセス可能なデータ、オープンAPI、FLOSSソフトウェアといった共有資源が、長期的な影響への配慮なしに食い潰されている
データは無限に複製できるが、最初は誰かが作らなければならず、更新しなければ古くなって有用性が落ちる。誰も作成や更新を行う意志と能力を持たなければ、良いものは消え、S/N比は急激に崩壊する。すべてがノイズになってひどいものになる
多くの技術や文化は、そのような「保護」なしに生まれてきた。著作権や特許がなかったら近年の歴史がどうなっていたのか、ときどき気になる
昔のGoogleは、Redditがなくてもとても有用だった
巨大企業になったのには理由があり、実際に使いやすいツールやサービスを作っていた。人々は製品が良かったから使っていたし、Search、Gmail、Maps、Translateのようなものはどれも宝石のようだった
検索を放置したのか、意図的に壊したのかは分からないが、Redditとは無関係に壊れたのは確かだ。Redditに情報が多いのは事実だが、インターネット上の唯一のウェブサイトではない
それなのにGoogleは、インターネット上位150〜200サイト程度しかインデックスしていないかのように見え、その結果ですら検索語が欠けていることが多い
ページビューとSEOで金を稼げると誰もが気づき、あらゆる検索語で1位を取ろうとする底辺への競争が生まれた
Googleが完全にユーザー中心の観点で取り組んだとしても解きにくい問題に見えるが、それに加えてSundar以降のGoogleは事実上IBM/Oracleになった。だから排水口を2倍の速さで旋回している
人々に自分の検索エンジンを操作するための金を払い始めた瞬間、つまりAdSenseを導入した瞬間から、全体が無用になる道に入った。そうしたインセンティブはもともと存在していたが、Googleは2022年に330億ドル規模のインセンティブでターボをかけた
検索広告の売上が伸びているなら、検索は問題なく、腐っても壊れてもいないように見えるからだ
Googleがユーザーを顧客として扱っていると仮定しているが、実際には搾取可能な天然資源のように扱っているのかもしれない
Wikipediaにはダウンロード可能なデータダンプがあり、Googleに提供するコストはほとんどかからず、そのデータを公開するという組織的使命もある
たとえアクセス料を取ることにしても、Googleなら負担できるはずだ。完全に非現実的な仮定は持ち出さない方がいい
記事に関連して言えば、広告まみれで雑に実装されたバージョンがリンクファームのグループに属していたせいで、RedactleをGoogleで上位表示させるのが難しかった。その多くが私の「Redactle Unlimited」ブランドを装っていた
Googleは、RedditやFacebookなどで認証されたユーザーが作った何千ものリンクよりも、互いにリンクを張り合うスパムサイトの束を好んでいるように見える
だが、Wikipediaのデータが検索結果表示に使われる際に売上の10%を要求したらどうだろう？ Googleが同意するのか、それともWikipedia競合サービスを1つ作って4年後に殺すのか気になる
システムはあまりに複雑で、一部が別の制約の影響を受けたときにどう振る舞うかを予測するのは非常に難しい。Reddit対OpenAIのデータスクレイピング、Redditの収益化欲求、ルールに抗議するRedditモデレーター、2日間のブラックアウトの無期限延長、Googleが出したLLM論文がChatGPTを通じて自社事業に影響を与える状況などがすべて絡み合っている
ここでの本当のメタ問題は、検索を含むウェブサービスの資金調達方法という古い問いだ
Google、Twitter、Reddit、Gfycatはどれも同じ問題の目先の変種であり、この問題に技術的解決策はない。これらすべてが無料であり得るというナイーブな考え方は、特に広告収入に支えられたエコシステムの中でそう主張するなら、ばかげている
誰かが開発と運用のコストを払わなければならず、たいてい金を出す側が意思決定権を持ち、その結果が現代のUX災害につながる
少なくとも今は、ベンチャーキャピタルの状況のおかげで、正当な参加者の市場を破壊しようとする事実上のダンピングはずっと減った
金を出す側、つまり投資家のためのものになる
今のGoogleの問題はRedditでもTwitterでもない
Googleは今や、本当にひどい結果とAdWordsキャンペーンで埋め尽くされたブランドになっており、マーケターが何に金を払っているのかもはっきりしない
BrinとPageの元の論文に立ち返るべきなのかもしれない: https://research.google/pubs/pub334/
GoogleはAlphaZeroやProject Zeroのように今でも驚くべきことをしているが、昔のXerox PARCのように、組織から本当に新しいものは出てこない感じがする
一方でGoogle Workspace、たとえばSheetsやDocsはオフィス分野で良い競争相手だ。事業運営はうまいが、Google Drive検索はひどい