検索エンジンの衰退はチャンスだ

 (lewiscampbell.tech)
1 ポイント 投稿者 GN⁺ 5 시간 전 | 1件のコメント | WhatsAppで共有
  • 検索エンジンの品質低下は、古いWeb探索の方法であるハイパーリンクと個人のリンクページを再活用するきっかけになる
  • Googleは何年もまともに使えず、DuckDuckGo/Bingは着実に悪化しており、Yandexは相対的には印象的だが、それでも最先端の水準には及ばない
  • YouTube は本当に最悪で、似たような顔や整えられたタイトル背景が繰り返され、検索そのものを避けたくなる
  • Kagiは上記の検索エンジンに依存しているようで、LLM検索要約には、質の低い検索結果の上に作られた非決定的な要約という限界がある
  • 個人サイトが好きなWebサイトへ直接リンクすれば、中央集権化されたWebに対抗してWorld Wide Webをハイパーリンク単位で取り戻す方法になる

問題意識

  • 検索エンジンの性能低下は、もはや否定しがたいという問題意識から出発している
  • Googleは何年も使いものにならず、DuckDuckGo/Bingは着実に悪化しており、Yandexは比較するとより印象的だが、過去の最先端水準には数歩及ばない
  • YouTube検索は、似た形式の顔やタイトルカードが並ぶ動画が繰り返し表示されるせいで、本能的に避けたくなる対象になっている
  • Kagiはよく勧められるが、前述の3つの提供元に依存しているように見える
  • LLMは代わりに検索できるかもしれないが、検索結果自体の質が低いとき、その上に作られる非決定的な要約では問題を解決できない

提案される対応

  • 解決策は検索ボックスの外で考えることであり、答えはハイパーリンクにある
  • 初期のWebでは、気に入ったサイトにある定番の“links”ページをクリックして、別の面白いサイトを見つけることがよくあった
  • そうしたリンクは、時には無関係だったり切れていたりしたが、時にはぴたりとはまって長く記憶に残るサイトへつながった
  • 中央集権化されたWebを嘆く代わりに、Webサイト運営者は自分の好きなWebサイトへ直接リンクできる
  • 私の新しいlinks pageは“web ring”でも相互フォローでもなく、ただ好きなものの一覧にすぎない
  • リンク先のサイトがリンクを返してくれることは期待しておらず、誰かがリンクしてくれても相互リンクを期待すべきではない
  • それぞれが好きな場所にリンクし、自分だけのリンクページを作れば、ハイパーリンクを一つずつ積み重ねてWorld Wide Webを取り戻すことになる

関連記事

1件のコメント

 
GN⁺ 5 시간 전
Lobste.rsの意見

  • 残念ながら、GoogleがAI概要パネルの中に実際かなり良いリンクを入れていて、そのリンクはたいてい通常の上位検索結果より良いというのを見た たとえば「what is a linked list」を検索すると、AI領域のサイドパネルの一番上にはRedditのスレッドが、その次には該当するWikipediaの記事が出てきた。個人的にはWikipediaが1位であるべきだと思うが、とにかくそうだった 一方で通常検索の1位はGeeksForGeeksの記事で、GeeksForGeeksを非難したいわけではないが、検索エンジン最適化が非常に強く効いた記事であり、Web上にはもっと良いコンテンツがあるのに高くランクされている。この場合Wikipediaは2位だった LLMがリンクをよりうまく選んでいるとしても、実際にそうだとは思わず、慎重に設計された結果である可能性が高い。これはエンシティフィケーションの代表例だ。良いリンクを``の中に隠しておいて、そこをクリックすると、指標上は満足したガラクタ消費者になる。すでに実際の検索結果がひどいことを分かっているからだ

    • 「GeeksForGeeksを非難したいわけではない」と言ってはいるが、あのサイトは十分批判されてよい。検索エンジン最適化はうまいが、実際に探している情報があることはまれで、「slop」という言葉が広まる前からすでにそういうコンテンツだった。だから検索結果でブロックしているサイトの1つだ
    • 汎用検索エンジンを使うより、もっと適した専門検索が明らかにある場合はそちらを使うほうがよい、というのは大きな気づきだった。連結リストを探すなら、欲しい内容がWikipediaにある可能性が高いのだから、わざわざGoogleを使う理由はない Firefoxにショートカットを追加して、@w linked listのように入力すれば直接Wikipediaへ行くようにしてある。Arch Wiki、MDN、Stack Overflow、IMDbのような、より狭く特化した検索もいろいろ使える そもそも、世界中のどんな情報でも見つけてくれるサービスを1社が運営してよいと信じる発想自体が、かなり疑わしい。去年これについて書いたことがある 「昔はキーワードをいくつかGoogleに入れれば、存在するものは何でも見つけられた」と懐かしむのは簡単だが、実際にはそれは一度も真実ではなかった。混沌としたWebをさまよわずに済む代わりに、GoogleがWebの定義そのものを変えることを許してしまった。「Googleになければ存在しない」と言っていたが、それは間違いで、いまになってようやくどれほど間違っていたかが見え始めている Web全体を神の視点で客観的に眺めることは、根本的に不可能だ。Webのように巨大なものを索引化しつつ悪用を防ぐには、大小の判断を何千回も下さなければならない。検索をするたびに、いや抽象化を行うたびに、現実の単純化を受け入れなければならない。地図が領土ではないように、索引はWebではない https://search.technomancy.us/why
    • &udm=14という自称「エンシティフィケーション解除 Konamiコード」がある。通常は常に「More」の下に隠されているWeb検索タブへリダイレクトしてくれる。しばらく複数のデバイスで有効にしていて、「バカな」検索を取り戻せてとても満足している 依然として検索エンジン最適化や順位操作の欠陥はあるが、AI概要が奪った統制感をある程度取り戻せる
    • こうした現象はしばらく前から続いていて、去年は例をブログに書いたこともある。非常にいら立たしく、人々をGoogleのサイトにより長く留まらせるための意図的な設計としか思えない GoogleとWebサイトの間の取引は、ほとんど無効に近いと思う。自分のサイトへのリンクを表示する気がないのなら、なぜ彼らのボットが自分のサイトをクロールするのを許さなければならないのか

  • ブログでも触れられていたように、まだ使ったことがないなら Kagi を一度試してみるとよい。Kagi が他の大手検索エンジンのクロールデータや検索インデックスを使っていることはよく知られているが、データだけを利用し、検索結果の順位付けは独自に行っている 2年以上使っているが満足しており、DuckDuckGo では見つけられなかったものを見つけられたこともある。検索結果でサイトを上げたり下げたりブロックしたりでき、Redirects (URL Rewrites) のような機能も多い Kagi の公開的なコミュニケーションのやり方も気に入っている。Changelog には Kagi Feedback の各チケットへのリンクが付いており、ここはイシュートラッカーの役割も果たしている。Status ページもある。自分のサイトにリンクページを作ろうというアイデアに関しては、Kagi Small Web がある程度近く、Kagi Small Web website ではランダムなサイトを訪問できる John Gruber(Daring Fireball) と Cory Doctorow(Pluralistic) も使っている。例としては Seriously, Give Kagi a Try, Another Periodic Suggestion to Try, Just Try, Switching to Kagi for Search, Tim Bray: ‘Mourning Google’, The Talk Show: ‘A Professional Internet User’, With Kagi Founder and CEO Vlad Prelovac, Tag: kagi を参照 100回検索の体験版があり、検索量によっては年額54ドルの Starter で十分かもしれない。さらに必要なら Individual Pricing で確認すればよい。Duo and Family もあるので、1人あたりの費用はさらに下がる可能性があるが、Professional でのみ利用できる。アップグレードやダウングレードはいつでも可能で、残額は日割り計算で新しい料金プランに適用される

    • ただし Kagi は Yandex を使っているので、お金を払うことは間接的に Putin 政権を支援することになる。ウクライナ人を殺していると知りながら支援したくはない
    • 実際には 複数のソースを集約している。それでも素晴らしいという点には同意するし、ちょうど今サブスクリプションを更新したところだ
    • DuckDuckGo でも検索結果でサイトをブロックすることはできると理解している。サイトを上げたり下げたりする機能はないように思うし、少なくとも試したことはない Kagi が検索に転向する前は AI 企業として始まったことも知っておくべきだ [https://help.kagi.com/kagi/ai/… もっと直接的に言えば、元の投稿全体が広告のように書かれているので、助言は慎重に受け取ったほうがよい
    • Kagi への賞賛はたくさん聞いたが、自分の場合は同じ幸運には恵まれなかった。その体験を否定したいわけではなく、こちらが 使い方を間違えている 可能性もあると思っている。なので、どんな検索を Kagi に入れているのか気になる 自分が使うベンチマーク検索語は "sesans spin echo length formula" だった。DuckDuckGo では最初のリンクが SESANS Wiki ページで、探している式はないが、2番目のリンクがその式を含む論文だった。Google では最初のリンクが SESANS の数学的基礎を多く含む学会資料だったが、望んでいた式はなく、やはり2番目に式のある論文が出てきた。DDG の2番目のリンクより定数の説明もよかった Kagi では6番目のリンクになってようやく探していた関係式が見つかった。自分の基準では Kagi のほうが悪いが、基準そのものがよくない気もする。Kagi が最もうまく機能する検索はどんなタイプなのか気になる
    • Kagi は好きだったが、彼らがロシアに金を流していると知って使わなくなった 最近は Uruky を使い始めたが、かなり気に入っている。完璧ではないが、今の Google よりはよい。ただ、データソースを深く調べたわけではなく、Yandex ではないことだけ確認したので、詳しい人がいれば知りたい

  • 2024年に Google と Reddit は、Reddit のコンテンツを Google の AI 学習に使うための 6000万ドル契約 を結んだ。だから最近の Google 検索は site:Reddit を前置して使うのと似たようなものだ 古くて良質なウェブサイトは無関係で質の低い結果の後ろに隠れてしまう

  • 最近は Yahoo 初期のような 人力でキュレーションされたディレクトリ が解決策なのではないかと思う。そこにそのサイト群を検索する方法を組み合わせる形だ。Marginalia はある程度近い気がするが、ディレクトリは見当たらない

    • 同じことを考えていた。筆者は実質的に ウェブディレクトリ を再発明したのであり、スケーラビリティの問題はあるにせよ、また必要とされる時期が来たのかもしれない
    • そう、それだ。誰かぜひ作ってほしい

  • 「Kagi は上で挙げた3つのプロバイダに依存しているようだ」という話が本当かどうかは分からないが、文字通りあまり重要ではない。Kagi Search は本当に素晴らしく、価格が2倍になってもおそらく払い続けると思う。月平均で1,432回検索していて、それだけの価値は十分ある

    • Kagi と他の検索エンジンを並べて使ったとき、どんな違いが見えたのか気になる。例の検索語はあるか

  • 「検索エンジンの機能低下はもはや否定しがたい」とあるが、自分だけそう感じていないのだろうか。今でも検索して必要なものを見つけられている

  • ほとんどあらゆるものを継続的にキャッシュし、全文検索向けにインデックス化する方法を考えている。ウェブ上から消えてしまったり、どうしても見つけられなくなったりする資料があるように思えるからだ
    以前、似たようなプロジェクトがここで共有されたことがある。基本的なアイデアは、あらゆるものにSQLiteとFTS5を使うことだ。この分野はもっと掘り下げる必要がある

    • SQLite FTS5で自分の超パーソナライズド検索エンジンを作った。まだブラウザ履歴まではインデックス化しておらず、ブックマークと自分のソーシャルメディアアカウントに投稿したすべてのURLだけをインデックス化している。それでも、ブラウザ履歴のインデックス化は間違いなく考えている。https://search.technomancy.us ほかの人たちにもぜひ試してみてほしい

  • 2つのコメントで触れられていたのを見たが、リンクとして残しておく価値がある。Marginalia Searchはすばらしい https://marginalia-search.com/ https://about.marginalia-search.com/

  • このスレッドの別の人に返信を書いたが、ブログ記事にも関係がありそうなのでトップレベルにも書いておく。自己宣伝っぽすぎたり不快なら削除してもらって構わない
    手短に言うと、感傷を省けば、自分は成長する中で知っていたウェブを失ったと思い、しばらく喪失を悼むように過ごしたことがあった。でも、その多くは今でもどこかに残っていて、ただ自分がそれを知らなかっただけだった。現代のウェブがもちろん同じではないし、自分が「悼んで」いたもののかなりの部分はノスタルジーや当時の年齢によるものでもある。それでも、ウェブは今なお巨大で、興味深く、有用で、面白いものに満ちている。ただ、AIツールが検索エンジンを食い荒らす前から、見つけるのが本当に難しくなっていた
    自分が見落としていた体験が何なのかをたくさん考え、いくつもの理由からブログ筆者と同じ結論に達した。良いものにつながるリンクは実際の人間が共有すべきで、もっとゆっくりと意図的にウェブを巡る姿勢を育てるべきだ。そういう趣旨で、協働型のウェブディレクトリを作るためのツールを作った: https://linklists.net とても小さく、荒い部分も多い。ツールであると同時にアートプロジェクトに近いため、ほとんど宣伝はしておらず、主にインディーウェブ界隈の人たちに少し広めただけだ。アルファ版として数か月運用していて、すでに大きく変えるべき部分も見えているが、気になって試してみたい人がいれば見てみてほしい