Google、Bing、Marginalia、Kagi、Mwmbl、そしてChatGPTの比較分析

検索結果の質はどれほど悪いのか？

• 検索結果の質に関する実験を提案している。たとえば "youtube downloader" のような一般的な用語で yt-dlp のようなオープンソースプロジェクトを見つけるのは、コンテンツファームのせいで難しい。
• 多くの技術者は、Googleの検索結果が10年前よりも著しく悪化したと考えている。一方で、依然として検索結果は良いと主張する人たちもいる。

検索エンジンとChatGPTの比較

• さまざまな検索エンジンとChatGPTを使って、3種類の質問に対する検索結果を比較している。
• 検索エンジンでは広告ブロッカーを無効にし、一般ユーザーの体験を再現している。
• 検索結果の質は主観的に評価されており、詐欺的な結果の有無によって評価が分かれる。

検索結果の評価

• Marginaliaはときどきまずまずの回答を提供し、詐欺的な結果の割合が最も低い。
• Mwmblでは、ユーザーが検索結果の順位を直接編集できる。
• Googleは最近のYouTube動画を返す傾向があり、これはほとんどのユーザーにとって役に立たない。
• ChatGPTはあるケースでは印象的な性能を示す一方、別のケースでは適切に処理したり、質問への回答を拒否したりする。

GoogleとBingの問題点

• GoogleとBingは、さまざまな種類の誤った結果を返す。
• 従来の検索エコシステムは、ユーザーにとって最も有益な結果を提供するよりも、ソフトウェアサプライチェーンにとって最も利益になるものを優先している。

広告ベース検索の問題

• 広告ベースの検索エンジンは、ユーザーに良い検索結果を提供することと一致しない動機を持っている。
• Googleは広告と実際の検索結果の区別を難しくし、ユーザーが混乱するようにしている。

小規模検索エンジンの可能性

• Marginaliaのような小規模検索エンジンがGoogleを代替できるのか、あるいは複数の小規模検索エンジンがGoogleより良い結果を提供できるのか、という問いが提起されている。
• Mwmblのユーザーキュレーション方式が効果的かどうかについて疑問がある。

GN⁺の見解

• 検索結果の質をめぐる議論は、ユーザーがどれほど検索エンジンに依存しているかを示している。Googleのような大手検索エンジンが依然として優勢ではあるが、小規模検索エンジンもニッチ市場では競争力を持ちうることを示唆している。
• 広告ベース検索エンジンの問題点は、ユーザーが本当に望む情報を見つけるうえで障害になりうることを強調している。ユーザー体験を向上させるための代替的な検索エンジンの必要性を浮き彫りにしている。
• この記事は、技術に詳しいユーザーがどのように検索エンジンの限界を克服しているのか、そして一般ユーザーが直面している検索エンジンの問題点を理解する助けになる。

[GN⁺]

Hacker Newsの意見

• Marginalia Searchのアルゴリズム改善にもかかわらず、サンプルクエリでは運が良かっただけかもしれない。依然として他の代替手段と比べて当たり外れが多いと思う。これは検索品質の評価が難しいことを示している。キーワード検索エンジンとして、意味論的な理解がないことを理解する必要がある。
• Kagiでの経験を共有し、HNで知って100回検索した後に購読したという。ランダムなJSやCSSの検索ではMDNが最初の結果に出てきて、そうでない場合はスパムサイトを下位に調整できる。
• Googleの検索結果は今でも非常に良いと考えている一人。広告ブロッカー（uBlock Origin）を使っていることは認めるが、無効化するつもりはない。非専門家の検索体験を模倣するために広告ブロッカーを切るという著者の観点は理解できるが、広告ブロッカーを有効にしたままでも別のテストはできる。yt-dlpに関する検索結果への期待は、非専門家の体験とは一致しない。
• Kagiの現在の検索結果をアカウントのない人たちと比較するため、複数の検索語へのリンクを提供している。
• Web上のスパムが多すぎるという著者の意見に同意する。Kagiはスパムを下位にランク付けする点でかなりうまく機能しており、"Small Web"のような特別な検索モードを使えばスパムをほぼ排除できる。
• 検索は難しく、誰もが検索結果を操作する方法を知っていると思う。KagiやGoogleのプログラマブル検索エンジンのように、サイトを効果的に変更できる検索エンジンの利用を勧める。結果への投票機能は魅力的だが、操作される可能性がある。ホワイトリスト方式には欠点があるが、新しいドメインをソーシャルメディア経由で検証する方を好む。
• 検索品質が悪化したという主張は、しばしば逸話的証拠に基づいており、本来は検証可能な主張であるべきだ。実際の証拠や基準を示そうとする試みはあったが、一般的な主張を行うにはサンプルサイズが小さすぎる。
• ChatGPTについての記事を書く人たちが、なぜ3.5版を使うのか理解できない。GPT-4と比べると結果が著しく異なる。
• uBlacklistを使ってみることを勧める。検索結果をブロックできるツールで、設定と個人ブロックリストをDropboxやGoogle Driveと同期できる。ブロックリストの購読機能もあるが、まだ組み込みのフィードはない。
• 「YouTube動画のダウンロード」に対する良い検索結果が、yt-dlpまたはグラフィカルユーザーインターフェースを備えたyt-dlpであるはずだという期待に疑問を呈している。ほとんどの人はプログラミングに関心がなく、検索結果が主観的であることに気づかされる。
• 著者がKagiで悪い結果を得たということを再現できない。同じ検索語に対してはるかに優れた結果が出る。著者がどうやってそんなに悪い結果を得たのか不思議だ。
• 検索結果はすべて同じ種類のリンクを返すべきだという著者の期待は奇妙だ。10件のリンクがすべて同じものを指す検索は悪い検索だ。検索結果は与えられたクエリに対する合理的な推測をカバーすべきであり、検索エンジンの品質指標にもこの考え方が反映されている。