オフラインで数百万ページを対象にした「Wikipedia」のベクトル検索

• 新しいブラウザベースのWikipedia検索エンジンに関する記事で、オフライン検索が可能
• 検索エンジンはWikipediaのページ100万件をリアルタイムで検索でき、モバイル端末で10msごとに結果を返す
• 検索エンジンのデータベースは小さく、特別な処理なしで100万件の埋め込みを扱えるカジュアルなユースケース
• 検索エンジンは文変換器を使って文書埋め込みを生成し、積量子化で埋め込みを圧縮し、ブラウザで距離計算を実行する pq.js を使用
• 検索エンジンはクエリのためにブラウザ内で文変換器を実行するため transformers.js を使用
• 検索エンジンは圧縮後のページサイズに応じて埋め込みを並べ替え、情報密度の高いページを先に解析して上位10件に返す
• 高性能化のために検索エンジンはJSONではなくArrowを使用し、Arrowは8ビット整数の積量子化配列を簡潔に保存できる
• 検索エンジンはWebAssembly上で動作するONNXモデルを使用し、まだGPUアクセラレーションはない
• 検索エンジンは文変換器でWikipedia全体を埋め込み、積量子化で埋め込みを圧縮し、ONNXを手作業で記述する
• 検索エンジンは埋め込みとメタデータを保存するためにnumpyをArrowへエクスポートし、メモリ上でもディスク上でもはるかに簡潔
• 製品のサブカテゴリーでリアルタイム検索を可能にするファセット検索をサポートする検索エンジン
• 著者はフィードバックと改善提案を募集しており、特に別の量子化レベルや別の埋め込み次元のサポートについて歓迎している

[GN⁺]

Hacker Newsの意見

• オフラインでWikipediaを検索できる新しいツールに関する記事
• 一部のユーザーは、このツールはChatGPTのようなAIサービスより精度が低いと報告
• テキスト埋め込みを使って検索クエリをマッチングするツール
• 「抽象的な説明に基づくテキスト検索」という最近の論文により、より抽象的な検索クエリが可能に
• 一部のユーザーは、このツールは期待した結果を返す点でGoogleより劣ると感じた
• あるユーザーは、Wikipedia記事の全文ではなく、定義している文や段落だけを埋め込めばツールが改善する可能性があると提案
• 精度へのいくつかの批判はあるものの、ツールのオフライン機能と実装は称賛されている
• 一部のユーザーは、読み込み時間が遅いなど、このツールに関する技術的な問題を経験している
• SemanticFinderという類似プロジェクトへの言及があり、任意の長さのテキストをコピー＆ペーストでき、最も類似したセグメントを返す
• あるユーザーは、このツールの有効性はWikipediaにおけるトピック表現の質に制約される可能性があると指摘
• 一部のユーザーは、このツールの結果に失望したが、その背後にある技術の印象深さは認めている
• あるユーザーは、記事全体を埋め込むというこのツールのアプローチは、この種のアプリケーションにとって最善ではないかもしれないと示唆