sqlite-vec - SQLite向けベクトル検索拡張

 (github.com/asg017)
13 ポイント 投稿者 xguru 2024-08-05 | 1件のコメント | WhatsAppで共有
  • 非常に小さく、"十分に高速な" SQLite向けベクトル検索拡張
  • vec0 仮想テーブルに float、int8、バイナリベクトルを保存・クエリ可能
  • 純粋な C で書かれており依存関係がなく、SQLite が動作するあらゆる場所で実行可能: Linux/MacOS/Windows、ブラウザ（WASM）、Raspberry Pi など
  • rowid IN(...) サブクエリでベクトルの事前フィルタリングが可能
  • sqlite-vss の後継

関連記事

1件のコメント

 
xguru 2024-08-05

SQLite ベクター検索拡張機能を開発中 という投稿が3か月前に上がっていましたが、今回公開されたようです

Hacker Newsの意見

  • sqlite-vec は MacOS、Linux、Windows、Raspberry Pi、WASM ブラウザ、モバイルデバイスで動作する

    • 非常に高速なブルートフォースのベクター検索ソリューション
    • 実験的機能として、メモリ内ベクターを直接クエリできる
    • faiss、usearch、duckdb と競える性能を持つ

  • Alex のブログ記事で、より詳しい情報を確認できる

  • ビデオゲームで使ってみたが、とても素晴らしかった

  • こういうものを探していた。推薦エンジン、音楽マッチング、知覚ハッシュマッチングに役立つ

  • duckDB をバックエンドに使った似たような作業をしたことがある

  • このプロジェクトがとても気に入っている

    • 依存関係の問題を解決するのに多くの努力が必要だったはず
    • 自分のプロジェクトでも使ってみたい

  • この機能を使えるユースケースがある

    • AlexG が多くの努力を注いだことに感謝する
    • ドキュメントもとても良い

  • 関連リンク: https://news.ycombinator.com/item?id=40243168

  • 現在、postgreSQL と pgvector を使う RAG チュートリアルを進めている

  • この機能は役立ちそう。ノート PC で一回限りのテキスト分析をたくさんしている