sisi - ローカルのセマンティック画像検索CLIツール

• サードパーティAPIなしで、ローカルでセマンティック画像検索を行うCLI
• Node.js向け機械学習フレームワーク node-mlx をベースに、画像埋め込みインデックスを生成して検索
• 対応プラットフォーム
  • GPU : AppleシリコンMac
  • CPU : x64 Mac、x64/arm64 Linux
• sisi index <target> で特定フォルダ内の画像に対するインデックスを生成
• sisi search 'cat jumping' で特定の内容を含む画像を検索

仕組み

• インデックスは OpenAIのCLIPモデル を使って画像埋め込みを計算した後、binary JSONとして保存される
• 画像検索では、クエリ文字列とインデックス化された埋め込み間のコサイン類似度を計算
• データベースは不要で、検索のたびに保存されたすべての埋め込みに対して計算を実行。数万枚の写真があっても非常に高速
• CLIPモデルのJavaScript実装には frost-beta/clip を利用