ベクターデータベースとは？

• AIアプリケーションはVector Embeddingsに依存
  • 埋め込みはAIモデルによって生成され、多数の属性/特徴を持つため管理が難しい
  • AIおよびMLでは、これらの特徴はパターン、関係、および基礎構造を理解するために不可欠なデータのさまざまな次元を表す
• PineconeのようなベクターDBは、このような埋め込みデータを最適化して保存・クエリするために特化したDB
• ベクターDBによって、AIにセマンティック検索、長期記憶などの高度な機能を実装可能
  • 埋め込みモデルを通じて、インデックス化するコンテンツのベクトル埋め込みを生成
  • ベクトル埋め込みをベクターDBに挿入。埋め込みがどこで生成されたかという元コンテンツへの参照を含む
  • アプリケーションがクエリを行うと、同じ埋め込みモデルを使ってクエリの埋め込みを生成し、その埋め込みでDBを検索して類似したベクトル埋め込みを見つける
  • これらの埋め込みは元コンテンツに接続されている

Vector Index と Vector DBの違い

• FAISS(Facebook AI Similarity Search)のようなベクトルインデックスもベクトル埋め込み検索を改善するが、DBの機能は持っていない
• Vector DBにはさまざまな利点がある
  • データ管理機能: データの挿入、削除、更新が容易
  • メタデータ保存およびフィルタリング: 各ベクトルのメタデータを保存可能
  • スケーラビリティ: 分散および並列処理機能を提供
  • リアルタイム更新をサポート
  • バックアップおよびコレクション機能（一部のインデックスだけを選んでバックアップ）
  • エコシステム連携: ETL(Spark)、分析ツール(Tableau, Segment)、可視化(Grafana)などと連携。AIツールとの連携(LangChain, LlamaIndex, ChatGPT Plugins)
  • データセキュリティおよびアクセス権限管理

Vector DBはどのように動作するか？（小見出しのみ移します）

• アルゴリズム : ANN, Random Projection, Product Quantization, Locality-sensitive hashing, Hierarchical Navigable Small World (HSNW)
• 類似性測定
• フィルタリング
• データベースオペレーション

要約

• NLP、コンピュータビジョンおよびその他のAIアプリケーションでベクトル埋め込みが爆発的に増加する中、ベクトルデータベースが登場
• プロダクション環境でベクトル埋め込みを管理する際に発生する問題を解決するために特化して作られたのがベクトルデータベース
• 既存のスカラー型データベースおよびスタンドアロンのベクトルインデックスと比べて大きな利点を提供