NeumAI - オープンソースの大規模RAGフレームワーク
(github.com/NeumTry)- 開発者がデータを活用し、Retrieval Augmented Generation（RAG）を通じて大規模言語モデルにコンテキストを与えられるよう支援するデータプラットフォーム
- ドキュメントストアやNoSQLなどの既存データソースからデータを抽出
- コンテンツをベクトル埋め込みとして処理
- 類似検索のためにベクトル埋め込みをベクトルデータベースに収集
- アプリケーションに応じて拡張でき、データコネクタ、埋め込みモデル、ベクトルデータベースなどのサービス統合にかかる時間を短縮できる包括的なRAGソリューション
特徴
- 数十億件のデータポイントを処理可能な高性能分散アーキテクチャ: 高度な並列化によって埋め込みの生成と収集を最適化
- 一般的なデータソース、埋め込みサービス、ベクトルストアをサポートする組み込みデータコネクタ
- データソースをリアルタイムで同期し、データを常に最新の状態に維持
- ロード、チャンク化、選択などの形でカスタマイズ可能なデータ前処理
- メタデータによるハイブリッド検索をサポートする一貫したデータ管理: メタデータを自動で補強・追跡し、より豊かな検索体験を提供
まだコメントはありません。