Lance - MLワークフローに最適化された最新のカラムナデータフォーマット
(github.com/lancedb)- Parquet から2行のコードで変換でき、100倍高速なランダムアクセス、ベクトルインデックス/検索、データバージョニングなどをサポート
- pandas、duckdb、polars、pyarrow などと互換
- ゼロコピー、自動バージョニング
- 最適な用途
- 検索エンジンおよびフィーチャーストアの構築
- 高性能な IO とシャッフルを必要とする大規模 ML モデルの訓練
- ロボティクス、大規模 Blob（画像、Point-cloud など）などの複雑なネストデータの保存/クエリ/調査
まだコメントはありません。