Sail - AI時代のためのビッグデータ処理フレームワーク
(github.com/lakehq)- ストリーム処理 / バッチ処理 / 高性能演算（AI）ワークロードを統合処理するフレームワークを目指す
- 現在、Spark SQL と Spark DataFrame API に対する Drop-in 代替ソリューションを提供（互換）
- 単一マシンまたは分散構成で動作可能
- TPC-H ベンチマーク基準で Spark 比 4倍高速、ハードウェアコストを 94% 削減し、コード変更は不要
- Python パッケージとして利用可能
pip install "pysail==0.2.0.dev0" - 技術スタック
- Rust ベースのエンジンで、Apache Arrow と Apache DataFusion の上に構築
- Spark Connect プロトコルを使用して Spark セッションが Sail サーバーと通信
まだコメントはありません。