WarpStream : Kafkaは死んだ、Kafka万歳！

• WarpStreamは、S3上に直接構築されたKafkaプロトコル互換のデータストリーミングプラットフォーム
• ステートレスな単一のGoバイナリとして提供され、管理すべきローカルディスクも、リバランスすべきブローカーも、運用するZooKeeperも不要
• S3と直接データをやり取りするため、Kafkaより5〜10倍安価（大規模Kafkaにかかるインフラ費用の80%以上になることも）
• Kafkaは2011年にデータセンター向けに作られた非常に優れたソフトウェアだが、現代のワークロードには適していない
  • 経済性: 設計上、Kafkaのレプリケーション戦略はAZ間で莫大な帯域コストを発生させる
  • 運用オーバーヘッド: Kafkaクラスターの運用には専任チームと複雑なカスタムツールが必要
• WarpStreamは、複数のクラウドのオブジェクトストレージ（AWS S3、GCP GCS、Azure Blob Storage）上で直接実行される
• 現在デベロッパープレビュー中

[xguru]

GN⁺ が要約したバージョンもあわせてご覧ください。 https://ja.news.hada.io/topic?id=10254

[pseudojo]

レイヤーを減らす代わりに、非常に慎重に扱うべきツール。こういう種類のツールは、常に料金爆弾になり得る余地を残しています。(* 自社データセンターで minio などを使って稼働させる場合は例外)

[ehlegeth]

disaggregated storage の方向性を活用した興味深い試みですね。
キャッシュなどの課題をどのように扱ったのか気になります。

[xguru]

ブログ記事のタイトルはかなり扇情的ですが、Kafkaの軽量な代替としては興味深い試みのようです。