Ploomber - すばやくデータパイプラインを構築できるオープンソースフレームワーク

• Jupyter/VSCode/PyCharm などを使って開発

• コード変更なしで本番サーバーにデプロイ：Kubernetes、AWS Batch、Airflow、Kubeflow、Slurm など

• 既存のノートブックをモジュール化されたパイプラインにリファクタリング可能

主な機能

• YAML を使ってすばやく開発

• 強力な Python API により柔軟性を提供

• パイプラインの以前の結果を自動的にキャッシュし、前回の実行から変更されたものだけを再計算

• シェルスクリプト、または Kubernetes、Airflow、AWS Batch などで分散デプロイ

[japansea]

Kafkaには太刀打ちできないでしょうね？