Apache Kafka、ZooKeeper 依存を削除

• ZooKeeper を外部のメタデータストアとして使用しているため、重複・非効率・スケーラビリティの制約といった問題が発生

• KIP-500 : "Kafka on Kafka"

→ Kafka 内部で直接メタデータを管理してパーティションに保存

→ メタデータをログとして扱う

→ トピックの作成/削除速度が向上 : ZooKeeper と異なり、メタデータパーティションに新しいトピックを作成する O(1) オペレーションで完了するため

→ 単一クラスターで 100 万を超えるパーティションをサポート可能

• ロードマップ

→ ZooKeeper と直接通信する管理ツールがまだ存在するため、これを置き換える API を提供予定

→ メタデータパーティションとコントローラー間の依存関係が生じるため、KIP-595 で Raft プロトコルによる Self-managed metadata quorum を実装予定

→ ZooKeeper なしで Kafka を実行する KIP-500 モード : 当初は全面的なサポートが不完全なため、レガシーモードとして ZooKeeper を併用予定

→ KIP-500 は "Bridge Release"。ZooKeeper サポートが完全になくなる KIP-500 以降のバージョンへダウンタイムなしで移行できるように準備する中間アップグレード。真の ZooKeeper なしバージョンへもう一度アップグレードできるよう支援

[minji]

ありがとうございます。よく読みました。