Peerdb Streams - シンプルな Postgres CDC（Change Data Capture）

 (blog.peerdb.io)
13 ポイント 投稿者 xguru 2024-05-09 | 1件のコメント | WhatsAppで共有
  • Postgresで発生する変更を、Kafka、Redpanda、Google PubSub、Azure Event Hub などのキュー/メッセージブローカーへ手軽に複製
    • 内部的には Postgres logical decoding を利用して Postgres CDC を有効化
  • 既存の CDC では Debezium がよく使われるが、学習コストが高く、本番環境に適用するには前提知識が多く必要
    • 設定が難しく（UI はまだ開発中）、データ形式や変換のサポートも簡単ではなく、Kafka 以外のメッセージブローカーには同等レベルの機能を提供していない
  • PeerDB は、よりシンプルで包括的な Postgres CDC 構築を目指している
    • エンジニアが最小限の学習コストで、数日以内に本番運用レベルの Postgres CDC を実装できるようにするため
  • PeerDB UI で簡単に設定可能
    • ソースとターゲットのデータソース設定（Postgres や Kafka など）
    • スループット（テーブルごと）やレイテンシなど、CDC の進行状況を監視
    • ログ検索
    • レプリケーションスロット増加に応じた Slack/メール通知
    • ミラーのチューニング、一時停止、ミラーへのテーブル追加などの高度な機能も提供
  • CLI も提供。Postgres 互換の SQL レイヤーを備え、ユーザーフレンドリー
  • Kafka への CDC ストリーミング前に、行単位の Transformation を適用
    • Lua スクリプトを利用
    • 個人識別情報（PII）の暗号化/マスキング、さまざまなデータ形式をサポート（JSON、MsgPack、Flatbuffers、Protobuf など）
    • スクリプトエディタと便利なテンプレートを提供
  • Kafka 以外のターゲット向けにネイティブコネクタを提供
    • Google Pub/Sub、Azure Event Hubs

関連記事