Airbyte - オープンソース ELT

 (airbyte.io)
7 ポイント 投稿者 xguru 2021-02-01 | 1件のコメント | WhatsAppで共有

  • Fivetran/Stitch のオープンソース代替

  • シングルノードからセルフホストで利用可能

  • K8s および Airflow と連携

  • 更新スケジューリング、手動での全件再同期、リアルタイムモニタリング

  • 41のソース、6つのデスティネーションから始まり、継続的にコネクタを追加中（オープンソースコミュニティとともに）

→ Destination: Redshift, Snowflake, BigQuery, Postgres, ローカル JSON/CSV

→ Source : Google Analytics, Facebook Ads, Google Ads, Salesforce, SQL Server/MySQL/Postgres, Jira, Intercom, Github, Looker, Mailchimp, Mixpanel, Marketo, Sendgrid, Slack, Shopify, Stripe, Twilio, Zendesk, Zoom..

  • 公式サイトで EL(T) ツールと表現されている通り、Extract, Load に強く、

Transform は独自の SQL/Java トランスフォーマーにも対応していますが、dbt も利用しているようです。

関連記事

1件のコメント

 
xguru 2021-02-01

Fivetran や Stitch、dbt などについては、ギークニュース YouTube の「最新データインフラを理解する」動画を参考にしてください。