Airflowを大規模運用して学んだ教訓

Shopifyは、データ抽出、機械学習モデルの訓練、Apache Icebergテーブルのメンテナンス、DBTベースのデータモデリングなどに活用中

1. クラウドストレージを使う際、ファイルアクセスが遅くなることがある
   → GCS + NFSで性能を改善
2. メタデータのボリュームが大きくなると、Airflowのオペレーションが遅くなることがある
   → 保持ポリシーを活用して28日に設定
3. DAGはユーザーやチームと結び付けにくいことがある
   → 集中型メタデータストアを使用
4. DAG作成者は多くの権限を持つ
   → DAGポリシーを活用
5. 一貫した負荷分散を保証するのは難しい
   → 標準化されたスケジュールを作成してトラフィックバーストを減らす
6. 複数のリソース競合ポイントがある
   → Pools、Priority Weight、Celery Queue、Isolated Workersを活用