自分のユースケースにAirflowが本当に最善なのか確認してみよう

 (news.ycombinator.com)
11 ポイント 投稿者 dlwocks31 2022-04-12 | 2件のコメント | WhatsAppで共有
  • Airflowの代替が多すぎるので、自分のユースケースにとってAirflowが本当に最適なソリューションなのか（あるいはそもそも有効なソリューションなのか）をしっかり確認してみる必要がある
  • この記事で言及されている代替案
    • Prefect
    • Dagster
    • Cadence
    • Temporal

関連記事

2件のコメント

 
hmkim 2022-05-19

cwl、wdl、nextflow、snakemake などもあります
 
kbumsik 2022-04-12

ある程度の規模で実際に試してみるまでは、Airflowが自分に合っているのか見極めるのはなかなか難しいんですよね。
有名なわりに、事前には気づきにくい落とし穴がいくつかある気がします。

イベントベースのDAGrunトリガーがないこと、ローカル開発が簡単ではないこと（2.2で airflow standalone が追加されて、少しはやりやすくなりましたが）、DAG構成があまりダイナミックではないこと、内部動作をよく理解していないとjinjaテンプレートを使わずにVariableを誤って使ってしまいやすい点など……

次のプロジェクトでは、一度Dagsterも触ってみたいですね