- 完全マネージドなWorkflow as a Service（WAAS）を提供する、汎用的で水平スケーラブルなワークフローオーケストレーター
- データパイプラインや機械学習モデル学習パイプラインなど、大規模ワークフローを管理
- リトライ、キュー、ジョブ配布など、ワークフローのライフサイクル全体を監督
- さまざまな形式のビジネスロジックパッケージをサポート（Dockerイメージ、ノートブック、bashスクリプト、SQL、Python など）
- DAG（Directed Acyclic Graph）だけでなく、非巡回および巡回ワークフローの両方をサポート
- foreachループ、サブワークフロー、条件分岐など、複数の再利用可能なパターンを含む
- JSON形式による柔軟で強力なオーケストレーション定義
- 主要な属性（作成者、所有者情報、実行設定）の一貫性を維持
- ワークフローの変更ごとに新しいバージョンを生成し、追跡や容易なロールバックが可能
- Netflixのデータサイエンティスト、データエンジニア、機械学習エンジニア、ソフトウェアエンジニア、コンテンツ制作者、ビジネスアナリストなど、数千人のユーザーがさまざまなユースケースでこのサービスを利用中
- サービス自体は2年前に公開されており、今回オープンソースとして公開された
- ETLパイプライン、MLワークフロー、ABテストパイプラインなど、さまざまなワークフローのユースケースをサポート
- 水平スケーラビリティにより、多数のワークフローと各ワークフロー内の多数のジョブを管理可能
- 毎日数十万件のワークフローと数百万件のジョブをスケジュールし、トラフィックが急増する状況でも厳格なSLOで運用されている
- Netflix内の既存の数百万件のワークフローを、中断なくMaestroへ正常に移行した
- 過去1年間で実行されたジョブが87.5%増加
- 1日平均で数十万件のジョブを実行し、繁忙日には約200万件のジョブを完了
1件のコメント
今回オープンソースとして公開した際に書かれた紹介文を、AIが要約してくれたんですね: Maestro: Netflixのワークフローオーケストレーター
でも、Maestro という名前のものが多すぎますね（笑）
Maestro - Linux互換のRustベースカーネル
Maestro - モバイルアプリ自動化UIテストフレームワーク