Metaflow - Netflixが開発したデータサイエンス向けPythonフレームワークのオープンソース
(metaflow.org)ローカルで素早く開発したあと、クラウド上で大規模に実行したいときに、コードを変更せずそのまま実行できるようにするInfrastructureスタック。ノートブックで作業していたコード／データ／依存関係などをスナップショット化してS3またはファイルシステムに保存し、ワークフローを再開したり、過去の結果を再現したりといった作業を可能にします。
ローカルで素早く開発したあと、クラウド上で大規模に実行したいときに、コードを変更せずそのまま実行できるようにするInfrastructureスタック。ノートブックで作業していたコード／データ／依存関係などをスナップショット化してS3またはファイルシステムに保存し、ワークフローを再開したり、過去の結果を再現したりといった作業を可能にします。
2件のコメント
なぜMetaflowなのかは、図で説明されている https://docs.metaflow.org/introduction/why-metaflow を参照してください。
Netflix と AWS が共同で開発しており、深く統合されています。
ローカルではハードディスクに保存し、ノートブックをインストールして高速かつ手軽に開発しつつ、
AWS に載せると、以下のサービスを利用して大規模に実行できるようになります。
Metadata - RDS または Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
実際の機械学習/データサイエンスのライブラリは、PyTorch、TensorFlow、Scikit-Learn のどれを使っていても関係なく、すべて連携できます。