- ML実験の追跡を自動化するために作られたフレームワーク
- 他の実験追跡ツールとは異なり、永続化・クエリ・バージョン管理ロジックをプログラミング言語そのものの一般的な一部にする
- 目標は、対話型セッションのように永続化を意識せずに表現力豊かな計算コードを書けるようにし、その後もバージョン管理されクエリ可能なストレージの利点をすべて享受できるようにすること
- 2つの汎用ツールを使って、ML実験追跡(およびそれ以外)に必要な労力とコードのオーバーヘッドを取り除く:
@opデコレータ:
- Python関数呼び出しの 入力・出力・コード(+依存関係)のキャプチャ
- 過去の結果を自動的に再利用し、同じ呼び出しを2回計算しない
- ストレージバックエンドを意識せず、通常のPythonで効率的な反復開発を可能にするエンドツーエンドの永続的プログラムとして構成されるよう設計
- ComputationFrameデータ構造:
- 命令型コードの実行を、変数と演算の高水準な計算グラフへ自動的に構成する。フィードバックループ、分岐/統合、集約/インデックス化のようなパターンを検出する
- 列がグラフの変数と演算で、各行がグラフの(部分的であり得る)実行の値/呼び出しを含むデータフレームを抽出し、変数間の関係をクエリする
@op呼び出しの異種な「ウェブ」に対する探索と高水準操作を自動化する
まだコメントはありません。