機械学習のための機械学習技術の進展

 (blog.research.google)
1 ポイント 投稿者 GN⁺ 2023-12-17 | 1件のコメント | WhatsAppで共有

MLコンパイラの最適化

  • MLコンパイラは、ユーザーが作成したプログラムを実際のハードウェア上で実行できる命令へ変換するソフトウェアルーチンである。
  • MLプログラムは計算グラフとして表現でき、ノードはテンソル演算を、エッジはテンソルの流れを表す。
  • MLコンパイラは、グラフレベルおよびカーネルレベルの最適化を含む、さまざまな複雑な最適化問題を解決しなければならない。

TpuGraphsデータセット

  • MLモデルの効率を高めるために、MLコンパイラの改善を目指している。
  • 学習済みコストモデルをコンパイラに組み込み、プログラムとコンパイラ構成を入力として受け取り、プログラムの予測実行時間を出力する。
  • TpuGraphsデータセットは、GoogleのカスタムTensor Processing Units（TPUs）上で実行されるプログラム向けの学習コストモデルのために公開された。

Kaggleコンペティション

  • TpuGraphデータセットを使用した「Fast or Slow? Predict AI Model Runtime」コンペティションは、792人の参加者と616チームが参加して終了した。
  • 参加者は、グラフの枝刈り／圧縮、特徴量のパディング値、ノード特徴、クロスコンフィギュレーション注意機構など、さまざまな新しい技術を使用した。

NeurIPSエキスポ

  • 構造化データと人工知能に関する研究に関心があるなら、12月9日に開催されたNeurIPS Expoパネル「Graph Learning Meets Artificial Intelligence」に注目したい。

GN⁺の意見

  • MLコンパイラの最適化は、MLモデルの実行速度と効率を大幅に向上できる重要な分野である。
  • TpuGraphsデータセットのようなリソースは、MLベースのプログラム最適化研究を促進し、MLシステムの性能改善に貢献する。
  • Kaggleコンペティションは、MLコミュニティにおける協力と革新を促進するプラットフォームとして、参加者が新しいアプローチや技術を共有し発展させるのに役立つ。

関連記事

1件のコメント

 
GN⁺ 2023-12-17
Hacker News の意見

  • MLコンパイラの過大評価

    MLコンパイラは過大評価されている。従来のコンパイラと同様にトレードオフが存在し、専門の性能プログラマを雇うより処理量は多いが、後者のほうがしばしばはるかに高い性能を出せる。MLコンパイラは複数のレベルで劣っており、アルゴリズム面ではネットワークの修正方法に関するフィードバックを提供せず、意図の喪失が生じ、非効率なカーネルを生成する。専門のアセンブリプログラマと比べると、コンパイラの性能は30%以上低い。

  • MLコンパイラの現状と期待

    MLコンパイラの現在の状態と短期的な見通しについての質問。

  • 計算グラフの実行時間性能予測の改善

    GNNを使って計算グラフの実行時間性能を予測する方法の改善に関する要約。各ノードのオペレーションコードの埋め込み辞書と他のノード特性を用い、TPUにおけるさまざまなXLAコンパイル構成とそれに対応する性能データセットを公開している。より大きなグラフに対する予測を改善するために、グラフ分割（METISグラフ分割）と別の学習手法を使用している。これは性能予測のみに関係しており、新しい等価なグラフを改善または提案するものではない。

  • Geminiプロジェクトについての質問

    Geminiプロジェクトの現在の状態についての質問。

  • グラフ内での畳み込み（conv）の動作説明の要望

    特定の形状のテンソルに対して畳み込み演算がどのように行われるのかについて説明を求めている。

  • トランスフォーマーの最適性について

    トランスフォーマーがどのような意味で最適なのかを示す兆候があるのか、という質問。

  • 第1段落についての意見

    第1段落が主要な内容を覆い隠しているという意見だが、それ以外は興味深い内容だという評価。

  • MLの進歩の速さへの感嘆

    MLは現在驚くべき速度で進歩しており、シンギュラリティを信じてはいないが、ソフトウェアと社会を予測できない形で変化させているという意見。

  • [フラグされたコメント]

    2件のコメントはフラグされていて内容を見ることができない。