エネルギー効率の高い言語モデルには Addition があれば十分

エネルギー効率の高い言語モデルのための Addition

• 研究背景

  • 大規模ニューラルネットワークは、ほとんどの演算を浮動小数点テンソル乗算に使用している。
  • 本研究では、浮動小数点乗算器を単一の整数加算器で高精度に近似できることを発見した。

• L-Mul アルゴリズム

  • 浮動小数点数の乗算を整数加算演算で近似する、線形複雑度の乗算アルゴリズム L-Mul を提案している。
  • この新しいアルゴリズムは、8ビット浮動小数点乗算より少ない計算資源で、より高い精度を達成する。
  • 浮動小数点数の乗算は整数加算演算に比べて大幅に高いエネルギーを消費するため、L-Mul 演算をテンソル処理ハードウェアに適用すれば、要素ごとの浮動小数点テンソル乗算のエネルギーコストを最大95%、内積のエネルギーコストを最大80%削減できる。

• 理論的および実験的評価

  • L-Mul の理論的な誤差期待値を計算し、自然言語理解、構造的推論、数学、常識的な質問応答など、多様なテキスト・視覚・記号タスクでアルゴリズムを評価した。
  • 数値解析実験の結果は理論的な誤差推定と一致しており、4ビット仮数の L-Mul は float8_e4m3 乗算と同等の精度を達成し、3ビット仮数の L-Mul は float8_e5m2 を上回ることを示している。
  • 注目すべきベンチマーク評価では、注意機構に L-Mul を直接適用しても、ほとんど損失がないことが示された。
  • トランスフォーマーモデルで、すべての浮動小数点乗算を3ビット仮数の L-Mul に置き換えると、微調整および推論において、累積精度として float8_e4m3 を用いる場合と同等の精度を達成する。

GN⁺のまとめ

• L-Mul アルゴリズムは、エネルギー効率を大幅に改善しつつ、高い精度を維持できる方法を示している。
• 浮動小数点演算のエネルギー消費問題を解決できる可能性を示しており、特に大規模ニューラルネットワークモデルでの活用が期待される。
• この研究は、省エネルギーが重要な分野で大きな関心を集める可能性があり、類似機能を持つ別のプロジェクトとして Google の TensorFlow Lite がある。