Posits、AIの数学を向上させる新しい種類の数値

• 大規模なニューラルネットワークの訓練には、大規模な計算能力が必要
  • OpenAIのGPT-3のようなケースでは、訓練だけで約500万ドル以上かかった
• エンジニアたちはこのコスト負担を減らすため、数値を表現する別の方法を考案している
• 2017年に提案されたPositsは、今日使われている浮動小数点演算プロセッサに対する改良案
• これをハードウェアとして実装した最初のコアが開発された。現在のFP方式より計算の正確性が最大4倍まで向上

  ムーアの法則が当てはまらなくなってきているため、同じマシンでより多くの性能を引き出す方法を見つける必要がある
  その方法のひとつが、実数をエンコードする方法と、実際の数値を表す方法を変更すること

• この数値の置き換えを試みているのはここだけではない。少し前にNvidia、Arm、Intelは、機械学習アプリケーション向けに32/16ビットの代わりに8ビット浮動小数点数を使うことで合意した
  • より小さく、精度の低い形式を使うことで、計算精度を犠牲にする一方で効率とメモリ使用量を改善できる
• 実数は無限に存在するため、ハードウェアで完全に表現することは不可能
• 指定されたビット数に収めるには、多くの実数は丸めなければならない
• Positsの利点は、正確に表現しようとする数値が数直線上に沿って分布する方式にある
  ( 実際のPositsの分布方式については、記事に含まれている図を参照してください。 )
• これによって得られる精度向上は否定できないが、これが実際にGPT-3のような大規模AIの訓練にどのような影響を与えるかは、まだ見守る必要がある