- Google DeepMindの研究者が、AIの訓練速度を高める新しい手法JESTを論文で公開した。これは、作業に必要な計算資源と時間を大幅に削減する
- Multimodal Contrastive learning with Joint Example Selection（JEST）アプローチは、最大13倍高速で10倍効率的である。これはエネルギー需要を低減できることを意味する
- 一般的にエネルギー集約的なプロセスに対するこの新しいアプローチは、最近の研究論文によれば、AI開発をより速く、より安価にできる可能性がある。これは環境にとって良い知らせだ
AI業界の高いエネルギー消費
- 大規模なAIシステムは高い処理能力を必要とし、そのためエネルギーと冷却用の水を大量に要求する
- Microsoftの水消費量は、2021年から2022年の間にAIコンピューティング需要の増加により34%急増したと報告されている
- IEAは、2022年から2026年までにデータセンターの電力消費量が2倍に増加すると予測している。これは、AIの電力需要と、しばしば批判される暗号資産マイニング業界のエネルギープロファイルとの比較を呼び起こしている
- しかし、JESTのようなアプローチは解決策を提供しうる。AI訓練のためのデータ選択を最適化することで、必要な反復回数と計算能力を大幅に減らすことができ、全体のエネルギー消費を削減できる可能性がある
JESTの仕組み
- JESTは、AIモデルの学習可能性を最大化するために、相互補完的なデータバッチを選択する。個別の例を選ぶ従来手法とは異なり、このアルゴリズムは集合全体の構成を考慮する
- Googleの研究者は「multimodal contrastive learning」を用いており、ここでJESTプロセスはデータポイント間の依存関係を識別する。この手法は、AI訓練の速度と効率を向上させながら、はるかに少ない計算能力しか必要としない
- 事前学習済みの参照モデルを使ってデータ選択プロセスを調整することが、このアプローチの核心だった。この技術により、モデルは高品質で適切にキュレーションされたデータセットに集中でき、訓練効率をさらに最適化した
- JESTを用いたWebLIデータセットの訓練では、学習速度と資源効率の両面で驚くべき向上が示された
- アルゴリズムは「data quality bootstrapping」と呼ばれる技術を用い、「一致する」特定のデータ断片に焦点を当てることで訓練プロセスを高速化する。この技術は量より質を重視し、AI訓練により適していることが示された
まだコメントはありません。