ExecuTorch Alpha: コミュニティとの協業で大規模言語モデルとAIのエッジ展開を可能に

• PyTorch は、大規模言語モデル（LLM）や大規模 ML モデルをエッジデバイスに展開し、API を安定化させ、インストールプロセスを強化することに重点を置いた ExecuTorch Alpha を導入します。

• ExecuTorch Alpha は、Meta の Llama 2 のサポートと Llama 3 の早期サポートを提供し、iPhone や Samsung Galaxy フォンなどのエッジデバイス上でこれらの LLM を効率的に実行できます。

• 制約のあるエッジデバイスで性能を最適化するため、ExecuTorch Alpha は量子化技術を使用し、幅広い CPU デバイス対応のために XNNPack の動的形状サポートと新しい dtype を活用します。

• ExecuTorch SDK は、改善されたデバッグおよびプロファイリングツールを提供し、開発者が効率的な問題解決と性能チューニングのために、オペレータノードを元の Python ソースコードへ再マッピングできるようにします。

• Arm、Apple、Qualcomm Technologies、Google、Unity、Meta といったパートナーとの協業は、Meta がすでにハンドトラッキングやデバイス上のさまざまなモデルに活用している ExecuTorch の発展において重要な役割を果たしました。