TorchTune - Metaが公開したLLMファインチューニング向けのPyTorchライブラリ

• LLMを簡単に構築し、微調整し、実験できるファインチューニング用のネイティブPyTorchライブラリ
• 人気のLLMのネイティブPyTorch実装
• HF形式のチェックポイントを含む、さまざまな形式のチェックポイントをサポート
• リファレンスベンチマークと包括的な精度検証を通じて、広く使われる微調整手法のためのトレーニングレシピを提供
• EleutherAI評価ハーネスによる学習済みモデルの評価
• トレーニングのためのHuggingFaceデータセットとの統合
• PyTorch DistributedのFSDPを使った分散トレーニングをサポート
• トレーニング実行を簡単に構成できるYAML設定
• [予定] TorchAOの低精度dtypeおよび量子化手法をサポート
• [予定] さまざまな推論エンジンとの連携をサポート