Mistral-finetune - Mistralモデルをファインチューニングする
(github.com/mistralai)- Mistralのモデルをメモリ効率・性能効率よくファインチューニングできる軽量コードベース
- LoRAベースで、ほとんどの重みを凍結し、Low-Rank Matrix Perturbationの形で追加される1〜2%の重みのみを学習
- 効率を最大化するにはA100またはH100 GPUを使うのが望ましく、コードベースはマルチGPU・シングルノードのトレーニング構成向けに最適化されているが、7Bのような小型モデルなら単一GPUでも十分
注: このリポジトリの目的は、Mistralモデルをファインチューニングするためのシンプルでガイド付きの入り口を提供すること。そのため、（特にデータ形式に関して）かなり明確な方針があり、複数のモデルアーキテクチャやハードウェアタイプをまたいで包括的であることは目指していない。より汎用的なアプローチについては、torchtuneのような他の優れたプロジェクトを確認するとよい
まだコメントはありません。