Alpaca-LoRA : Low-Rank LLaMA Instruct-Tuning
(github.com/tloen)- Low-Rank Adaptationを利用して、個人のハードウェアでLLaMAを命令チューニングしてみる
- Raspberry Piで動作可能でありながら、
text-davinci-003に近い品質のモデル - 学習コードは単一のRTX 4090で5時間以内に実行可能
- 低コストで効率的なファインチューニングのために、Hugging FaceのPEFT(Parameter-Efficient Fine-Tuning)とTim Dettmerのbitsandbytesを使用
まだコメントはありません。