• 大規模言語モデルをファインチューニングするツールであるUnslothは、現在Metaの最新Llama 3モデルをサポートしており、Flash Attention 2（FA2）およびHugging Face（HF）と比べて2倍高速なファインチューニングと、VRAM使用量を63%削減できる。
• Unslothを使用すると、Llama 3の70B版を1.8倍高速かつ68%少ないVRAMでファインチューニングでき、学習中により長いコンテキスト長を扱える。これは、質問応答やテキスト生成のように広範な文脈が必要なタスクで特に有用である。
• Unslothはまた、Llama 3モデルの4ビット量子化をサポートしており、ダウンロードを4倍高速化し、メモリ要件を削減する。Llama 3の70B Instruct版およびBase版の事前量子化済み4ビットモデルは、Hugging Faceのページで利用できる。
• さらにUnslothは、トークナイザーにBOSトークンがないことや、ベースモデルに学習されていないトークンが存在することなど、Llama 3特有の癖や「バグ」にも対処する。Unslothはファインチューニング中にこれらの問題を自動的に解決し、正確で効率的な学習を保証する。
まだコメントはありません。