LLaMA-Adapter V2: LLaMAを効率的にファインチューニングするツール

 (github.com/ZrrSkywalker)
7 ポイント 投稿者 xguru 2023-05-03 | 1件のコメント | WhatsAppで共有
  • わずか120万個の学習可能パラメータで、LLaMAを1時間でInstruction-Followingおよびマルチモーダルモデルとして学習可能
  • Alpacaは70億個のパラメータ、13Gの保存容量、3時間が必要だが、
    LLaMA-Adapterは120万個のパラメータ、4.7Mの保存容量、1時間で可能

関連記事

1件のコメント

 
bytebrawlers 2023-05-03

LoRAに似たPEFT方式を使っており、何よりVisual Contextをサポートしている点が主な内容ではないでしょうか？ すでにLLaMAのPEFTアプローチにおけるSFT（Instruction Fine Tune）は多すぎるほどありますし…