Stanford's Alpaca
- LLaMAモデルの大きな弱点は、質問応答のための「命令チューニング」が不足していること
- OpenAIの大きな革新の1つは、GPT-3に命令チューニングを追加したこと
- スタンフォードはここに52,000件の学習例を提供し、100ドルで学習可能にした
- 最小の7Bモデルは今やRaspberry Piやモバイルフォンでも動作し、非常に印象的な結果を出している
- ただし、まだ商用利用は不可（3つの理由で不可能。LLaMAのライセンス / 命令セットのデータをOpenAIモデルから生成 / 安全対策を設計していない）
これが意味することは？
- LLaMAのライセンスモデルは私にはあまり関係ない
- LLaMAは、GPT-3クラスの言語モデルを一般に利用可能なリソースで学習できることを示した
- llama.cpp は、LLMを4GB級のコンシューマーハードウェアで実行可能であることを示した
- Alpacaは、52Kの例と100ドルのコストだけで、7Bモデル（4bit量子化で4GBに縮小）をファインチューニングでき、最新の text-davinci-003 に近い結果を出せることを示した
- 比較に使われたのは7Bフルモデル（13.48GB、16bit浮動小数点）であり、4bitに縮小した4GBモデルではないが、両者の品質差を明確に比較した資料はまだ見ていない
まだコメントはありません。