AlpacaとオンデバイスLLM開発の加速
(simonwillison.net)- 「SD Momentが来る」の記事以降、3日間で起きた変化
- llama.cppで4GBのRaspberry Pi上で実行。トークンあたり10秒
- Dalai により簡単に実行可能に
- llama.cppでPixel 6ではトークンあたり26秒だったものを、Pixel 5でトークンあたり1秒まで改善
- スタンフォードがLLaMA 7Bをファインチューニングした Alpacaをリリース
Stanford's Alpaca
- LLaMAモデルの大きな弱点は、質問応答のための「命令チューニング」が不足していること
- OpenAIの大きな革新の1つは、GPT-3に命令チューニングを追加したこと
- スタンフォードはここに52,000件の学習例を提供し、100ドルで学習可能にした
- 最小の7Bモデルは今やRaspberry Piやモバイルフォンでも動作し、非常に印象的な結果を出している
- ただし、まだ商用利用は不可（3つの理由で不可能。LLaMAのライセンス / 命令セットのデータをOpenAIモデルから生成 / 安全対策を設計していない）
これが意味することは？
- LLaMAのライセンスモデルは私にはあまり関係ない
- LLaMAは、GPT-3クラスの言語モデルを一般に利用可能なリソースで学習できることを示した
- llama.cpp は、LLMを4GB級のコンシューマーハードウェアで実行可能であることを示した
- Alpacaは、52Kの例と100ドルのコストだけで、7Bモデル（4bit量子化で4GBに縮小）をファインチューニングでき、最新の text-davinci-003 に近い結果を出せることを示した
- 比較に使われたのは7Bフルモデル（13.48GB、16bit浮動小数点）であり、4bitに縮小した4GBモデルではないが、両者の品質差を明確に比較した資料はまだ見ていない
まだコメントはありません。