llama2をファインチューニングしている人たち
(news.ycombinator.com)Hacker Newsでllama2をファインチューニングした事例です。
ファインチューニングとは、自分の質問＋回答セットでAIモデルを追加調整することです。
ファインチューニングを行うには、最低50個の例が必要で、可能であれば1000個以上の例があるとよいそうです。
著者は、ファインチューニングしたLlama 7BモデルはGPT-3.5より50倍以上安価だと述べています。
もちろん、Llama 7BとGPT-3.5(165B)の比較は無理がありますが、ファインチューニングされたGPTモデルは安価ではないため、Llamaをファインチューニングして使う事例が増えるのではないかと思います。
2件のコメント
"You can run 70B LLAMA on dual 4090s/3090s with quantization. Going with dual 3090s you can get a system that can run LLAMA 2 70B with 12K context for < $2K.
I built two such a systems after burning that much in a week on ChatGPT."
https://news.ycombinator.com/item?id=37489601
コメントが印象的ですね。後に残したコメントを見ると、それぞれ別のチームでデータを異なるフォーマットで管理していたのを、ChatGPTで正規化して1週間でデータフォーマットを揃えたそうです。こうやってうまく組み合わせれば?!
おお、いいアイデアですね。ReplicateのCEOまで登場してコメントしているのが印象的でした。
GPT-3.5（turboだと推測される）のコストとllama 70bのコストが似たようなものになりそうだという意見が記憶に残っています。
私は実務でGPTを使うつもりですが、llama + ファインチューニングで優位性を得るスタートアップが登場してきそうだと思って持ってきました。