LIMA - 65B LLaMAモデルと1000個のプロンプトだけでGPT-4に迫る性能を実現
(arxiv.org)- "Less Is More for Alignment"
- 強化学習や選好モデリングなしで、厳選された1000個のプロンプトだけを用いてファインチューニングしたLLaMAモデル
- 43%のケースでGPT-4と同等またはそれ以上に好まれ、Bardと比べると58%、人間のフィードバックで訓練されたDaVinci003と比べて65%高い
- 論文の仮説は、LLMの知識のほぼすべては事前学習中に獲得され、Alignmentはユーザーとやり取りするためのフォーマットやスタイルを学ぶ単純なプロセスだというもの
- Meta AIの新しい論文
4件のコメント
セジョンプロジェクトを継続して、韓国語言語モデルのデータをオープンソースとして蓄積していくべきだった。本当に惜しいプロジェクトだった……
英語の性能はこんなに急速に進歩しているのに、GPTを除くほとんどのモデルは韓国語があまり得意ではなくて残念ですね……
Anthropicのclaudeの韓国語学習はかなり高い水準ですが、まだChatGPTより表現力が一部劣っていました。
うう、そのとおりです。韓国語はGPT API以外だと全部ゴミみたいなレベルです…