33 ポイント 投稿者 xguru 2023-03-19 | 1件のコメント | WhatsAppで共有
  • スタンフォードのAlpacaモデルの学習方式と同じ方法で学習
  • バックボーンモデルとしてPolyglot-ko 5.8BとLLaMA 7Bを使用
    • LLaMAは韓国語データセットの学習が不足しているため韓国語性能が低く、韓国語モデルを追加で学習
  • LLaMAの52k命令データセットはDeepL APIで翻訳

1件のコメント

 
luckydaun 2023-03-19

おお……本当にこのエコシステムはものすごい速さで発展していますね。既存のTransformerモデルも、韓国語にローカライズされたモデルと汎用モデルの間で性能差が非常に大きかったですし、良いオープンソースですね。