Upstage、10.7B SOLARモデルを商用利用可能なライセンスで公開

 (huggingface.co)
9 ポイント 投稿者 xguru 2023-12-15 | 1件のコメント | WhatsAppで共有
  • 既存のLlama2 7Bの能力を最大化するために、Depth Up-Scaling技術を開発して適用
  • ベンチマークでは、パラメータ数が30億未満のモデルの中で優れた性能を示し、6倍大きいQWENや最近リリースされたMixtral 8x7Bモデルを上回る
    • OpenLLMリーダーボードで74.2点で1位。AlibabaのQWEN-72Bが73.6、Mixtral-8x7Bが72.6
  • Instructionファインチューニングがうまく適用されている
  • 今回公開されたモデルは英語ベースのため、日本語性能は低い可能性がある

関連記事

1件のコメント