OpenOrca - データセット＆インストラクションチューニング済み言語モデルのオープンソース

 (huggingface.co)
6 ポイント 投稿者 xguru 2023-07-01 | 2件のコメント | WhatsAppで共有
  • MicrosoftのOrca論文の内容をベースに、オープンソースとして複製して作られたもの
    • GPT-4 Completionで補強された約100万件のFLANv2
    • GPT-3.4 Completionで補強された約350万件のFLANv2
  • FLAN-1mデータセットにある75k CoT全体を含む
  • 現在はLLaMA-13Bファウンデーション上で全重みに対するファインチューニングを進めており、Microsoftのものと性能が近くなる見込み
    • 7月中旬ごろにOpenOrca-LLaMA-13bをリリースできる見込み
  • OpenOrcaを他のプラットフォーム（Falcon、LLaMA、MPTなど）に適用するためのGPUコンピューティングスポンサーを募集中

関連記事

2件のコメント

 
ninebow 2023-07-02

あっ、リンクが404ですね

データセットは HuggingFaceの Open-Orca/OpenOrca で確認できます！ :D
 
xguru 2023-07-02

あ、記事を削除したみたいですね。

WaybackMachine には残っています。

https://web.archive.org/web/20230629002546/…

リンクは載せてくださった HuggingFace のリンクに修正しておきました。