KoGPT - 韓国語AI言語モデルをオープンソース公開

 (github.com)
12 ポイント 投稿者 xguru 2021-11-20 | 3件のコメント | WhatsAppで共有
  • カカオブレインが開発したGPT-3モデルの韓国語特化版

→ 60億個のパラメータと2000億トークンの韓国語データを基に構築

  • 与えられた文の肯定・否定の判定、長文の一行要約、文の推論による結論予測、質問の文脈を理解して回答することなど、あらゆる種類の言語タスクを実行

  • 韓国語を皮切りに、英語、日本語、ベトナム語、マレー語モデルもオープンソース化予定

  • オープンソースとして公開してアクセス性を確保し、国内IT技術の発展と研究活性化への貢献を目指す

関連記事

3件のコメント

 
kunggom 2021-11-21

デモサイト: https://huggingface.co/spaces/akhaliq/kogpt

ここにサンプルとして入っていた次の文をそのまま入力してみたところ、キュー待ちまで約2分かかって、このような結果が出ました。実際の処理に使われた時間は約16.9秒ほどだったようです。

input:

“人間のように考え、行動する『知能』を通じて、人類がこれまで解けなかった”

output:

“人間のように考え、行動する『知能』を通じて、人類がこれまで解けなかった無数の問いに答えなければならない時代が来た。 c Pixabay 私たち人類が過去数万年を生き抜いてくる中で、人間らしい暮らしを送るために解決しなければならなかった最も重要な”
 
alstjr7375 2021-11-20

すてきですね
 
xguru 2021-11-20

GPT-J-6B、Cedille、KoGPTはいずれも60億個（6B）パラメータなんですね。