Kiwi : インテリジェントな韓国語形態素解析器 (Korean Intelligent Word Identifier)

 (github.com/bab2min)
38 ポイント 投稿者 rycont 2024-11-30 | まだコメントはありません。 | WhatsAppで共有
  • Kiwi : インテリジェントな韓国語形態素解析器 (Korean Intelligent Word Identifier)
  • 高速性と汎用的な性能を志向する韓国語形態素解析ライブラリ
  • 軽量言語モデルを内蔵しており、曖昧さがある場合でもかなり正確に形態素を解析できる
  • C++で実装。開発者はC++のファン
    • ライブラリは Python、JavaScript、C#、Java、R、Go で提供
    • wasm にコンパイルされ、ブラウザで実行できる
  • モデルは小型 (16MB)、中型 (40MB)、大型 (90MB) の3つのサイズで提供
  • 開発過程がブログで詳しく公開されている
  • Kiwi をトークナイザーとして活用した韓国語言語モデルの学習も印象的

関連記事

まだコメントはありません。

まだコメントはありません。