HyperCLOVA X Vision：目を開く

• HCX Visionは、既存の大規模言語モデル（LLM）に画像理解能力を加えることで、大規模視覚言語モデル（LVLM）へと発展した
• 多様な視覚・言語データで追加学習を行い、画像とテキストを同時に理解できる能力を備えている
• 複数のシナリオに合わせたデータを収集し、文書認識、画像内テキスト理解など、さまざまな状況で視覚と言語の理解タスクを実行できる
• NAVERのOCR技術の経験をもとに、文書処理と文字認識能力を強化し、正確で信頼性の高いサービスを提供する
• HCXを基盤として韓国語および韓国文化に関する知識を保有しており、韓国語文書や画像内テキスト理解で優れた性能を発揮する

HyperCLOVA X Visionの定量指標

• Public Benchmarksで平均71.59%の性能を記録し、GPT-4Vの99.94%水準に到達した
• 韓国の小中高校卒業認定試験の過去問では、正答率83.8%を記録し、GPT-4oの77.8%を上回る性能を示した

例に基づくHyperCLOVA X Visionの機能

• Detailed Image Captioning: 画像の細かな部分まで正確に認識し、描写する
• Reasoning: 画像に対する詳細な理解をもとに状況を推論し、次の段階を予測する
• Entity Recognition: 人名、場所、製品など意味のある単位を画像だけで理解する
• Chart Understanding: チャート形式の抽象的な数値データを理解する
• Table Understanding: 画像キャプチャ内の表データを認識し、位置関係を理解する
• Document Understanding: 漢字、日本語など多様な言語の文書を理解する
• Culture and Humor (Meme Understanding): 画像とテキストのペアで構成されたミームを理解する
• Equation Understanding: レンダリングされた数式を認識し、TeX文法に変換する
• Code Generation: 特定の図形、チャート、グラフなどを生成するコードを作り出す
• Math Problem Solving: 図形を含む数学の問題を理解し、解法を提供する
• Creative Writing (with Image Grounding): 画像に含まれる要素をもとに創造的な文章作成ができる

HyperCLOVA X Visionの今後の展望とSovereign AI

• 数百万単位のコンテキスト長を活用することで、長時間の映画理解やリアルタイム映像処理などが可能になる見込みだ
• リアルタイム処理技術が伴えば、AIは独立した存在として状況に柔軟に対応できるようになる
• LVLMにおいても、地域や文化的背景に応じたSovereigntyの重要性が高まるだろう
• NAVERは韓国トップのプラットフォームとして、必要なデータを効果的に確保できる有利な位置にある

まとめ

• NAVERのLVLM技術は、より身近な形のコミュニケーションへと発展している
• HCX Visionが多様な背景を持つ人々にとって有益なAIとなれるよう取り組んでいる
• 今後、HCX Visionが人々の生活に溶け込んでいくことを願っている

GN⁺の意見

• HCX Visionは、画像理解能力を通じて人間とより自然なコミュニケーションが可能になると期待される。特に視覚情報が重要な役割を果たす領域で活用度が高いだろう
• 卒業認定試験の問題解答で高い性能を示したように、教育分野でHCX Visionは学習支援ツールとして活用できるだろう。ただし、学生の自己主導学習能力の低下への懸念もある
• データ確保とSovereigntyの確保は、LVLM開発における重要な要素として作用するだろう。NAVERが保有する大規模データとプラットフォームを活用し、競争力のあるLVLMを開発できると期待される
• 現在の単一画像理解の水準から映画やリアルタイム映像理解へと発展すれば、エンターテインメント、セキュリティ、自動運転など多様な分野に適用可能だろう。技術的・倫理的な難題への備えも必要だ
• OpenAIのGPT-4と比較して類似した性能を示しているが、韓国語と韓国文化の理解度という点ではHCX Visionが強みを持つとみられる。グローバル競争力を確保するには、多言語処理能力の向上が必要だろう