Jina AI、世界初のオープンソース8Kテキスト埋め込みモデルを公開

• 8192トークン長をサポートするテキスト埋め込みモデル jina-embeddings-v2
• OpenAIのtext-embedding-ada-002と競合し、ベンチマークでは分類・再ランキング・検索・要約などでより優れた性能を示す
• ゼロから再構築され、8kコンテキストでさまざまな分野に利用可能: 法律文書分析、医学研究、文学分析、財務予測、対話型AIなど
• Hugging Faceで2つのモデルをダウンロード可能
  • Base Model (0.27G): 学術研究やビジネス分析のように高い精度が求められる高負荷タスク向けに設計
  • Small Model (0.07G): 計算リソースが限られたモバイルアプリやデバイス向けの軽量アプリケーションのために作られた

[GN⁺]

Hacker Newsの意見

• Jina AIがオープンソースの8kテキスト埋め込みモデルを公開しました。
• 一部のユーザーはこのモデルの性能に疑問を呈しており、リーダーボードでOpenAIの埋め込みやその他14件の提出物より下位に位置していると指摘しています。
• 8kコンテキストウィンドウは新しい機能ですが、特に512トークン制限を踏まえると、その有用性に疑問を持つユーザーもいます。
• ベンチマークの多くは小さな文書を扱っている一方で、より大きな文書でのモデル性能には疑問が残ります。
• 一部のユーザーは、オープンソースコミュニティが"Open"AIとのギャップを縮めつつあることに興奮を示しています。
• 新モデルの埋め込みベクトルはtext-embedding-ada-002の半分のサイズ（768対1536）で、データベース容量を節約し、検索を高速化できる可能性があります。
• 8kトークン埋め込みのユースケースに疑問が呈されており、RAGにはあまり有用ではないかもしれないと示唆するユーザーもいます。
• あるユーザーはonnxで使うためにモデルを量子化し、transformers.jsでファイルサイズを4分の1に減らしました。
• OpenAIのモデルとも比較されており、多言語対応が可能で、異なる言語でも同じ意味に対して同一の座標を計算します。
• 新しいllm-embed-jinaプラグインがLLMツールに公開され、これによって新しいJinaモデルにアクセスできます。
• この成果に感銘を受けたユーザーもいますが、8k埋め込みの最適な使い方には疑問を持っており、大まかな類似性マッチングや盗用検出に有用かもしれないと示唆しています。
• 半導体の輸出規制と米中間の緊張を受け、ベルリンと中国にオフィスを置くJina AIの運営を懸念する声もあります。