- Facebookの「これまでとはまったく異なる形の革新的な」AIプロジェクト
- アストゥリアス語、ルガンダ語、ウルドゥー語など、リソースの少ない言語を含む200言語間で評価を経た高品質な翻訳をすぐに提供できるオープンソースモデル
- NLLBは、誰もが自分の母語でWebコンテンツにアクセスして共有し、それぞれの好みの言語に関係なく世界中のあらゆる人々とコミュニケーションできる機会を提供することを目指す
- 実際の適用
- リソースの少ない言語の翻訳のためにFacebookおよびInstagramにAI技術を適用する
- Wikipediaをあらゆる言語で提供する
- AI翻訳デモプログラム: 「翻訳で出会う物語（Stories Told Through Translation）」
- 今後数か月以内に、翻訳対象は100以上の言語へと拡大される予定
- これにより、NLLB-200は文学を大規模に翻訳できる初のAIモデルとなる
- 技術: オープンソースのNLLBモデルはどのように200言語を直接翻訳するのか?
- 1 自動データセット構築: 入力言語と希望する出力言語の文を含む学習データを収集
- 2 学習: 数千の学習指示に合うよう調整した学習データを作成した後、このデータをMetaのモデル学習パイプラインに投入
- 内部ベクトル表現に変換するエンコーダーと、内部ベクトル表現を受け取って出力文を正確に生成するデコーダー
- 3 評価: 人手翻訳された文セットを基準にこのモデルを評価し、翻訳品質が十分かどうかを確認
- サポートされるすべての言語について作成した有害言語リストを用いて、俗語やその他の不快なコンテンツを検出してフィルタリング
- その結果、ある言語を直接翻訳できる十分に訓練されたモデルが誕生
まだコメントはありません。