Speakz - 7歳の子どもと一緒に外国語動画を見るために作られたAI吹き替えツール

Speakz: 多言語メディア翻訳サービス

• 1つの言語の動画を別の言語に翻訳し、新しい音声トラックを生成
• 元の声やその他の音、背景音楽を保持しながら、意味・個性・タイミングを自然に調和させ、自然で本物らしい翻訳を提供
• 開発者は、ドイツ人である自身と7歳の娘がYouTubeコンテンツをドイツ語で楽しめるようにこのツールを作成

対応言語と翻訳速度

• 出力言語: 英語、中国語、スペイン語、アラビア語、フランス語、ロシア語、ドイツ語、イタリア語、韓国語、ポーランド語、オランダ語に対応
• 入力言語: さらにヒンディー語、ベンガル語、ポルトガル語など多様な言語に対応
• 30分の動画の翻訳には約1時間かかり、リアルタイム翻訳やストリーミングへの発展の可能性がある

クリエイターと一般ユーザー向けの活用

• クリエイターはSpeakzを使って、既存コンテンツでより多くのオーディエンスにリーチできる
• YouTubeは動画に複数の音声トラックを追加することをサポートしているため、Speakzを通じて自動で多言語の音声トラックを追加できる
• 一般ユーザーもプライベートベータに参加して、希望する動画を翻訳できる

料金とプライベートベータ参加

• 料金はまだ確定していないが、1言語あたり1時間約5ドルになる見込み
• 同じ動画を複数言語に翻訳する場合や、クリエイター向けのボリュームディスカウントが提供される可能性がある
• プライベートベータに参加したいユーザーは、Webサイトから申し込める

GN⁺の見解

• Speakzは、多言語コンテンツを楽しみたいユーザーと、グローバル市場を目指すクリエイターの双方にとって有用なツール
• リアルタイム翻訳機能は、ライブ配信やリアルタイムイベントにおける言語の壁を取り払う可能性を持つ
• 類似機能を提供する他のサービスとして、Googleの自動字幕機能やAmaraのようなコミュニティベースの翻訳プラットフォームがある
• Speakzを導入する際には、翻訳の正確性と文化的ニュアンスを考慮する必要がある
• この技術を選ぶことで得られる利点は、言語の壁なくコンテンツへアクセスできることだが、コストと翻訳品質への配慮が必要

[GN⁺]

Hacker Newsの意見

• ドイツでは動画の大半が吹き替えだが、7歳の子どもでも字幕を読めるはずで、これは英語学習に良い方法だという意見がある。スウェーデンでは、ほとんどの子どもが学校に入る前にこの方法で英語を学ぶという。また、吹き替えが一般的な国ほど平均的な英語力が低い傾向にあるという強い相関関係がある、との主張も示されている。
  • Webサイトのサンプルが印象的で、話者の識別と音声クローニングがどのように行われているのかという質問がある。音声認識と時間情報を使って文単位に分割し、翻訳エンジンで複数の訳案を提示し、言語に関係なく元の音声を複製し、時間の一致が最も良い翻訳を選ぶ、といったプロセスが含まれているのではないかと推測している。
• 出力言語オプションに簡単な英語を追加してほしいという要望がある。これにより、言語の複雑さを子どものレベルに合わせ、徐々に支援を減らしていける。
• ロシア語話者のユーザーが、Lexサンプルの吹き替えは本物と非常によく似ていると称賛している。プロの吹き替えレベルではないが非常に良く、LexとElonの声にもかなり近いという。
• 自動字幕生成ソリューションを開発した経験のあるユーザーが、自動吹き替えのプロジェクトを称賛している。自動吹き替えは、視聴者にとって快適な結果にするために手動調整が必要であり、編集ソフトに戻らなくても吹き替えを微調整できる高度なエディタの提供に重点を置いていると説明している。
• プロジェクトへの感嘆とともに、動画ごとに個別課金されても支払う意思があるという意見がある。ページへのフィードバックとして、動画が再生され続けるため同じ部分を別の言語で比較しにくいという問題点を指摘している。また、翻訳ミスやタイミングの問題があり、元の音声の一部が翻訳されないこともあると述べている。
• オランダ語の吹き替えは子ども向けTVでしか見たことがないが、オランダ語モデルには改善が必要だという意見がある。特に台湾のドキュメンタリーの吹き替えは理解しづらかったという。なぜオランダ語が含まれているのか疑問を呈し、オランダ語話者の多くはたいてい英語を理解すると述べている。
• ギリシャのように映画やテレビ番組が吹き替えされない国が多く、視覚障害や加齢による視力の問題がある人々は、英語が得意でなければ現地制作の映画や番組しか見られないという問題を指摘している。こうした問題を解決できるプロジェクトだと評価している。
• オーディオのタイミング方式が巧妙だと称賛し、どのモデルを使っているのかという質問がある。
• ドイツ語コンテンツを見ながら、英語字幕がAIによって生成されたものなのか気になったことがある、という意見がある。字幕がドイツ語そのものより混乱して感じられることがあり、文脈の手がかりなどを使う実際の翻訳者ではなく、自動生成されたもののように見えるという。