Mozilla Common Voice、コミュニティ主導の音声データセットプラットフォーム

 (commonvoice.mozilla.org)
1 ポイント 投稿者 GN⁺ 2023-12-08 | 1件のコメント | WhatsAppで共有
  • Mozilla Common Voiceは、コミュニティが直接テキスト・音声データセットを作成・共有し、より多くの言語で音声技術を使えるようにする無料のオープンソースプラットフォーム
  • 貢献者は、文の読み上げ、朗読の検証、質問への回答、音声の書き起こし、テキストの追加を通じて、Scripted Speech、Spontaneous Speech、Language Textデータに参加できる
  • プラットフォームは290以上の言語コミュニティを支援し、公開音声データセットは130以上の言語で提供されている
  • データセットはASR、STT、TTSおよびその他のNLP用途に活用可能で、新しいリリースはMozilla Data Collectiveからダウンロードできる
  • Mozilla Data Collectiveの参加者は、コミュニティが作成し利用する500以上のグローバルデータセットにアクセスでき、言語データの確保と共有の中心はそちらへ移っている

Common Voiceが解決しようとしていること

  • Mozilla Common Voice は、コミュニティ主導のデータ生成プラットフォーム
  • 誰でも自分の言語を保存し、再生し、拡張するために、テキストと音声のデータセットを共有・作成・キュレーションできる
  • 目標は、AIが一部の言語でしか機能しない状態を避けるために、人々が必要な言語データセットを自ら作ること
  • Common Voiceは世界中のコミュニティによって運営され、290以上の言語へ拡大中

貢献方法とデータセット活用

  • Scripted Speech

    • ユーザーは文の読み上げによって、自分の言語の音声を公開参加型データセットに提供する
    • 他のユーザーはValidate Readingsで朗読を検証できる

  • Spontaneous Speech

    • ユーザーはプロンプトに答えて、自然で口語的な文脈のデータセットを作る
    • 音声優先の言語に適した形で活用できる
    • Transcribe answersとレビュー機能で書き起こし作業に参加できる

  • Language Text

    • パブリックドメインのプロンプト、文、テキストを作成または共有できる
    • 翻訳、小規模言語モデル、その他の用途に活用できる
    • Mozilla Data Collectiveで新しいリリースが提供され、参加すると500以上のグローバルデータセットにアクセスできる
    • Explore datasetsでは、ASR、STT、TTSやその他のNLP文脈で使われる130以上の言語の公開音声データセットを確認できる
    • パートナー対象は市民社会と研究者、技術企業、慈善団体に分かれる
    • 市民社会と研究者は、影響力のあるデータセットを無料で作成、ホスティング、共有できる
    • 技術企業は、多言語AIエコシステムのためのオープンデータセット作成に投資できる
    • 慈善団体は、地域のイノベーションと開発のためのデータセット作成を支援できる

関連記事

1件のコメント

 
GN⁺ 2023-12-08
Hacker News の意見

  • Firefox の TTSは、手軽に使えるテキスト読み上げシステムを必要とする人にとって重要なプロジェクトです
    ブラウザに組み込まれているので、コンソールで window.speechSynthesis と SpeechSynthesisUtterance を実行すれば、複数の音声サンプルをすぐに聞けます
    ブラウザによってはオフラインで動作することもあり、クラウドベースの TTS を使うこともあります

    • macOS では say "enter text here" で可能で、別の音声を選ぶには say -v Fred "enter text here"、音声一覧は say -v "?" で見られます
      ? が ZSH でグロブとして解釈されないよう、引用符が必要です
      Firefox の TTS が重要だとはいえ、このコメントを見るまで存在すら知りませんでしたし、こうした機能はもっと見つけやすく、よりアクセシブルな API があるべきです
    • speechSynthesis は Firefox だけでなく、主要ブラウザ全般でサポートされているようです: https://developer.mozilla.org/en-US/docs/Web/API/Window/spee...
    • 数日前に Common Voice を使ってみましたが、特定の言語を支援したい人向けのコミュニティページの例がよかったです
      Firefox が非常に速く、戻る価値があると思っていたところで、プライバシー・セキュリティ・独立性を重視する独立系ブラウザが重要だと思うなら、気軽にブラウザを乗り換える人たちも Firefox を試してみる価値があります
      Chrome ベースのブラウザでは同じように動かなかった Firefox 拡張機能をいくつか再び使えるようになり、満足しています
    • デバッグ時に見逃してはいけない重要なメッセージは、stderr に加えて Windows の無料 TTS 音声を PowerShell で実行したり、Chrome から WebSocket で呼び出したりして読み上げさせてみたところ、かなり面白かったです
      選べる音声が増えるのはよいことです
    • これが 独立したライブラリとして切り出されたことがあるのか気になります
      オープンソース TTS の状況はあまりよく見えず、1つの音声に必要なデータは、Whisper のような音声認識システムを学習させるより用意するのが難しそうです

  • Common Voice Androidもおすすめできます: https://github.com/Sav22999/common-voice-android
    プロジェクトに貢献したい人に便利なアプリで、自分が話せる言語で音声を録音したり、他のユーザーの貢献を検証したりできます
    2年ほど前によく貢献していましたが、公式サイトよりずっと使いやすいデザインでした
    公式の Common Voice Matrix チャンネルもあります: https://chat.mozilla.org/#/room/#common-voice:mozilla.org

  • 最近の AI とディープフェイク技術を見ると、こうした場所に「自分の声を寄付」する前に、ある程度の保証が必要です
    このプロジェクトは音声生成ではなく音声認識向けのように見えますが、初見では明確ではありません

    • 「保証」が正確な表現かどうかは分かりませんが、機械学習や生成モデルの周辺では、人々の財産を尊重する姿勢がかなり緩く見えるので、「声を寄付しよう」という表現が引っかかりました
      Mozilla ならおそらく適切な組織でしょうが、主力製品は衰退中で、組織がなくなったらそのデータがどうなるのか分かりません
      衰退しつつある組織は切り売りされがちで、このデータは、はるかに高尚でない目的を持つ多くの企業が関心を持つ知的財産になり得ます
    • どのような保証を見たいのか気になります

  • このような クラウドソーシングによるデータセットや OpenAssistant プロジェクトが作ったデータセットは、裁判所が OpenAI のような企業の行為をフェアユースではないと判断した場合、基盤モデルを作るほぼ唯一の方法になるかもしれません
    そうしたシナリオの可能性が特に低いとも思いません

  • このデータセットは、Whisper や Seamless のような最近の音声モデルが学習したデータより数桁小さく、データがより豊富な自己教師あり学習ではなく教師あり学習向けのものですが、それでも有用かもしれません
    既存モデルを特定の言語でより良いスコアが出るようにファインチューニングするのに使えます

  • Mozilla は以前、関連する音声認識ソフトウェアも持っていて、それを中止したか、別の会社へ移したことがあったような気がします

    • DeepSpeech のことですか？ https://github.com/mozilla/DeepSpeech
    • これはモデル学習用の音声サンプルの公開データセットなので、厳密に言えば音声認識や TTS ソフトウェアではありません

  • 素晴らしいです
    OpenAI に期待していたことの1つは、本当にオープンな組織になることでした
    オープンなデータセット、オープンなコード、オープンなモデル、オープンな評価を期待していましたが、今では企業利益目標に従って動く Microsoft の操り人形になってしまいました
    このようなプロジェクトや HuggingFace は好ましく、HuggingFace が GitHub のように Microsoft に買収されないことを願います

  • それなら、Linux 版 Firefox のリーダーモードにある text2speech はなぜあれほどひどいのか分かりません
    リーダーモード自体は素晴らしいのに、音声品質は Stephen Hawking のテキスト読み上げよりはるかに悪いです

  • 関連する HN 投稿:
    Mozilla Common Voice Adds 16 New Languages and 4,600 New Hours of Speech - https://news.ycombinator.com/item?id=28073016 - 2021年8月、コメント170件
    Firefox Voice - https://news.ycombinator.com/item?id=24096082 - 2020年8月、コメント154件
    Firefox Voice: Browse the web with your voice - https://news.ycombinator.com/item?id=23902560 - 2020年7月、コメント2件
    Mozilla Common Voice Dataset: More data, more languages - https://news.ycombinator.com/item?id=23695377 - 2020年6月、コメント41件
    The Common Voice Project by Mozilla reached its first goal: 1k hours in englisch - https://news.ycombinator.com/item?id=23051756 - 2020年5月、コメント1件
    Common Voice: A Massively-Multilingual Speech Corpus - https://news.ycombinator.com/item?id=21887693 - 2019年12月、コメント9件
    Common Voice – Mozilla's initiative to help teach machines how real people speak - https://news.ycombinator.com/item?id=21268579 - 2019年10月、コメント49件
    Mozilla releases the largest to-date public domain transcribed voice dataset - https://news.ycombinator.com/item?id=19270646 - 2019年2月、コメント61件
    Mozilla Overhauls Speech-To-Text Contribution Interface - https://news.ycombinator.com/item?id=17436958 - 2018年7月、コメント42件
    Initial Release of Mozilla’s Open Source Speech Recognition Model and Voice Data - https://news.ycombinator.com/item?id=15808124 - 2017年11月、コメント88件
    Project Common Voice - https://news.ycombinator.com/item?id=14794654 - 2017年7月、コメント57件
    Mozilla: Project Common Voice - https://news.ycombinator.com/item?id=14786881 - 2017年7月、コメント1件

  • 普段会話するときの声と読み上げる声が違う人がどれくらいいるのか気になる
    学習データのかなりの部分が「台本を読む」音声だとしたら、対話型モデルもきちんと学習できるのだろうか？

    • Mozilla Common Voice チームが開始前にフィードバックを求めていたとき、その問題を提起し、会話音声データを集める別のアプローチを提案したが、採用されなかった
      実際に解きたい問題に合った少量のデータより、多くても粗いデータのほうがよいという信念はかなり広く浸透している