tts-bench - ローカルでTTSモデルを比較するためのベンチマーク
(github.com/5uck1ess)- ローカルTTSモデル55種を、どのハードウェア上でも3つの観点から比較するオープンソースのベンチマーク
- Speed(速度)/Listen(聴取)/Scores(客観指標) の3つのレンズで構成され、CPU/CUDA/Apple Siliconで測定
- Speedはコールド/ウォーム時の TTFA(最初の音声までの時間)、RTF(リアルタイム比の倍率)、メモリを測定
- Listenはすべてのモデル・プロンプトをデフォルト音声+クローン音声でインライン再生し、耳で直接モデルを選択
- Scoresは UTMOS(自然さ)・WER(明瞭度)・SIM(クローン忠実度)をseed-tts-eval方式で採点
- インストールなしですべてのモデルを試聴できる Demosサイト を提供し、プロンプト別/モデル別に探索可能
- 55種のうち 41種が参照クリップによる音声クローン(voice cloning) に対応し、3種類の参照形式をサポート(wav単体 / wav + 文字起こし / HFゲート付きwav)
- 日本語は全55種がすべて対応しているわけではないが、Supertonic、VoxCPM、OmniVoice など多言語/日本語対応モデルが含まれる
- ただし標準ベンチのプロンプトは英語/フランス語中心のため、日本語品質を確認するには、別途日本語文でListen/compareを実行して耳で確認するほうがよい
- テスト結果では、上記のSupertonic、VoxCPM、OmniVoiceは十分聴ける品質を示した
- クローンA/B投票の上位 — OmniVoice(声色の一致が最上位、ただし単語のつぶれ/欠落の可能性あり)、Echo-TTS(同率1位級、44.1kHz)、IndexTTS-2(3位、イントネーションを維持)
- ベンチマークコードはMITライセンス、各TTSモデルには個別ライセンスが適用される
まだコメントはありません。