Subs AI - OpenAI Whisperで動画の字幕を自動生成

 (github.com/abdeladim-s)
29 ポイント 投稿者 xguru 2023-08-17 | 5件のコメント | WhatsAppで共有
  • 完全にオフラインで動作する自動字幕生成ツール
  • Linux / Mac / Windows対応
  • さまざまなWhisper実装をサポート: whisper-timestamped, whisper.cpp, faster-whisper, whisperX
  • 字幕の修正機能
  • dl-translate を利用した翻訳機能を提供（Facebook M2Mモデル）
  • Web UI + CLI + Pythonパッケージ
  • CLIによるバッチ処理、Pythonパッケージとして独自スクリプトの開発が可能
  • SubRip(SRT), WebVTT, MicroDVD, MPL2, TMP などの字幕フォーマットをサポート

関連記事

5件のコメント

 
markmc 2023-08-18

同様の機能を持つMac向けアプリもあります。Macの音声出力を取り込んで、テキスト出力やGoogle翻訳/DeepL APIを連携した翻訳ができます。
https://apps.apple.com/us/app/id6450404233
 
xguru 2023-08-18

私もWhisperMateを使ってみましたが、すっきりしていて良かったです。Macではこれが良さそうです。
Windows版もこんなふうにすっきり仕上がるといいですね
 
botplaysdice 2023-08-18

YouTubeで提供される自動生成キャプションは、どのように作られているのでしょうか？ Whisperは本当にすごいです。ChatGPTアプリで感嘆することの一つが、ChatGPTの応答も応答ですが、音声認識入力が本当に素晴らしいことです。使うたびに感心します…
 
jujumilk3 2023-08-17

これと今日上がってきたdeeplまで使えば、ぶるぶる
 
xguru 2023-08-17

WindowsでDockerで実行してみましたが、問題なく動きますね。
モデルごとに切り替えながら認識させることもできて、字幕もきちんと作ってくれます。
英語はとても優秀ですが、日本語は少し誤りがありますね。
翻訳性能はいまひとつなので、英語で作って別の翻訳機を使うほうがよさそうです。