FFmpeg 8.0、Whisperサポートを追加

• FFmpeg 8.0 では、Whisper音声認識モデルのサポートが正式に追加された
• WhisperはOpenAIが開発したオープンソースの音声認識モデルで、さまざまな言語の自動音声変換に使われる
• この機能の導入により、動画および音声処理作業で直接音声からテキストへの変換ワークフローを自動化できる可能性が高まった
• 開発者やメディア自動化分野において、FFmpegの活用性と効率性が大きく強化された
• 最新の音声認識機能を内蔵することで、追加の外部ツールや複雑な統合プロセスの負担を軽減する

---

FFmpeg 8.0のWhisperサポート概要

• FFmpeg 8.0では、Whisper音声認識モデルのサポートを追加することで、さまざまな言語の音声データをテキストへ自動変換する機能を提供する
• WhisperはOpenAIが作成したディープラーニングベースのアルゴリズムを活用し、高精度な音声からテキストへの変換性能を実現する
• 既存のFFmpegユーザーは外部ツールを介さず、内蔵されたWhisperサポート機能によって、動画および音声ファイルから字幕を生成したり音声内容を抽出したりできる利便性を得られる

Whisper統合の主な利点

• Whisperの統合により、FFmpegベースのメディア処理および自動化パイプラインで、効率的かつスケーラブルな音声認識ワークフローを実装できるようになった
• 音声認識アルゴリズムが内蔵されたことで、開発者は複雑な追加連携や別途スクリプトを書く負担なしに、簡単なコマンドだけで音声テキスト変換結果を得られるという利点がある

FFmpegとWhisperの組み合わせが持つ産業的意義

• 大規模なメディア資産管理、字幕生成、映像データのアーカイブ化など、さまざまな分野でFFmpeg + Whisperの組み合わせはコスト効率と自動化を同時に実現できる強みを持つ
• これまでは別個のオープンソース音声認識ツールをFFmpegと連携させる必要があったが、今後はFFmpeg本体で直接処理できるため、ワークフローの簡素化と処理速度の向上が期待できる

技術的な詳細

• FFmpegにはWhisper.cppライブラリをベースとして、FFmpeg内部で直接自動音声認識(ASR) を実行する音声フィルターが追加された
• --enable-whisper オプションで有効化でき、モデルパス(model)の指定は必須
• 主なオプション: 言語設定(language)、GPU使用有無(use_gpu)、キューサイズ(queue)、出力形式(format: text/srt/json)、VAD(音声活動検出)モデルおよびしきい値設定 など
  • queue の値を小さくするとリアルタイム性は高まるが精度が下がりCPU負荷が増加し、大きくすると精度は上がるが遅延が増える
  • destination オプションで出力ファイル・URL・メタデータに結果を保存でき、AVIOプロトコルもサポートする
• 例として、SRT字幕生成、JSON形式でのHTTP送信、マイク入力のリアルタイム文字起こし(VAD使用) のシナリオを含む
  • SRT字幕ファイル生成例

    ffmpeg -i input.mp4 -vn \  
    -af "whisper=model=../whisper.cpp/models/ggml-base.en.bin:language=en:queue=3:destination=output.srt:format=srt" \  
    -f null -