以前、韓国語のマルチスピーカー関連で質問を投稿したのですが、その後の進捗アップデートです！

これが ASK GN に合っているのかは分からないのですが…！ ただ、ニュースや Show ではなさそうなのでここに投稿します。

以前いただいたご意見をもとに作ってみています。
偶然にも一緒に働いている事業担当の友人にもそういうアイデアがあり、非開発者2人で MVP を作ろうと悪戦苦闘しています。
（Claude Code 5X + API の費用はすべて自腹です… 事業担当の友人は酒と食べ物を提供してくれています…笑）

ドラマ／バラエティ／映画などのコンテンツを前提に作っているので、使えるモデルが限られているんですよね。
それでいろいろ探した末に、Whisper(Open AI API) と Pyannote、Assembly AI を使っています。

pyannote は無料期間が終わってしまって課金が必要なのですが、使用量課金ではなくサブスクリプション（$19/month）なので見送り、
Deepgram Nova-3 でテスト中です。 （会員登録すると $200 もらえます。）

ただし… やはり pyannote を使わないと話者分離が難しく、replicate.com の meronym/speaker-diarization で話者分離を行っています。

最終結果を見ると、それでもだいたい話者分離はできています。
Clova と比較する予定なので、比較結果も共有します！

ここから次の悩みは、

1. 話者分離は音声ベースで進めていますが、ここに顔認識機能を追加すると、より精度が上がるでしょうか？
2. 顔認識に必要なメタデータは、どうやって収集すればよいでしょうか？
3. ドラマ／映画／バラエティなどのコンテンツを前提にするなら、メタデータはどこから得ればよいのでしょうか？ （NAVER、Namuwiki など）
4. メタデータを収集することで、コストや時間に見合うだけ品質は良くなるでしょうか？

もしこのあたりを検討されたことのある先輩方がいらっしゃれば、ぜひ多くのアドバイスをお願いします…!!!

[boradi]

話者分離に関する研究をしたことがあるので、私の知る範囲でお話しすると、

1. はい、精緻になります。ただし技術的な難易度はやや高いと思います。口の形の変化と音声のシンクまでマッチングできるようになるからです。TalkNet-ASD、3D-Speaker-Toolkit など関連オープンソースも多いので、ぜひ参考にしてみてください。また最近では、LLM と組み合わせて画像と動画を一緒に Input として与え、話者分離と字幕生成を同時に行えるようにする SpeakerLM のような研究もあります。
2. これは、投稿者の方がされている事業の文脈をよく知らないので、書かれている情報だけで申し上げると、ドラマや映画、バラエティのようなコンテンツに出てくる顔は、同じ人物でもメイクや状況によって異なる形で抽出されるため、各コンテンツごとに登場人物の顔をすべて切り出し、顔ごとにクラスタリングして、そのコンテンツの出演者と 1:1 でマッチングさせる作業が必要です。これはマルチモーダルモデルでも不可能ではありませんが、精度のためには人によるラベリング作業が必要で、その分コストと時間がかなりかかります。お金を払ってアルバイトを雇う理由でもあります。参考までに、音声だけしかない場合でも、この音声データを事前に切り出して人がラベリングし、埋め込みを作っておくと、話者分離の品質は大きく向上します。
3. こうしたコンテンツの db は tmdb、imdb、kmdb など関連 API が多くあるので、無料でも有料でも、誰でもある程度は取得できます。それを db 化するのは自分でやる必要があるでしょう。クローリングも方法といえば方法です。
4. 何をしようとしているのかは分かりませんが、上で申し上げたことは、言うのは簡単でも、実際に精度を上げるには多くの時間と費用が必要な作業です。私がやっていた研究も、いろいろな理由でかなり長期化しました。8〜90% の精度を作るのは簡単ですが、それは誰にでもできることです。だからこそ、残り 10% のディテールを埋めることが事業化の本質であり、核心的な価値なのでしょう。"品質が良くなるのか"と聞かれれば、当然良くなります。ただ、"コストと時間に見合って"良くなるのかと言われると、それはよく分かりません。申し上げた通り、10% 程度の向上だからです。

いずれにせよ、非開発者の方々がこうした挑戦をされるのはすごいことですし、素敵なことです。うまくいくといいですね。

[somang04]

ありがとうございます！！ やはり自動化には限界があって、タグ付けとマッピングは人の手をかけるのが正しいんですね..

奴隷1をもう1人確保しないといけませんね.. とても助かりました！！

ありがとうございます！！

[hmmhmmhm]

diarization は良い感じではあるのですが、少し物足りない部分もあって、公開されているモデルの中でもっと深く掘り下げようとすると、下のコメントのようにいっそリサーチ領域に入っていく感じがします。

[somang04]

何もわからないまま手探りで進めています..（笑） やはりわからないので、とにかくやってみることになりますね。
下の方がおっしゃるように人手をかける必要があるので、奴隷1号を募集中です..（笑）

[hmmhmmhm]

おお……挑戦されているのが素敵です……私も刺激をもらっていきます！！ ファイト！！！