動画内でのGoogle検索
(dev.ctrlx.video)こんにちは
私はPlikという運動記録アプリを開発・運営したことがあり、
現在はLLM、Multimodal、Langchain、特にLLM agentと動画の交点を探ることに強い関心を持っている開発者です。
今回ご紹介するプロジェクトは、アップロードされた動画内で、欲しいシーンや動画クリップをテキストまたは画像で検索できる検索エンジンです。
現在はほとんどの動画を人が扱っていますが、Videoを扱うAPIがあれば、AI agentが直接動画を編集したり抽出したりできるのではないか、という発想から始めたプロジェクトです。
お試しで使っていただけるように、Playground にはランダムなYouTube動画をアップロードしてあります。
使ってみた感想やフィードバックをいただけるととても嬉しいです。
P.S. 直接動画をアップロードしたい場合や、API形式の結果が必要な場合は、いつでもご連絡ください。
3件のコメント
昔から、ホームビデオを管理するプログラムの中には、
動画から複数のシーンを抽出して、従来型の（？）CNNを通じてシーンを分類し、検索できるようにしてくれるものがいくつかありましたが……
これは、そういう方法とは次元が違うくらいうまく動いているようですね。
何回か検索してみると、結果のうち7〜8割くらいは本当に自分が探していたシーンのようです。
たとえば "A scene where something explodes" と検索すると、主にスパイダーマン映画で何かが光るシーンをうまく見つけてくれました。
もちろん、シーンが素早く切り替わるものも爆発として見つけてしまうのですが……それでもとても不思議です。
Netflix のロゴが入った画像をアップすると、Netflix に限らず、企業ロゴのようなものが表示されていれば全部見つけてくれますね。
（それでも韓国語に対応していない点は、少し残念ではあります。）
この機能は画像に対してもうまく動きそうですし、そうなると個人が動画を含めた自分のアルバム全体を
AIで検索できる日もそう遠くないように思います。
あるいはライブ配信や非常に長い動画を編集するときに、動画を全部見なくても
AIを通じてハイライトや本当に必要な部分だけを見つけて持ってこられる、とか……
企業の観点で考えると、YouTubeに自然言語+シーンで検索する機能が入ることもありそうですね。
とにかく、すばらしいプロジェクトを公開してくださってありがとうございます。
今開発されている方向性とは少し違う気もしますが、いつかこうしたプロジェクトがオープンソースとして公開され、Self hostできるようになるといいですね。
こんにちは、kuronekoさん。プロジェクトを楽しくいじっていただけたようで、ありがとうございます。
「個人が動画を含む自分のアルバム全体をAIで検索できる日」
-> アルバムをめくって写真を探していた自分の姿がすぐに思い浮かびますね……
「とても長い動画を編集し、AIを通じてハイライトや必要な部分を見つけて取り出す」
-> その通りです。AIを使って動画制作の限界費用を下げることに関心があります。
詳細な使用後記をこのようにお寄せいただき、改めて本当にありがとうございます。
しっかり読んで、プロジェクトにインスピレーションを与えられる部分を抽出し、引き続き反映していきます。