自然言語でYouTube動画の中身を検索する

• OpenAIのCLIPニューラルネットワークを使って、動画内の特定の場面を検索

→ "Road Works", "People crossing the street", "Fire truck" のように、動画内の画像を検索

動作方式

1. YouTube動画をダウンロード

2. 各フレームを抽出

3. すべてのフレームをCLIPでエンコード

4. CLIPで自然言語検索をエンコード

5. 自然言語検索で特定のシーンを探す

• Google Colabでノートブックとしてすぐに実行可能

→ https://colab.research.google.com/github/haltakov/…

[xguru]

コメント欄に、同じ開発者が Unsplash の画像検索も CLIP で実装しているものがあるのですが、これもとても便利そうです。

• https://github.com/haltakov/natural-language-image-search

• Google Colab : https://colab.research.google.com/github/haltakov/…

Unsplash にアップロードされた200万枚の写真の中から、欲しい内容の写真を見つけてくれます。

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"