Bardのようなimage2textAIを構築して動画検索システムを作る

Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取

[misshiki]

“複数の画像を認識するAIとChatGPTから動画を検索するシステムを構築する例について紹介”

[yarumato]

“車載撮影動画80TBを検索したい。動画から静止画を取り出し、GPUメモリ8GBのLLMで、画像に説明文付与と物体検出。撮影時のログから平均速度。GPT-3.5に文章化してもらいベクトル化。検索ワードでベクトル近さを計算”

[tomo31415926563]

画像の意味は文字で持つよりCLIP出力のベクトルで持たせた方がよさそうだけど、素人考えかな。

[sys-bio]

コレ、ほんとにメチャクチャ便利で役立ちまくってるのがすごい

[iinalabkojocho]

これすごい。人間だと判断する自転車はどれ？バス？信号？クリアまじか。キャプチャ危うし

[sangotaro]

便利！

[shiotsukakun]

すごい。ぜひ使ってみたい。