高精度な文字起こしAIでYoutubeの字幕を作ってみた - ニートの言葉

どうもこんにちは、あんどう（@t_andou）です。 今回はOpenAIの高精度な文字起こしAI「whisper」を試してみました。 ただ試すだけでは面白くないのでもう少し実用的なことを…と言うことで、Youtube用の字幕を作ってみました。 実行環境 使用した動画と結果 まずはモデルごとに精度確認 small 処理時間 結果 所感 medium 処理時間 結果 所感 large 処理時間 結果 所感 使用した動画と結果その２ 最後に 実行環境 GoogleColabでGPUはT4でした。 使用した動画と結果 以前、リアルな顔がしゃべるAIを作ったので、その動画を使います。 声もAIによるもののため、僕の耳には聞き取りやすいですが、whisperにとってはどうでしょうか。気になります。 （ちなみに、この動画内で話しているニュースの文章もAIによる生成物です。） www.youtube.co

[takuya0411]

次はYouTube用の字幕ファイルを簡単に作る方法を書きます→書きました　https://blog.takuya-andou.com/entry/youtube_whisper2

[haatenax]

“四季折々状態で運転していたというのですが” 風情

[zakinco]

俺も使ってみたけど商用の物とそう変わらない品質で文字起こししてくれる。固有名詞は苦手なので、動画見ながら直せばいい。かなり労力減るので助かる。

[ysync]

よくわからんけどpixel6で音量最低の次まで下ろすとtensorが音声を全部文字に起こしてくれるけど、それより有用なの？

[napsucks]

人間なら苦も無く聞き取れる内容でもまだまだなんだな・・・。

[awawawann]

メモメモ

[unfini]

i'm

[NAPORIN]

ツイッタースペースとユーチューブのリアタイ字幕がこのラージくらいだといいなぁ

[noir_k]

なんかAIで空耳アワーがつくれる気がしてきた。

[dtldtl]

イチロー「チンポは本当に神」

[tsuboty]

“おはようございます。 朝の核雲ニュースです。” 核戦争中の世界。

[brightsoda]

人望が本当にない

[misshiki]

“固有名詞はやはり苦手”

[blueboy]

　スマホの音声入力も試しておいてくれ。iPhone　と　泥。

[cent16]

最近Teamsで録画すると勝手にトランスクリプションが走って、会議内容が文字起こしされて面白いので眺めてるが、変な空耳の字幕で吹き出してしまいそうなことがあるので見ないようにしている

[tekitou-manga]

ちょっと興味ある

[urtz]

"朝の核雲ニュースです。" キノコ雲か

[yarumato]

“処理時間は流石にかかりますが、動画の時間が55分で、処理時間は20分程度で思ったより早い。精度も気になるところはある。固有名詞はやはり苦手っぽい”