動画の雑音をほぼ消す技術、米国などのチームが開発 声のみが強調されすぎてアフレコみたいな結果に

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Dolby LaboratoriesとスペインのUniversitat Pompeu Fabraの研究チームが開発した「Universal Speech Enhancement With Score-based Diffusion」は、収録した映像のバックグラウンドノイズ（背景雑音）を強力に除去する技術だ。動画撮影した雑音を消し去り、話す声だけをくっきり残すことができる。強力すぎるため、映像がアフレコを挿入したみたいな仕上がりになってしまう。 実世界で録音した音声には必然的に背景の雑音や残響が含まれ、不快感や明瞭度の妨げになるためノイズ除去が行われる。最近では深層学習の登場によりノイズ除

[junglejungle]

片耳難聴だと、カクテルパーティー効果が効かずに雑踏で聞き取りづらいので、この技術を補聴器に使ってほしい。

[amd64x64]

わー聞きやすい。電話に搭載してください。

[kuroaka1871]

それを雑音と捉えるか、臨場感と捉えるか。

[hapilaki]

その技術も重要だけど、まったく逆の人の声を消す技術の方を開発してくれ。それをノイズキャンセリングイヤホンに導入すれば売れると思うんやけどな。

[greenbow]

古い映画の音声が明瞭すぎて笑ってしまった。これはすごい。

[nakex1]

リアルタイムでできるようになれば自宅からの配信やweb会議に便利そう。聞きやすいし，バックグラウンドの音から家の場所を推定されることも防げる。

[makou]

摩擦音がちゃんと残るんだなあ。比率で見てるんだろうか。

[rgfx]

うわめっちゃ聞きやすい

[gryphon]

国会やデモ現場のヤジや暴言調査に効果あるのでは

[toraha]

リアルタイムを希望されてるから、NVIDIA Broadcast アプリを入れると、通話時に雑音が入らなくなるので、個々人で入れるのを超おススメします。（相手にも入れてもらいたいから布教する）

[Seiji-Amasawa]

“Seamless”

[misshiki]

事例

[knok]

score-based diffusionベースとのこと。となると重そうな気がする

[madooka]

聞き取ろうとするストレスがスッと軽くなって、いつも本当にしんどいんだなと実感。実用化頼む…！

[vanillayeti]

黒澤明の映画で使ってほしい

[iiko_1115]

早くイヤマフとかで実装してくれ…

[sqrt]

声質が結構変わってしまってるように聞こえるけど、実際変わってるのか耳の錯覚なのか分からん

[to4yuki]

そもそも元動画の収録音声が良すぎるので、もっと劣悪な動画に使った効果が見たい。

[yamadar]

krisp使ってるけどこっちも試してみたい

[domimimisoso]

料理番組のイタリア語の意味わからんけど、言葉が明瞭になって一語一語がスッと耳に入ってくる

[harumomo2006]

元々の雑音が聞こえない。もっとザワザワしてる動画で試して欲しい

[electrolite]

おおお、開発者らしきインド系の人の発音も聞きやすくなっている。これはリモート会議でデフォルトにして欲しい。

[hiromo2]

これ、最近あちこちでやってるよね。流行の技術。

[akiat]

動画編集ソフトのPremiere Proとかにもあるけど、声がこもるんだよね。音撮りたいなら、雑音がないところでとるのがいい。

[n-styles]

古い映像にクリアな音声を載せると、映像の世紀みたいなドキュメンタリー番組のナレーションのように聞こえる。

[star_123]

必要な音だけ抽出、未来のTWSに搭載されて欲しい機能

[uva]

すげぇ

[world24]

アメリカの映画も現場撮りのボソボソ台詞になったりして

[Malan]

すごいなあ

[bml]

NFLやMLBなんかは選手以外はぼやけてるような映像あったりするな。肖像権対策っぽいけど街ブラロケに使いたそうな技術だった。

[algot]

ソノシートの音声がHD化できるかも？

[SATTON]

これ歌はどうなるの？アカペラに出来るんかな？

[cpw]

すごいなー。リアルタイムにやってほしい。コールセンターとか嬉しいでしょう

[yoshisp]

“ だが音声強調の観点ではノイズ除去だけが全てではなく、クリッピング、コーデックのアーチファクト、リバーブ、スペクトル操作、過度の圧縮、最適でないイコライゼーション、帯域制限、ラウドネスの不整合など考

[blueboy]

　web会議 では音声が聞き取りにくいのがストレスの元だ、という報道があったばかり。　　　　　　https://pc.watch.impress.co.jp/docs/news/1416760.html

[rissack]

さすがのドルビー。

[gcyn]

わ。これが標準になると勝手に発言内容を入れ替えられても気がつくきっかけを得られづらいままになりやすいかもですね…。

[meganedreamer]

周りの雑音どころか声の反響も消せてて驚いた

[sds-page]

古い映画だと古い時代特有のアレがなくなって残念な感じに。良かれと思って苔を掃除された石像みたいな