誰の声でも100人の声に変えられる声変換システム - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換

[gameshop-aki]

山寺宏一が全部やってるんでしょ知ってる

[wordi]

「おめでとう」を変換して一人エヴァ最終回出来るやん

[asakura-t]

これで『名探偵コナン』の変声機実用化に一歩前進。

[misarine3]

なんでいっぺんに100人が喋るバカコーラスを想像したんだろう

[Vorspiel]

面白い。反面、こういう技術が発展するとディープフェイクの問題が深刻化するんだろうな

[auto_chan]

マグロナ選手が可変ピッチシフト＋地声の発声で頑張っているなか（ https://www.youtube.com/watch?v=tSeD1t5iz-c ）深層学習がゴボーヌキしていくのは「……テクノロジーッッ！！」って気持ちになる。

[vlxst1224]

最終的にはイケボという概念が消失していくんだろうな。いくらいい地声を持っていてもどうせボイチェンでしょってなる。それはそれで寂しい。声「だけ」はいいというのが拙僧のアイデンティティだったのだが

[anmin7]

回答したら「あるあるあるあるー」って観客が言ってくれるクイズ番組再現システムかな？

[natu3kan]

リアルタイム処理を犠牲にしたら結構違和感なくボイチェンって出来るんだな。演技力あるなら、一人の声優で男性から女性までやれるし、機械学習で口調やアクセントを学習させたら、全部サンプリングの時代が来そう。

[ScarecrowBone]

急にボイスチェンジャーの特異点が来た。デモ（https://seiren-voice.dmv.nico/）やってみたけど、完璧すぎる。リアルタイム性は無いそうなので配信Vtuber目的には無理そう。

[quwachy]

id:hkanemat 打ち込みで生演奏の需要がなくなるかと思ったけどそんなことはなかった。ただニュースの読み上げみたいなのはこれで十分だからアナウンサーの仕事はなくなるだろうね。

[richard_raw]

やっぱり名探偵コナンを連想しますよね。

[NAT]

声から声に直接変換しようとすると、変換元の声も学習する必要があるのがネック。そこで、変換元の声から音素と音高を抽出し、深層学習モデルを使って変換先の声に音声合成するという所がポイントらしい。

[avictor]

ボイチェンで変更した声での公衆送信は、同じ声の持ち主からの申し出があった場合は、作成時の善意悪意とわずその人から許諾を得ることを義務化しないといけない。商業利用はほぼ不可能になるが制限が必要と思う。

[nilab]

「Optunaを用いて、GPUを12枚使った実験を3ヶ月（GPU稼働時間は合計約26,000時間）行うことで、満足のいく結果を出すパラメータを見つけました」「学習率、音声長、層の数、チャンネル数、重みの初期化関数など」

[ayumun]

ぼっちでも合唱ができる

[hkanemat]

声優の商売上がったりか？

[MCBYND]

一人で百人の複数アカウントってこと？

[misshiki]

“誰の声でも100人の声に変えられる声変換システム”Seiren Voice（AIボイスチェンジャー）の公式説明。WaveRNN

[FlowerLounge]

イナバ物置CMのアテレコをひとりで出来るね

[srng]

ボイスチェンジャーではなく音声認識→音声生成なので限界はある。大きな演技や歌などは不可能

[rti7743]

誰でもアニメ声を出せるようになったら楽しそう。

[karukaru7]

一首百人

[knok]

画像と比べると音声をクライアントサイドでリアルタイムにやるにはやっぱりまだ重いね…でもすごい

[raebchen]

トーシロなのでトンチンカンなんだが、いまの時代、しゃべったことをリアルタイムに文字にできるんだから、その文字をリアルタイムに合成音声に流して変換する、ってのはダメなのか？😳

[nebos]

おもしろーーい。中年男性だからか中年女性に変えた音声がすごく自然だった。

[yujimi-daifuku-2222]

電脳空間のジェンダーレス化がもう一段階進みそうですね。夢のリアルタイム変換まであと少し。/女性も男性のイケボを自由に楽しめる。良いことづくめですね。

[spark7]

フォルマントいじるよりちょっと自然になったレベルにしか思えない。これ系はみんな一緒に聞こえるな。

[ornith]

さすがに肉声そのままとは言えないものの（だったらすごい）、想像以上に自然な「喋り」のまま変換されててすっげー！！これがリアルタイムでできるようになる日も遠くない……？

[iyochoo]

朗読に使えそう

[maninthemiddle]

技術的には画像にピカソ風とかのスタイル変換してたこの辺りの音声版なのかしら https://qiita.com/ta-ka/items/b59286cdf9b4d9f9ff14

[kamanobe]

コーラスになるのかと思ったら違った。

[mikuti2]

自作でゲーム作る人が簡単にボイスつけやすくなる個人利用と、亡くなった声優の代役とかに使われるかとの商業利用と、詐欺などの犯罪利用が思い浮かんだ。

[nakoton]

声変換ぼく「あっ、あっ」

[binbocchama]

音声の証拠が偽造か否かの問題が深刻になりそうだなぁ。

[sangping]

n=1の街頭インタビューを「市民の声」に変換するニュースやワイドショーの話ではなかった。

[gcyn]

すごいのねえ。

[love0hate]

事前定義の声への変換なのでVとかで使うと同じ声の人問題が発生する(それはそれで面白いかもだが)。バリエーションを増やせば一定解決するが、元の声に合わせた出力声質変化機能みたいなのがあるのが理想かもな。

[sase]

すごそう

[fukken]

下田麻美ならひとりでできる https://www.nicovideo.jp/watch/sm19169170