ディープラーニングの力で誰でもゆかりさんの声になれる声変換技術を作ってみた

2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。 手法 音声を直接変換しようとすると、利用者の音声データが必要になってしまいます。そこで、音声を直接変換するのをやめて、①音声を構成する要素である音素と音高に分解し、②音素と音高を目標の声（ゆかりさん）に再合成することを考えました。 ①は、音素の抽出に音声認識とOpenJTalkとJuliusを、音高の抽出にWORLDを用いれば簡単に実現できます。そのため、②さえ実現できれば、利用者の声のデータを用意することなく、誰でもゆかりさんの声に変換すること

[gachapining]

田村ゆかりかと思い込んで、似てないなぁと思って聴き比べてた

[NAT]

音声を直接変換せず、音声を音素と音高に分解し、音素と音高をゆかりさんの声に変換するののディープラーニングを使うのがポイント。似た技術をドワンゴが発表してたのを思い出したが、そのドワンゴの人だった。

[anmin7]

こんなアイコンなので、待ち。

[RabbitBit]

情熱の在りかが、成功の在りか。

[quality1]

会話の録音が証拠として機能しなくなる日も近い

[ai_gaminglife]

田村ゆかりさんの声になりたい（ゆかり違い

[uotocs]

変換にどれくらいかかるんだろう。リアルタイムもいけるのかな？

[otation]

笑い声とかびっくりした時の声が上手く変換できるかどうかだよなあ。その辺クリアできたら生配信でも使えるし

[misshiki]

通常は個々の人の音声を学習する必要があるが、この技術では音高と音素に分割してディープラーニングすることで誰の音声でも変換できる。

[I8D]

すごい！田村ゆかりさんや堀江由衣さんの声ではよ！

[heavenward]

すごい

[knok]

few-shotでこういうのできないかなあ