キャラクター画像一枚でVTuberになれるシステムを作ってみた【体も動かせるよ編】

新しいシステムを用いて、人間の動きをアニメキャラクターに反映させる既存のツールを更新しました。更新された機能は以下の動画で確認できます。 またシステムの高速化と軽量化の方法も実験しました。画質の劣化を抑えながら、必要なメモリーを大幅に減らすことができ（パラメータのデータ容量を18倍縮小、必要RAMは3倍縮小）、処理速度も少し上げることが出来ました。 1 はじめに バーチャルＹｏｕＴｕｂｅｒ（ＶＴｕｂｅｒ）になりやすくすることを目標に、私は２０１９年から自由研究をやり続けてきました。 具体的には、アニメキャラクターの顔イラストを一枚受け取り、そのイラストを動かせるニューラルネットワークのシステムを作りました。システムは顔を回転させることと表情を変更させることが出来ますが、様々な問題があります。それらを解決しなければ、システムは実践的なコンテンツ制作ツールになれません。今回の研究目的は以下

[knok]

教師データはMMDのレンダリング結果を使うとのこと。なるほど…

[enkagin]

素敵だ

[sds-page]

個性的なアクセサリーに対応できない問題

[sugyan]

すっご…