Unity でリアルタイムにリップシンクを行うプラグインを作り直してみた - 凹みTips

はじめに Unity でリップシンクを行う手段としては、事前にデータを作るものからリアルタイムに解析するものまで色々あります。本ブログでも以前、自分で作ったり Oculus 製のものを解説したりしました。 tips.hecomi.com tips.hecomi.com 前者の記事で自分が 7 年程前に作ったものは様々な依存（外部ライブラリやツールなど）が多く扱いづらいものでした。そこで今回これらの依存を廃してリップシンク単機能に絞り、またもう少しナウい実装にして uLipSync という名前で作り直してみました。 Job と Burst コンパイラを利用して処理を裏に回しつつ高速化 Unity のパッケージ以外の依存を排除 本エントリでは使い方をちょっとした解説を交えて紹介したいと思います。 追記（2021/02/27） 新しいバージョンの説明を書きました。 tips.hecomi.com

[hecomi]

作りました

[kudoku]

最近Vtuber需要なのかこういう技術のシェア多いな

[amagitakayosi]

すごい

[tattyu]

前に凹みさんの記事とかソースを参考にフォルマント解析してみたけど、事前に調整してもあまり上手く行かなかった。単なる距離じゃなくて、ボロノイで領域分割もしてみたがどうもそれも微妙だった。