おうち３D配信を支えるトラッキングシステムについて｜カバー株式会社 公式note

こんにちは。 カバー株式会社CTO室エンジニアのIです。 今回はタレントさんが普段の配信で使用しているホロライブアプリのトラッキングシステムについて紹介します。 弊社のタレントさんが自宅から３Dモデルを使った配信を行う、通称「おうち３D」では複数のトラッキング方式が複合的に利用されていることにお気づきでしょうか？ カバーのスタジオでは本格的なモーションキャプチャー設備を用いて多自由度かつ精度の高い3D配信が可能ですが、おうち３Dでは自宅でも簡単かつ表情豊かなトラッキングが利用できることを目指しています。 ※おうち３D配信参考リンク 【おうち3D凸待ち】mocopiに敗北したぺこマリ【ホロライブ/宝鐘マリン・兎田ぺこら】 トラッキング入力の種類おうち３Dでは複数のトラッキング入力からさまざまなデータを受け取り、合成した後、タレントの３Dモデルの全身に適用しています。 トラッキング入力の種類に

[evans7]

mocopiをつけて動いてる状態でもフェイストラッキングは使い続けられるの凄いな。/めっちゃ凄い技術の話してもらってるところ悪いけどこの配信こうなったからな？w　https://www.youtube.com/watch?v=NnklxUThWGo

[aionarap]

公開も含め非常に素晴らしい取り組みだと思うのだけど、あの動画にリンク貼っといてあのカオスは言及なしなのか…笑／真面目な話、実環境で起きるトラブルについて解説あると更に示唆に富んだ記事になると思う。

[pekoraaaaa]

ヒメヒナ、ゲーム配信なのにめっちゃ動いててびっくりしたの思い出した

[myrmecoleon]

各種トラッキング・WASD操作も含んだコントロールのブレンドなのね。そう言う意味ではVRChatの操作ともちょっと似てるか。

[pwatermark]

ま、まあ、かなドリルとかの配信はまだまだ黎明期だったし....w

[havanap]

ロボコン有識者からみたUnity3Dトラッキング的な

[hecaton55]

あの凸待ちはおもろかった

[IGA-OS]

こんな複数のもの組み合わさてたのかと感心する

[cubed-l]

まだ完成とは言えないことを前提に(さもなきゃ参考リンクにそれ使わんでしょ)アウトラインを出してくれるの素敵

[puhu208n]

この書き方、産業ロボット系の人材が書いてる? 古臭さと表現すると申し訳ないが、全体的にお堅い香りがする

[tet00]

「WASD歩行モーション」が原始的で面白い

[jazzanova]

このぺこマリ凸待ち、カオスすぎて終始爆笑してた

[anigoka]

一方おめシスはUE5とモコピに切り替えていた

[kemononeko]

例のぺこマリ凸待ち

[kahlua-dane]

いや、すごっ！ vrchatでトラッキングについては悩む事が多いけど、こんな複数組み合わせて配信中の精度のトラッカーを実現してたのか…関心してしまう

[masara092]

落ちが座標バグりまくったやつなの笑う