[B! 機械学習][AR] nagggのブックマーク

Fencing tracking and visualization system

ライゾマティクスは、Dentsu Lab Tokyoと共同開発でAR技術を用いてフェンシングの剣先の軌跡を可視化する、「Fencing Visualized Project」の基幹技術「Fencing tracking and visualization system」を開発している。2012年から様々な開発プロセスを経て、現在深層学習を用いることで、マーカレスで剣先を可視化出来る新システムへとアップデートさせた。人間の視覚では追いきれない剣先を検出、リアルタイムでAR合成し即時に軌跡のビジュアライズを行なっている。本ウェブサイトでは、2012年から現在に至るまでの開発プロセスを紹介する。

naggg 2020/11/19

リンク

使徒がそこにいるような、空と調和した巨大ARオブジェが出現　スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発

空と調和したAR表現を実現するには、手前にある物体が背後にあるARオブジェクトを隠して見えないようにするオクルージョン（隠蔽）を正確に行う必要がある。今回の手法では、機械学習のロジスティック回帰モデルを用いて、空のセグメンテーションを計算している。また、空を完全に置き換えるのではなく、リアルとバーチャルのシーンを混合したテクスチャブレンディングを行い、空の質感を維持した表現にしている。例えば、雲の後ろにARオブジェクトを配置する場合、完全に見えなくするのではなく、部分によっては適切な透明度を設定することで物体が雲から薄く透けて見える表現になっている。