MonoSDFによる360°パノラマ屋内シーンのテクスチャ付きメッシュ復元 - spacelyのブログ

はじめに スペースリーでインターンをしている大隣嵩です。弊社は空間データ活用プラットフォームとしてパノラマ画像を使った空間の3D化技術に関する研究開発を行っております。 最近では、iPhoneやAndroidで簡単に3Dスキャンができるアプリが登場しています。しかし、アプリを利用した3Dスキャンでは、低テクスチャな領域やスパースに撮影された領域の高精度な3D復元が難しいという課題があります。本記事では、単眼深度推定、法線推定結果をNeural Fieldsの追加の制約として学習させることで、一般的に復元が難しいとされる低テクスチャやスパースな画像群から高精度な3D復元を達成したMonoSDF[1]について紹介します。まずは、MonoSDFの概要を紹介し、その後、実験の結果を報告します。 MonoSDF: Exploring Monocular Geometric Cues for Neur