Googleストリートビューからリアルなバーチャル3Dシーンを自動作成 Googleとトロント大が開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Google Researchとカナダ・トロント大学の研究チームが開発した「Urban Radiance Fields」は、Googleストリートビューなどのスキャンプラットフォームで取得できる情報を基に、複数の視点の画像から合成して作り出す新たな視点画像と3D再構成を自動作成する手法だ。 特定シーンの異なる角度から撮影した複数枚の画像を組み合わせる手法と違い、今回は常に動いているカメラから撮影する、スキャンプラットフォームの取得データ画像を入力に使う。そのため、常に変わるカメラ位置や太陽の位置、画像間の露出の変化、ほとんどの画像に映り込む空の画像の処理、同じ構造物でもカメラごとに色が異

[tokage3]

やばい。メタバースなめてた。これは楽しいかも。

[Nean]

こりゃすごいんぢゃないですか。

[misshiki]

“「Urban Radiance Fields」は、Googleストリートビューなどのスキャンプラットフォームで取得できる情報を基に、複数の視点の画像から合成して作り出す新たな視点画像と3D再構成を自動作成する手法”

[kako-jun]

LiDAR、NeRFなど小文字1つ混じりの略語や、モノクロな雰囲気から、NieRを想像したわ

[Cru]

visual SLAMかと思ったらLiDARとDNNか。GPSとLiDARでground truth参照しながら学習させるdenseなvisual SLAMかなぁ

[MIZ]

てっきりとっくの昔にこういうの完成してると思ってた。自動運転絡みのこともあるし、ストビューのデータを活用した市街地の3D化なんてまっさきにやりそうなものだから。

[Seamless]

LiDAR搭載カメラリグで撮影した異なる視点の複数画像から改良NeRFで3D合成シーンを作成。光沢や透明,照明などを考慮。