合成背景に人が溶け込むよう照明を調節する技術 Googleが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Google Researchが開発した「Total Relighting」は、人物画像を切り抜いて別の背景に置き換えた際、被写体の照明変更を行う深層学習を用いた技術だ。静止画像だけでなく、映像内で動く人物も新しい背景に応じた照明で合成し、違和感のない動画コンテンツに仕上げる。

[chamind]

前からやってます、ってそりゃ手作業ならできるだろうが、それを深層学習使って自動で違和感なくできるようになったのが凄いところなんじゃなくて？

[yomogi]

合成による不自然さを調整してくれる技術。Photoshopに入ってほしい…。

[PeterFukuda]

これ一般の人には未来を感じる技術だけどフォトグラファーとかレタッチャーはずっと前から日々やってます。Photoshopどころか撮影の段階で合成背景を考えてライティングするのはごく当たり前だしね。

[nowww]

この技術が一般化されれば、ますますプロカメラマンの出番が少なくなるよね。ストックフォトで人物と背景を別々に買えばいいのだから。

[spark7]

トーンを合わせるのはともかく、後から自然に影をコントロールできるのがすげえな。光ってる髪がメッシュ扱いになってるのはあれだけど。

[ayumun]

ライティングがイマイチで安っぽく見える本邦のVFXも改善されますかね。いつもいつも南国の真夏かよってくらい白く飛ばしすぎなんだよ。

[rgfx]

光源考えずに揃えちゃったアホ素材を後加工でどうにか出来ちゃうの、Photoshopに入ったら色々捗るやつだよ…。すげえ…。（後はパースさえ合ってりゃ、うん）

[inmysoul]

ドヤ顔で「前から日々やってます」はウケるw 自動運転とかも俺は毎日運転してるとか思っちゃうタイプかな？w

[hiroshe]

写真や動画の証拠能力ってもうほとんどないのかもな。

[repon]

動画でも粛清された同士は「いなかった」ことになるのだなぁ

[UDONCHAN]

すごそう

[mventura]

すごいと思ったが使いどころがあるのか微妙である

[n_mattun]

CGキャラに実物の照明の灯りを落とすという超特殊な仕事の経験がある身として未来を感じるなぁ！イラストでもCGでも実写でも、被写体と背景とでテイストを「馴染ませる」ことは実在感を高める大事な要素なのよね。

[adsty]

よくある切り抜き合成と比べて不自然さが少ない。

[kesyomota]

元写真と比較すると少し精度を疑っちゃうけど、調整後だけ出されたら普通に気付かないな…

[abyssgate]

誰でも使えるようになったら楽になるね

[klaps]

そりゃ前からやってるだろうよw

[hate_nao]

Affinityにも入って欲しい

[mayumayu_nimolove]

フォトショでそういうのできなかったっけ？

[ys0000]

昨日Pythonによるイラスト解析の話を見たときにも思ったけど、ドメイン知識がなさすぎてどういうアプローチで学習させればいいのかピンと来ないのよね。もっと精進せねばなぁ。

[otihateten3510]

ええやん

[narukami]

前からやってるからにはつまり必要な技術

[gazi4]

https://b.hatena.ne.jp/entry/s/www.photo-ac.com/main/genface　←AIで機械学習させてる前提でモデル撮影したのにライティングがムチャクチャだったやつが改善できる

[mounet]

将来的にはアプリのフィルターとして実装されそう。宇宙とか溶岩口とかの危険な背景とセットで。

[htnmiki]

フェイクニュースが捗るな

[Byucky]

すげーな～。アプリの補正間隔で手軽にできるようになるまであと少しという感じだな。いまの段階ですら簡単にワンタッチで存在しない確度から顔にスポットライト当てられるからな

[daybeforeyesterday]

うーむ

[misshiki]

事例“「Total Relighting」は、人物画像を切り抜いて別の背景に置き換えた際、被写体の照明変更を行う深層学習を用いた技術”これは良い活用アイデア。

[uchiten]

大金の注ぎ込まれたハリウッド映画でも微妙なときまだあるもんね。まったく違和感ないことがかなり増えたけど。

[rizenback000]

人間の脳的に考え方はわかるけど、プログラミング技術でできるんだなあ

[greenbow]

微妙に違和感あるけど最後の動画すごい。

[gigausa]

手作業がどんどん自動化されてゆくねぇ。しかし、嘘っこ画像を見分ける目を持たないと将来的に大変そう。様々なものがネッシーになりそう。