写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」 武漢大学などが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 武漢大学と湖北工業大学からなる中国の研究チームが開発した「AnimeGAN: A Novel Lightweight GAN for Photo Animation」は、現実世界で撮影した写真をアニメ風の画像に高速変換する技術だ。深層学習を用いた軽量なフレームワークで、宮崎駿監督や新海誠監督の作品のようなアニメ風の高品質画像に仕上げることができる。 高品質なアニメ作品を制作するためには、線や質感、色、影などを入念に考慮する必要があり、制作に手間と時間がかかる。現実世界の写真を自動的に高品質なアニメ画像に変換できる技術があれば、効率化の観点から重要視されるだろう。 今回の手法では、実写からア

[fishma]

画太郎っぽくするのは簡単だよ。写真にコマ足して、誰かが階段から落ちてトラックに轢かれてバラバラ死体になるシーン追加するだけだよ

[Panthera_uncia]

面白いけどぽいかどうかは微妙

[ustam]

漫☆画太郎っぽくしてください。

[behuckleberry02]

実写からの変換が上手になることで逆に従来アニメの「描かれたものは全て意図されたもの」という特性が際立ってみえるのが面白いな。ここから要らないものを消す作業とイチから良い背景描くのとどっちが良いのかね。

[AKIYOSHI]

パプリカだけ見て今敏を分かったつもりになってるんじゃないだろうな？

[flowersroadside]

そこはKonかImabinにして欲しかった

[gorokumi]

Paprikaって米津玄師風味じゃないんだ

[sds-page]

実写を絵画化するスタイル変換は前からあったんで発想と言うよりはアニメっぽくチューニングできてるかって話だろう。正直ロトスコープの域を出てないような　https://qiita.com/hrs1985/items/050acb15ce33675f07ec

[tokidokidj]

なんで今敏だけパプリカ固定なんだよぉお！

[TakamoriTarou]

個人的には、背景で印象的なのは高畑勲監督のほうなんだけど、そっちはやっぱりまだむずいのかなー。竹取や山田君は無理だとしてもおもひでぽろぽろの色使いは再現できないかしら。

[wuzuki]

私が子どもの頃に住んでた代々木の風景を、新海誠加工したいなぁ。

[deep_one]

それっぽく見えるものと見えないものがあるな。

[harumomo2006]

アニメっぽい色使いだなとは思うけどどうだろう

[Baybridge]

ごっつええ感じのコント"兄貴"を思い出すｗ→「もっと〇〇みたいに~！」

[misshiki]

“「AnimeGAN...」は、現実世界で撮影した写真をアニメ風の画像に高速変換する技術だ。深層学習を用いた軽量なフレームワークで、宮崎駿監督や新海誠監督の作品のようなアニメ風の高品質画像に仕上げることができる。”

[maninthemiddle]

Shinkai と Hayao なのに今敏だけPaplikaなのなんで

[pikyuuuuuun]

今敏も今敏って書いてやれよ！

[ysfm]

パプリカってあのパプリカ！？と思ったけどあのパプリカで安心した。Paranoia Agentもいれといてー

[tettekete37564]

正直フォトショフィルターの域も出ていないかと

[kura-2]

つぎはぜひ漫☆画太郎みたいに

[t-tanaka]

新海誠「リテイク」だそうです→ https://twitter.com/shinkaimakoto/status/1293130397312643072

[ntstn]

止め絵じゃなくてキャラと共に背景も一緒に動かしたりするときにはアニメのコスト的に便利そう。

[Shinwiki]

武漢の方に目が行ってしまう

[otihateten3510]

これエフェクトのリバースエンジニアリングだ

[pribetch]

スタジオ美峰みたいに

[yarumato]

“画像から画像へスタイル変換する従来の手法と比べ、アニメに特化しているため、ネットワークパラメーターが少なくて済み、軽量であることが特徴だ。”

[yamadar]

ジブリ映画のモデルになった場所の写真にこのフィルターかけたら面白そう

[uunfo]

もうこういうのは中国の研究者から出る時代なのね

[versatile]

パプリカそんなに知名度あるの。

[securecat]

記事由来の画像は小さいのに、広告は画角幅めいっぱいのでかさで挟まれてくるの本当に鬱陶しいな。そもそもどこから広告領域なのかわかりにくいし。(スマホ表示)

[delphinus35]

冨樫風味を作ってHxH連載再開してほしい……

[Ayrtonism]

実写とアニメとCGの境目が曖昧になったら、そこから面白いものが生まれるのかもな（適当だけど期待はマジ）。

[TERRAZI]

写真が小さいし、動画じゃないからかよくわからなかった。

[vanish_l2]

押尾は？押尾はないの！？

[whirl]

っぽさって何？感

[nice801]

仕事でこういう加工よくするんですけど、建物と影と空は別々で加工して貼り合わせた方がぽくなりますよ

[tikuwa_ore]

アニメの背景っぽさ感が皆無で、何処からどう見ても不自然に加工された写真にしか見えない……と思ったら、他の皆も大体同じ感想でほっとしたｗ

[letsspeak]

写真が小さすぎてみんな精度について話ができない

[daishi_n]

写真加工ではなくモーション加工がリミテッドアニメの本質となぜわからない。次はもう1次元増やしてオブジェクト認識とモーション加工だな。