Liquid Warping GAN with Attention で、動画の人に合わせて、静止画の人を動かす | cedro-blog
HOMEAI（人工知能）Liquid Warping GAN with Attention で、動画の人に合わせて、静止画の人を動かす 1.はじめに 2018年に、Everybody Dance Now という、ダンスの達人の動画があれば、普通の人が達人と同じ様に踊る動画を生成できるディープラーニング の技術が提案され、ビックリしたことを覚えています。 それから2年が経ち、技術はもう一段レベルアップしました。当時の出力画像はボケボケでしたが、かなりシャープなものに改善されて来ました。今回は、その技術 Liquid Warping GAN with Attention をご紹介します。 ＊この論文は、2020.11に提出されました。 2.Liquid Warping GAN with Attention とは？ Liquid Warping GAN with Attention とは、リファ
メルアイコン変換器を作った話 - Qiita
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 （左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)） 自分もこんな感じのメルアイコンが欲しい！！ということで機械学習でメルアイコン生成器を実装しました！！.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
Taming Transformers for High-Resolution Image Synthesis
Taming Transformers for High-Resolution Image Synthesis (a.k.a #VQGAN) Patrick Esser*, Robin Rombach*, Björn Ommer IWR, Heidelberg University CVPR 2021 (ORAL) TL;DR: We introduce the convolutional VQGAN to combine both the efficiency of convolutional approaches with the expressive power of transformers, and to combine adversarial with likelihood training in a perceptually meaningful way. The VQGAN
GitHub - mchong6/GANsNRoses: Official PyTorch repo for GAN's N' Roses. Diverse im2im and vid2vid selfie to anime translation.
This is the PyTorch implementation of GANs N’ Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!). Abstract: We show how to learn a map that takes a content code, derived from a face image, and a randomly chosen style code to an anime image. We derive an adversarial loss from our simple and effective definitions of style and content. This adversarial loss guaran
GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds
We present GANcraft, an unsupervised neural rendering framework for generating photorealistic images of large 3D block worlds such as those created in Minecraft. Our method takes a semantic block world as input, where each block is assigned a label such as dirt, grass, tree, sand, or water. We represent the world as a continuous volumetric function and train our model to render view-consistent pho
Aydao.AI | Art + Machine Learning
Try out the interactive version: This Anime Does Not Exist (link). A custom variant StyleGAN2 model (512px resolution) trained on Danbooru2019. Notable changes include disabling stylemixing during training, forgoing path length regularization, using 2x feature maps, noconst (from the start), top-k (at convergence), and data augmentation using PALM (hands and figures augmentations), among other twe
数多の画像変換が可能！StyleGANの新たなEncoder！pixel2Style2pixel
3つの要点 ✔️ 現実画像をStyleGANの潜在空間に埋め込むEncoder「pSp」の提案 ✔️ 様々な画像変換タスクに応用可能 ✔️ StyleGANの多様性を利用 Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation written by Elad Richardson, Yuval Alaluf, Or Patashnik, Yotam Nitzan, Yaniv Azar, Stav Shapiro, Daniel Cohen-Or (Submitted on 3 Aug 2020) Comments: Published by arXiv Subjects: Computer Vision and Pattern Recognition (cs.CV) Code はじめに 高品質な画像を生成
他人の化粧を自分に転写できるバーチャルメイク技術「PSGAN」 動画にも対応
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 北京航空航天大学、中国科学院、シンガポール国立大学、シンガポールYITU Technologyによる研究チームが開発した 「PSGAN」は、画像に写る人の顔の化粧を別の画像内の顔へ転写する、深層学習を用いた手法だ。表情やポーズがそれぞれ違っても化粧だけを転写できる。 これまでもメイクアップを異なる画像で転写する研究は行われており成果も出ていたが、ポーズや表情の違いが大きい画像間では依然として困難で、顔の向きが常に変化する動画への転移はさらに難しかった。さらに化粧の濃淡を制御できるようなカスタマイズはできず、転移する部分は指定できないなど、応用範囲は限られていた。 これらの問題を解決するため
FGO StyleGAN: This Heroic Spirit Doesn’t Exist
When I first saw Nvidia’s StyleGAN’s results I felt like it looked like a bunch of black magic. I am not as experienced in the area of GANs as other parts of deep learning, this lack of experience and the thought that I really lacked the GPU firepower to train up my own StyleGAN stopped me from jumping in sooner. For scale, on the StyleGAN github Nvidia lists the GPU specifications, basically sayi
TensorFlow2.0 + 無料のColab TPUでDCGANを実装した - Qiita
TensorFlow2.0とGoogle Colaboratoryの無料TPUを使って、DCGANを実装しました。 訓練経過の様子 pic.twitter.com/2qXowYMk6t — しこあん@『モザイク除去本』好評通販中 (@koshian2) October 21, 2019 何をやったか Google ColabのTPU＋TF2.0でCelebA（約20万枚）をDCGANで生成 TF1.X系のTPUでは、同時に実行可能なグラフは1個の制約があったため、GANの訓練が容易ではなかった（こちらの記事にある通り、不可能であったわけではない。しかし、低レベルAPIが必須で決して容易ではなかった）。TF2.X系のTPUでは、もっと容易にGANを実装できた。 DCGANの論文通りのモデル（パラメーター数：G=12.7M, D=11.0M）で。64x64の画像20万枚を、1エポックを40秒程
世界初！GANのモデルを自動で生成するAutoGAN | AI-SCHOLAR
3つの要点 GANのモデルを自動生成する世界で初めての手法 従来のGANの手法よりも高精度な画像の生成が可能 Multi-Level Architecture Searchやパラメータのリセットを行うことで高速な学習が可能 みなさんはNeural Architecture Search (NAS) という手法をご存知でしょうか？ 普通のDeep Learningでは、モデルの構造は人間が指定し、モデルのパラメータのみを最適化しますが、NASではモデル構造も含めて最適化を行います。そのためより高精度なモデルを生成することが可能ですが、学習時間が大きくなってしまう欠点もあります。 つい1,2年ほど前までは、NASは何十台もGPUを使って何週間もかけて行なっていましたが、最近ではGPU1台で4時間で学習できるNASも登場するなど、注目を集めています。 今回紹介するAutoGANは、このNASの手
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
StyleGAN of All Trades: Image Manipulation with Only Pretrained StyleGAN
GitHub - lucidrains/lightweight-gan: Implementation of 'lightweight' GAN, proposed in ICLR 2021, in Pytorch. High resolution image generations that can be trained within a day or two
GitHub - adjidieng/PresGANs: Prescribed Generative Adversarial Networks
GitHub - t-ae/vgan-s4tf
GitHub - NVlabs/stylegan2: StyleGAN2 - Official TensorFlow Implementation
GANの概要とDCGANのアーキテクチャ／アルゴリズム
Generated Photos | Unique, worry-free model photos
Generative Dog Images
i96_1e-4_6e_4_bs32_195