DCT-Net によるポートレートのスタイル転送 | cedro-blog
1.はじめに 一般的に、StyleGANベースでポートレートのスタイル転送をする場合、顔の位置合わせや領域について制約があります。今回ご紹介する DCT-Net は、これらの制約を解消する技術です。 ＊この論文は、2022.7に提出されました。 2.DCT-Netとは？ 下図が、DCT-Net の概要図です。 まず、上段の Content Calibration Network を作成します。ベクトル zを入力として実写 Xs を生成する StyleGAN ネットワーク Gs と、これを Transfer learning してベクトル z を入力するとスタイル転送画像 Xt を生成するネットワークGtを組み合わせます。これによって、ベクトル z を入力すると実写 Xs とそれに対応するスタイル転送画像 Xt を生成するネットワークが出来ます。 次に、この Content Calibrat
CodeFormerで、低画質の顔画像を高画質化する
1.はじめに 今回ご紹介するのは、Transfomer ベースの予測ネットワークを使うことによって、低画質の顔画像を高画質化する CodeFormer という技術です。 ＊この論文は、2022.6に提出されました。 2.CodeFomerとは？ 下記は、CodeFormerの概要図で、２段階で学習を行います。まず、（a）自己再構成学習を行います。高画質画像（Ih）から高画質エンコーダー（HQ Encoder）を通して画像特徴量（Zh）を抽出し、ニアレストネイバー法（Nearest-Neighbor Matching）で離散コードブック（Codebook C）にマッピングし、デコーダー（HQ Decoder）で高画質画像に戻すことを学習します。ここで学習した離散コードブック以降は次で使用します。 次に、（b）最終的なネットワークの学習を行います。低画質画像（IL）から低画質エンコーダー（LQ
Liquid Warping GAN with Attention で、動画の人に合わせて、静止画の人を動かす | cedro-blog
HOMEAI（人工知能）Liquid Warping GAN with Attention で、動画の人に合わせて、静止画の人を動かす 1.はじめに 2018年に、Everybody Dance Now という、ダンスの達人の動画があれば、普通の人が達人と同じ様に踊る動画を生成できるディープラーニング の技術が提案され、ビックリしたことを覚えています。 それから2年が経ち、技術はもう一段レベルアップしました。当時の出力画像はボケボケでしたが、かなりシャープなものに改善されて来ました。今回は、その技術 Liquid Warping GAN with Attention をご紹介します。 ＊この論文は、2020.11に提出されました。 2.Liquid Warping GAN with Attention とは？ Liquid Warping GAN with Attention とは、リファ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
