[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する

はじめに こんにちは。 前置きが思いつかないので、突然本題に入ります。 Stable Diffusionをはじめとする、Latent Diffusion Model(以下LDM)の追加学習手法は、その登場以来様々なやり方が提案されてきました。 例えば、学習データの表現を語に埋め込み、txt2imgの結果を直感的に操作するTextual Inverisionや、学習データによってDenoising U-Netのパラメータを変換するDNNを挿入するHyperNetworksはその代表的な手法です。 しかし、どの手法にも良い点と悪い点があり、こちらが決定的に良い、ということはなく、追加学習によるアウトカムの良し悪しを決定する最も大事なことは変わりません。 それは、適切な学習データを用意することです。 しかし、適切な学習データとは何か？という話はなかなか簡単に済ませられる話ではなく、モデルやタスク

[misshiki]

“適切な学習データとは何か、ということにまず触れ、1つ簡単に仮説を立てた上で、学習データ候補の画像群の適・不適を選別する定量的な指標を提案。その実装を紹介し、実際に手元の画像群を分析する手順を説明”

[Imamura]

追加学習まわりを学習中…（人間が）