画像生成AI「Stable Diffusion」が実はかなり優秀な画像圧縮を実現できることが判明

2022年8月に一般公開されたStable Diffusionは、入力した言葉に従って画像を自動で生成してくれるAIです。そんなStable Diffusionを画像生成AIだけではなく強力な非可逆画像圧縮コーデックとして使う方法について、ソフトウェアエンジニアのマシュー・ビュールマン氏が解説しています。 Stable Diffusion based Image Compression | by Matthias Bühlmann | Sep, 2022 | Medium https://matthias-buehlmann.medium.com/stable-diffusion-based-image-compresssion-6f1f0a399202 実際に以下の画像はすべて512×512ピクセルに圧縮した画像で、サンフランシスコ市街を撮影したもの。1枚目がJPEG形式、2枚目がWeb

[hirolog634]

情報圧縮というよりは、再合成に近いのだと思う。極端に言えば、音楽のMIDIのような感じか？違うか、「分析合成符号化」の方が近い。伝われば良いという考えで、ガラケーや米国軍隊で使われてたような。

[sugawara1991]

ある学習済みデータベースと、それで一意な画像を出力するベクトルを規定できれば、ベクトルを可逆圧縮したものが圧縮済み画像とみなせるか。要は一意な呪文が見つかればソレがそれ

[endo_5501]

“一見画質がキレイであるように見えても、実際はまったく別の画像になってしまっていることもある” そうだろうなあ

[Palantir]

ん？電子すかしを消せるって書いてある？

[kurataikutu]

おもしろい…と同時にちょっと恐ろしいような。記憶補正が高解像度で成されると認知が歪みそう。人間の脳も都合よく省略されて記憶補正されてるから同じようなもんかね

[Shin-JPN]

原理的には「画像データの圧縮伸長」ではなく「低解像度から高解像度画像を推定補完」に近い。情報技術的には邪道だが、人間の眼からするとこちらが正解かもしれない。/偶に「全くの嘘」が混じるあたりが邪道な所以

[maninthemiddle]

監視カメラとかに使うと犯人の顔が捏造されちゃうね

[knok]

大半のDNNは次元圧縮を実質的にやってるからなあ。DNNベースの音声・映像コーデックもいろいろ提案されてるし

[tkysktmt]

非可逆圧縮自体が人間的に不要な情報削っていくスタイルなので、デコーダー側のAIでなんとかさせるみアイデア自体はあった。リアルタイムに生成できるくらい軽ければ使えそう

[Imamura]

非可逆圧縮の新しい方式。これは画像上の文字が別の字に変わったりしそう。iPhoneのカメラが撮影結果を加工しているという話題にもつながる。圧縮にかかる時間も知りたい。画像生成の数十秒と同じくらいかかる?

[konekonekoneko]

現実ぽく見せる技術。膨大な学習から、画像一枚あたり動画の1フレーム分位の情報量で効率的に復元性が生まれそう。思考ロジックがベクターみたいな感じなのかな⁇　文字や顔等、誤魔化せないポイントを学習させよう

[spark7]

「潜在空間表現とは任意のソース画像(3×8または4×8ビットで512×512ピクセル)を低解像度(64×64ピクセル)・高精度(4x32ビット)で表現したものです」

[misshiki]

“Stable Diffusionを画像生成AIだけではなく強力な非可逆画像圧縮コーデックとして使う方法”

[riawiththesam]

我々の肉体も何か思い出すときはこんなもんなんかな

[ShionAmasato]

結局、ちょっと前にtogetterで騒がれた「サムネで見ると良いけど各ピクセル見るとダメダメの写真」と同じでは（情報をAI補完してるという点で）

[shima7]

DLSSで見たやつだ

[pekee-nuee-nuee]

動画ストリームをこういうので補完したら高画質で遅延の少ない配信ができたりせんか

[hunyoki]

AIによってアダルトビデオのモザイクが消される日も近いな

[oumi99]

256色かそれ以下の色しか表示しかできなかった頃の階調表現を思い出させる青空だ

[btei]

デコード時に補完による高ビットレート化することで見た目に影響がある成分まで大きく間引ける

[Hamukoro]

googleフォトの圧縮もそんな感じだったのでは？

[kizimuna06]

画像から呪文を逆コンパイルしたら文字列になるから、呪文を送ってその先で画像生成したら擬似的に送信データ量の圧縮にならんか？もっと言うとAIに読めるハッシュでもいいかも

[koo-sokzeshky]

なるほど、圧縮と呼びたくはないけど、記録性が求められない場面で荒い画像しかないときにめちゃくちゃ助かりそう。というか「それっぽく補完して解像度上げたい」というニーズは前からあったので、ある意味王道か。

[kazuph1986]

これすごいけど、思った通りSDが勝手に補完してしまうケースもあるよね。ただ読みきれてないけど、v1.5になるとそういうことが起こりづらくなる？

[totoronoki]

圧縮率を極端に上げると「いらすとや」の絵になるのでは？

[ikayome]

細部の表現は多分適当なんだろうけど、それっぽい高画質な画像に変換されてて凄い

[onigiri-chan]

科捜研の女がこれ使ってAIの独自解釈で犯人の顔が変わってしまい冤罪を生んだ回

[xx9xx91024]

ちゃんと読んでないけど、直観的には非可逆な圧縮の後コンテンツを再生成しているような気がするので人間の目には良く見えるけど機械的にはイマイチだったりするんじゃないだろうか。拡散モデルの超解像に近いような

[otihateten3510]

問題は処理の重さなきがする。

[vlxst1224]

「圧縮前と別物にはなるが大筋で似たような物でありかつ高画質」なものが欲しい時にはAIに再構築・最適化してもらうのは理に適ってるな。ネットで拾った動画のキャプチャ画像とかを写真に整形するのに使えそうﾑﾌｯ

[kkobayashi]

そういう活用法もあるか

[millfi]

JPEG XLと比較してほしかった

[taruhachi]

面白いし、要素を抽出したものから再現できる精度の高さにもビックリ。人間の記憶も全く同じような感じなのかもしれないと思うとさらに面白い。人間の場合も外部からの刷り込みで偽記憶を埋め込むことできるし。

[shoh8]

おー、元画像の正確性は薄れるけどなんとなくの見栄えとしては適切な画像になるということか。ウォーターマークどうなるんだ、モザイクを手軽にはz

[dalmacija]

8bitパレットでgifっぽいのかな

[unkkk]

この方法では全てを圧縮出来ない気はする