「好きなキャラに近い絵をAIが量産」――ある概念を“単語”に圧縮し入力テキストに使える技術

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 イスラエルのTel-Aviv UniversityとNVIDIAの研究チームが開発した「An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion」は、ある概念を新しい単語（論文ではnew pseudo-wordと表現している）に置き換え、その新しい単語を一部に用いた文章を画像生成AIの入力に使用するシステムだ。 指定したキャラクターや物、絵などが持つ概念（形、質感、雰囲気、構成、デザインなど）を単語に圧縮し、入力テキストに活用することでその概念に沿ったさまざまな画像を

[shunkeen]

ファインチューニングの結果を変数に代入する感覚で、コードが書けそうね。Infrastructure as CodeならぬImage as Codeで画像を宣言的に構成管理する時代が来るのかな。そして秘伝のタレを解析することになった後任者の怨嗟が…

[Imamura]

複数の画像に共通する要素を新しい単語として登録して、それを画像生成のプロンプトに使えるという研究。「〜風」を新たに作る感じ?

[misshiki]

“ある概念を新しい単語（論文ではnew pseudo-wordと表現している）に置き換え、その新しい単語を一部に用いた文章を画像生成AIの入力に使用するシステム”

[Seamless]

指定したキャラや物などの概念(形,質感,雰囲気等)を単語(例:S*)に閉じ込め,「ゴッホ風のS*」等のテキスト入力で画像生成する。S*の概念が少しまたは多く残った画像が生成される。

[deep_one]

これを共用のAI上でやって大混乱が起きる（笑）

[ms2sato]

これは興味深い。一貫したキャラクターの出力などはこの感じでやれるようになるのでは？