【AI動画生成】Sora 要素技術解説

もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと

[augsUK]

Transoformer以降は新規アルゴリズムの工夫とかではなく物量に任せる話ばかりだけど、それで得られる結果の質はこれまでと根本的にレベルが違うものばかり。大学の研究界隈も全くついていけてないよ。

[mr_mayama]

“Scalable diffusion models with transformers”これがキモよな〜。ローカルでは無理そう

[naka_dekoboko]

AIは画像１枚ごとの一貫性を保持できないなぁ　そうだ、じゃあ時空間を１つ生成すればいいんだ。で行けるのスゴすぎ

[udofukui]

一枚一枚画像出力するんじゃなくて、時間軸ごと丸々生成してるの凄すぎてウケるな笑/次元超えちゃった感というか、なんていうか神になった気分になれるっていうか。

[Hondara6]

こうやって解説しても合成だのコラージュだの言い出す反AIは人間の失敗作

[masadream]

良記事。「時空潜在パッチにノイズをかけ、Diffusion Transofomerで一気に学習することで、画像を生成するように一括で動画を生成…ここが一番既存の動画生成モデルと異なる部分だと思います」

[misshiki]

“論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。”

[stealthinu]

Soraも時空間一括で生成している。Googleとの違いはなにがメインなのか。データセットの品質？

[cateiru]

時空間を一つ生成する。なるほどなーー

[qpci32siekqd]

元レポートに『モデルと実装の詳細はこのレポートには含まれていません』とあるように公開しているのは差別化要因じゃないんだろう。載っている内容だけで実装すると計算機回す金だけ溶かして品質は出ないのだろう

[auto_chan]

巨大粒子加速器でもエネルギー不足なように生成理論を実装する計算資源が人類の限界を超えつつある。性癖ﾌﾟﾛﾝﾌﾟﾄから生成されたﾄﾞｽｹﾍﾞVR空間へのﾌﾙﾁﾝｺﾀﾞｲﾌﾞは夢のまた夢なのか！！！

[kompiro]

AIが動画を生み出すためのエネルギーと人が動画を創作するためのエネルギー。そういった面でも効率がいいんだろうか。

[John_Kawanishi]

｢特段新しい技術を使っている訳ではなく今迄有効とされた技術を愚直に積み重ね莫大な資本力と計算力でModelを訓練すれば強いModelが作れるという当たり前の結果｣

[endo_5501]

“時空潜在パッチにノイズをかけ、Diffusion Transofomerで一気に学習することで、画像を生成するように一括で動画を生成しているようです” それで行けるのか...

[mayumayu_nimolove]

あとて

[kenzy_n]

話題のsoraの解説