タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

アニメとAIに関するfumikefのブックマーク (1)

  • キャラクター画像をアニメに 中国アリババなど「Animate Anyone」開発 ボーンの動きを反映

    モデルは、Stable Diffusion(SD)のネットワーク設計と事前訓練された重みを継承し、Denoising UNetを複数フレームの入力に対応できるように変更している。 この方法には3つの重要なコンポーネントが組み込まれている。参照画像からキャラクターの外観的特徴をエンコードする「ReferenceNet」。骨格動画からキャラクターの動きを制御するためのモーションデータをエンコードする「Pose Guider」。キャラクターの動きの連続性を確保するための時間的関係を補う「Temporal layer」。 ReferenceNetで抽出した特徴は、Spatial-Attentionを用いてDenoising UNetに統合される。これにより、Denoising UNetはReferenceNetと同じ特徴空間にある関連する特徴を選択的に学習できる。また、CLIP画像エンコーダーを使

    キャラクター画像をアニメに 中国アリババなど「Animate Anyone」開発 ボーンの動きを反映
    fumikef
    fumikef 2023/12/06
    写真ならモデルさんにもう1ポーズ決めて欲しかったけど時間が無くてって時とか、アニメなら公式では取らないポーズを取らせてみたりとかが後からできるんだね。軸を予想してポーズを取るから不自然さも少ないと…。
  • 1