こちらは masawada Advent Calendar 2022 - Adventar 18日目の記事です。 
id:masawada とは私の同僚のことです。
三年前に以下のエントリを masawada Advent Calendar 2019 - Adventar として投稿しました。今回はこちらの続きということで準備しました。
blog.stenyan.jp
早速ですが作ったものは以下の動画になります。序盤はチカチカしているのでご注意ください。なお、低画質なモードだとまともにみれないので720Pの設定みるのがおすすめです。最近話題のAIで無理やりアニメーションさせました。
www.nicovideo.jp
動画をみる余裕がない人向けにGIFも貼っておきます。
やったこと
2019年の続きという感じなので具体的になにをやったのかを改めて紹介します。
- 3D masawadaを MMD に変換 (masawada Advent Calendar 2019)
- MMDモーションをお借りしてマサワダを踊らせる (masawada Advent Calendar 2019)
- 手元に残っていたハッピーシンセサイザの動画素材を連番画像として出力 (今回)
- 1枚ずつ、NovelAIの「画像を与えたらそれをヒントとして画像を生成してくれる機能（image2image）」に与えて、生成してもらう (今回)
- 生成結果の画像約400枚を連番で読み込んで再び動画化 (今回)
地味に時間かかりましたが何かしらはできたので満足しました。
わかったこと
AIのパラメータを調整すれば、どれくらい原型を残すかは調整できるので今回のようにちゃんともとの動画の動きが再現できてるレベルには普通にできそう。そもそも30fpsでやっているので間に外れっぽいフレームが挟まってもトータルでは人間の目が補完してくれていい感じにはなる気もする。
一方で顔はフレームごとに全然違う人になるので安定しない。 japanese man dancing in courtyard of japanese school みたいなpromptでやっていたので、これがHatsune Mikuとかだったら学習データ的に顔はもっと安定していたかもとか、もっとmasawadaの画像がアップだったら安定していたとかがあるかもしれないなと思いました。
