動画作成をいろいろ試してみたけど顔だけを動かすなら現状 SadTalker がベストだと思います

はじめに

無料でできる動画作成をいろいろ試しましたが顔だけを動かすなら現状 SadTalker がベストだと思います。

AnimateDiffが話題になっていて更新され続けているのでいずれはそちらがベストになるような気もします。

画像を1枚だけ準備する

今回用意した画像が1枚だけです。「hadukiMix v1.0」で作成しました。

一番左の画像です。

そこから「modernDisneyXL_v11」と「osorubeshimerge_v10」のimage2imageで編集して計3枚にしています。




それぞれの画像にSadTalkerを適用させます。

無音のmp3ファイルを作成する

もともとSadTalkerはしゃべっている動画を作成するためのものです。

今回はしゃべらせるのが目的ではなく顔を動かすことを目的としています。

そのため6秒の無音ファイルを作成しました。

ffmpeg -f lavfi -i anullsrc=r=44100:cl=mono -t 6 -c:a libmp3lame out.mp3

「-t」で秒数を指定できます。

SadTalkerの実行

これだけです。

python inference.py \
  --driven_audio out.mp3 \
  --source_image woman.jpg \
  --input_yaw 0 -20 20 0 \
  --input_pitch 0 10 0 \
  --input_roll 0 -20 20 0 \
  --enhancer gfpgan

結果

Google Bloggerに載せいています。
support-touchsp.blogspot.com

関連記事

touch-sp.hatenablog.com
touch-sp.hatenablog.com