人物にはそれなりに一貫性が認められますが背景がダメでした。 見続けると酔います（笑）はじめにgithub.com 「Prompt-Free-Diffusion」というのが公開されています。 動画作成に使えるのではないかということでさっそく試してみました。環境 Windows 11 Pyt…

顔は崩れてしまいましたがフレーム間の一貫性が保たれています。 着ている服や靴、背景に注目して下さい。はじめにMasaCtrlに関しては以下を参照して下さい。 touch-sp.hatenablog.com ざっくり言うと一貫性のある画像（例えば同じキャラクターの姿勢違いな…

SadTalkerは一枚の顔写真から任意の音声に合わせた口パク動画を生成することができます。今回は各種設定をいろいろ試してみました。

結果640x640の動画で試しています。何もなし14.3GBのVRAMを使用しています。 main took 1035.0138499736786 secondsenable_sequential_cpu_offload()メモリ消費の削減には最も効果的のように見えますが速度がかなり犠牲になります。14.3→11.6GBに使用量を減…

結果 環境 Ubuntu 20.04 on WSL2 (Windows 11) CUDA 11.6.2 Python 3.8方法VideoTo3dPoseAndBvhYouTube動画からモーションファイル（拡張子:bvh）を作成しました。こちらを使わせて頂きました。 github.com まずはリポジトリをクローンして学習済みパラメー…

結果 元画像こちらの画像を使わせて頂きました。 www.irasutoya.com 前回の記事前回の記事の続きです。画像をいらすとやの女性に変更しただけです。詳しくは前回の記事を見て下さい。 touch-sp.hatenablog.com mask画像と関節の位置を記述したyamlファイルを…

github.com 結果 環境構築 Ubuntu 20.04 on WSL2 (Windows 11) Python 3.9CUDAは必要ありません。 以下をインストールする必要があります。 sudo apt install libosmesa6-dev freeglut3-dev sudo apt install libglfw3-dev libgles2-mesa-dev sudo apt insta…

github.com 結果 画像はぱくたそから使わせて頂きました。 こちらの画像になります。 顔写真1枚しか使っていません。 音声は「ESPnet」で作成したものです。こちらを参照して下さい。 音声ファイルはffmpegを使ってwavファイルからmp3ファイルに変換して使用…

最終更新日：2023年4月21日 PyTorch 2.0 + xFormerの組み合わせで以前よりVRAM使用量がかなり削減されています。 github.com結果元動画 作成動画prompt:「An ostrich walking in the desert, photorealistic, 4k」 PROMPT="An ostrich walking in the desert…

結果 左のポーズ動画から右の動画を作成しました。 ポーズ動画はこちらからダウンロードさせて頂きました。方法GitHubに載せました。よかったら見て下さい。 github.com VRAM使用量chunk_size = 29.0GBの使用でした。 chunk_size = 311.1GBの使用でした。 ch…

前回の続きです。 touch-sp.hatenablog.com 今回は流れるような背景をつけてみました。少し流れ方が速すぎるような気もしますが（笑）。 もっと良い画像が出来たら適宜更新します。方法Step 1：動画を作成する前回通りです。 touch-sp.hatenablog.com Step 2…

はじめにRTX 3080 (VRAM12GB)を使って力任せに動画作成をしてみました。前回使用したText2Video-ZeroにControlNetを組み合わせています。 touch-sp.hatenablog.com あらたにスクリプトを書きました。 こちらです→「canny_video2video.py」結果Anything-v5.0 …

github.com 特徴今わかっている特徴は 簡単に使える いろんなモデルが使える ControlNetが使える 注意点VRAM使用は11～12GBでした。VRAM 12GBのRTX 3080で動作確認しています。さっそく使ってみるsimple Text-To-Video非常に簡潔なスクリプトで実行可能です…

はじめにテキストからショート動画が作れるとのことでさっそく試してみました。 github.com 環境CUDA 11.8とPyTorch 2.0を使うためにWSL2を使用しました。 Ubuntu 22.04 on WSL2 CUDA 11.8.0 WSL2ではOS環境をいくらでも複製できるので新しい環境を試すには…

公開日：2023年2月2日 更新日：2023年2月7日（最新の結果を追加しました）はじめに「Tune-A-Video」というのを使ってショート動画を作りました。 github.com やったこと用意した写真 このようなロボットの写真を数枚用意しました。結果上記のロボットがサー…