はじめに
RIFE は動画のフレーム補間をしてくれるツールです。github.com
動画のFPSを上げたい時にも役に立ちますが、今回は違う使い方を紹介します。
使用例
AIで動画を作成すると１フレームだけおかしくなることがあります。たとえば以下の例では１フレームだけ服の色がおかしくなっています。
こういうことって良くありますよね？
前後のフレームからその間に入るフレームを新たに作ってくれるのが今回紹介するRIFEです。
もともとの真ん中のフレームを削除して、RIFEが新たに作成したものと置換したのが以下です。
この作業は手作業になりますがAIが作成した動画を補正する強力なツールとなります。
実行方法
実は非常に簡単で前後のフレームを指定するだけです。python inference_img.py --img 00000034.png 00000036.png --exp 1
34番目のフレームと36番目のフレームを指定して35番目となるフレームを作成しています。
リポジトリをクローンして、学習済みモデルをダウンロードしておく必要があります。
詳細はGitHubを見て下さい。
最終的な結果
補正前の動画とRIFEで補正した動画の比較をGoogle Bloggerに載せておきます。support-touchsp.blogspot.com
PC環境
FFMPEGが必要になります。WindowsにインストールしたくなかったのでWSL2を使用しました。Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10
Python環境構築
1行で済むようにrequirements.txtを作りました。pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/RIFE/requirements.txt
最新のnumpyを使うと「np.float」問題でエラーがでます。
