2024-01-01から1ヶ月間の記事一覧

【Image2Video】【Diffusers】PIA(Personalized Image Animator)+ FreeInit で動画を作成

はじめにDiffusersからPIA(Personalized Image Animator)とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…

【Diffusers】multiple IP-Adapters で遊んでみた

はじめに1枚の顔写真からアニメ風画像を作成することが目的です。前回PhotoMakerというものを使って同様のことをしました。 touch-sp.hatenablog.com 今回はmultiple IP-Adaptersを使ってみました。結果左の画像から右の画像を作成しました。よーく見ると、…

PhotoMaker と modernDisneyXL で遊んでみた

目的1枚の顔写真からディズニー風画像を作成することが目的です。結果ただのImage2imageではないです。左の画像から右の画像を作成しました。よーく見ると、なんとなく特徴を捉えているような気もします。 どうでしょう? Pythonスクリプト import torch fro…

【Face LoRA(顔LoRA)】LoRAにPivotal Tuningを組み合わせて特定の顔を学習させてみました。

結果 学習に使用した画像の一部を下に載せておきます。 この人物を再現しようとしたのが上記画像です。 再現できていると言えるでしょうか? はじめにLoRA自体は以前からある手法です。それにPivotal Tuningを組み合わせる方法が公開されたのはごく最近です…

IP-Adapter-FaceID-PlusV2 で同一人物の写真が何枚も作れるのでLoRA学習用データをつくってみました。

はじめに「IP-Adapter-FaceID-PlusV2」を使うと1枚の顔写真からその人物の写真を何枚も作成することが可能になります。 touch-sp.hatenablog.com 現時点での弱点と思われるのは使える画像が一枚ということです。そのためか顔の再現性は完璧ではありません。 …

【Video2Video】Diffusers で AnimateDiffVideoToVideoPipeline というのが公開されていたので AnimateDiff v2 と v3 で実行してみました。

PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…

【InstantID】IP-Adapter と ControlNet を使った顔写真のスタイル変換

github.com 目的一枚の顔写真に対してスタイル変換を行います。実行準備モデルはGitHubリポジトリに記載されている通りにダウンロードしました。こちらから「pipeline_stable_diffusion_xl_instantid.py」をダウンロードしました。実行「run.py」は後述する…

IP‐Adapter‐Faceについての記事をまとめました。

はじめにIP-Adapter-Faceに関する記事を何個か書いたのですが、ばらばらに散らばっているのでまとめました。IP-Adapter-Faceにはこのようなモデルがあります。 「IP-Adapter-Plus-Face」 「IP-Adapter-Full-Face」 「IP-Adapter-FaceID」 「IP-Adapter-FaceI…

【PySide6】ドラッグ&ドロップでファイルやフォルダのアドレスを入力できる QLineEdit (または QTextEdit)を作成しました

たったこれだけです。 class Lineedit_allow_drag(QLineEdit): def __init__(self): super().__init__() self.setDragEnabled(True) def dragEnterEvent(self, e): if(e.mimeData().hasUrls()): e.accept() def dropEvent(self, e): urls = e.mimeData().url…

【Ubuntu】PySide6を使う

はじめにUbuntu 22.04でPySide6を使おうとするとエラーが出ました。エラー表示 qt.qpa.plugin: From 6.5.0, xcb-cursor0 or libxcb-cursor0 is needed to load the Qt xcb platform plugin. qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in …

Ubuntu 24.04で日本語入力を可能にする方法

はじめに公開前のUbuntu 24.04を導入しました。 touch-sp.hatenablog.com ファイル名やメニューを英語にしたいので言語を英語に設定してインストールしました。 そのままでは日本語入力ができないのですが、以下の設定で入力可能になります。方法「Settings…

【IP-Adapter】SDXL用の IP-Adapter-FaceID-PlusV2 が公開されたので以前のモデルと比較してみました。

はじめについ先日、SDXL用のIP-Adapter-FaceIDを紹介したばかりです。 touch-sp.hatenablog.com にもかかわらず新たにIP-Adapter-FaceID-PlusV2が公開されました。 驚くべき開発スピードです。 さっそく使ってみて以前のモデルと比較してみました。目的1枚の…

【Diffusers】AnimateDiff + FreeInit が Diffusers から使えるようになりました。

はじめに以前「FreeInit」についての記事を書きました。 touch-sp.hatenablog.com Diffusersから使えるようになって環境設定、使い方など非常に簡単になっています。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 …

【PhotoMaker】人物写真をカスタマイズできる PhotoMaker を使ってみました。

github.com はじめに「PhotoMaker」をつかえば色々人物写真をカスタマイズできるようですが、今回は1枚の写真から同一人物の写真を作成してみます。以前「IP-Adapter」を使って同様のことをしています。 touch-sp.hatenablog.com touch-sp.hatenablog.com 用…

Pythonを使って写真に写る顔を切り取る方法(【face-alignment】と【dlib】)

はじめにPythonを使って写真に写る顔を切り取る方法を二つ紹介します。元画像 こちらの画像を使わせて頂きました。【face-alignment】を使う方法結果 PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url ht…

【Diffusers】Diffusers から IP-Adapter FaceID が使えるようになりました。

はじめにタイトルにある通りです。Diffusersから直接使う場合、環境構築が非常に楽になります。「FaceID-Plus」と「FaceID-PlusV2」はまだ使えないようです。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index…

【Diffusers】【Inpaint】StableDiffusionInpaintPipeline と MaskedStableDiffusionImg2ImgPipeline の違いを比較してみました。

はじめにInpaintは画像の一部修正をすることです。Inpaint専用モデルもありますが、今回は通常のText2Imageモデルを使用してInpaintを行います。「yabalMixTrue25D_v5」というモデルを使用しました。使い方が2通りあるので、両方を実行して比較してみました…

【Moore-AnimateAnyone】1枚の画像とポーズ動画から動画を作成する

github.com はじめに本家の「AnimateAnyone」はこちらです。 github.com 本家のサイトではスクリプトや学習済みパラメーターが公開されていません。 今回使用した「Moore-AnimateAnyone」はレポートを参考に作者なりに本家に近づくように作成したモデルのよ…

【IP-Adapter】IP-Adapter と Inpaintモデルを組み合わせれば写真に写る人物の顔を好みの顔に変えられる?

この写真に写る女性の顔をこの顔に変えられるかどうか試してみました。 実行するにあたりこのようなマスク画像を用意しました。 結果Diffusersを使って実行しています。 DiffusersではFaceIDがまだ使えないのでそれ以前のIP-Adapterで試してます。ip-adapter…

【IP-Adapter】SDXL用の IP-Adapter-FaceID が公開されていたのでさっそく使ってみました。

PC環境 Python環境構築 結果 用意した画像 今回作成した画像 Pythonスクリプト 補足1 補足2 補足3 PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.0.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip inst…

Diffusersでは「DPM++2M SDE Karras」がうまく機能していなかったらしい

2024年2月1日追記この問題はDiffusers v0.26.0以降修正されています。はじめにタイトルにある通りです。たしかにノイズが多いなとの印象はありましたが、そんなもんだと思っていました。その都度GFPGANやRefinerを使ってノイズ除去を行ってきました。一時的…

【Video2Video】「Rerender A Video」がDiffusersから使えるようになっていたのでさっそく使ってみました。

はじめに以前「Rerender A Video」の記事を書きました。 touch-sp.hatenablog.com 今回、新たにDiffusersから使えるようになったのでさっそく試してみました。 Video2Videoに関しては「AnimateDiff」と同等、またはそれ以上の結果が得られました。 「Animate…

【Image2Video】PIA(Personalized Image Animator)を使って動画を作成してみました

github.com はじめにPIAはAnimateDiffを使ったImage2Videoです。1枚の画像とプロンプトから動画を作成できます。PC環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築「requirements.txt」を作成したので環境構築は以下の1行です。 pip install -r https:…

開発中のUbuntu 24.04を使用してみた(2024年1月)

はじめにUbuntu 24.04は名前の通り2024年4月に公開予定です。当然まだ開発途中ですが、開発中のものが使用可能なのでさっそく使ってみました。2023年10月にUbuntuに入門したばかりですが・・・。 touch-sp.hatenablog.com 使用する方法はisoファイルをダウン…

【C#】usbipd-winを使ってWSL2にカメラを接続する方法を簡略化する(usbipd-win v4.0.0)

C#

はじめに 完成図 注意点 C#コード はじめにusbipd-winを使ってWSL2にカメラを接続する方法は以下の手順です。 管理者権限でコマンドプロンプトを立ち上げる 「usbipd list」コマンドでカメラのBUSIDを調べる 「usbipd bind -b (busid)」「usbipd attach -b (…

【更新記事】WSL2でWebカメラを使う(usbipd-win v4.0.0)

はじめに過去にもWebカメラを使用する方法を書いています。2年ぶりに更新記事を書きました。 touch-sp.hatenablog.com 環境Windows 11です。使用したカメラはロジクール C922 Pro Stream Webcamです。 PS C:\> wsl -v WSL バージョン: 2.0.9.0 カーネル バー…

【PyGithub】複数のGitHubリポジトリに対して最終更新日を取得する

はじめにAIによる画像生成、動画生成に関するプログラムは日々新しいものが公開されています。それらをフォローするためにGitHubリポジトリを開いて更新をチェックすることがたまにあります。複数のリポジトリをいちいち開くのは面倒くさいので最終更新日を…

【IP-Adapter】IP-Adapter-FaceID-PlusV2 が公開されていたのでさっそく使ってみました。

はじめにIP-Adapterの進化が止まりません。「FaceID」→「FaceID-Plus」→「FaceID-PlusV2」とどんどん進化しています。今回は今現在最新の「FaceID-PlusV2」を使ってみます。目的顔写真1枚からその人物の複数の画像を作成することです。PC環境 Windows 11 CUD…

【Ubuntu】Pythonを使ってシンボリックリンクの作成を簡略化する

はじめにWindowsでシンボリックリンクの作成を簡略化するC#のコードを以前書きました。 touch-sp.hatenablog.com 自分で言うのも何ですが便利に使っています。 Linuxでも同じようなことができないかと考えPythonスクリプトを書きました。Pythonスクリプト im…

【Diffusers】Stable Diffusion XL Long Weighted Prompt Pipelineで clip skip と FreeU が使えるようになったとのことなのでさっそく使ってみました。

はじめに「Long Weighted Prompt Pipeline」はプロンプトの重み付けをする時にA1111のスタイルが使え、かつ長いプロンプトが使用できるようになるパイプラインです。Diffusersではそういった用途にcompelというライブラリを使用するのですが、はっきり言って…