軽量にもかかわらず強力と噂の「imp-v1-3b」で写真の説明をしてらう(残念ながら英語です)

huggingface.co 用意した画像ぱくたそからこちらの画像を使わせて頂きました。 www.pakutaso.com 結果「Describe the person in the image」(画像の人物を説明して下さい)と投げかけた時の答えです。 The person in the image is a young woman wearing a …

リクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使って日本語で画像検索をする

前回に引き続きリクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使っていきます。 touch-sp.hatenablog.com 今回は日本語での画像検索に挑戦しました。 1年以上前にOpenAIのCLIPを使って同じことをした経験があります。 touch-sp.hatenablo…

リクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使って日本語でゼロショット画像分類を行う

1年以上前にOpenAIのCLIPを使ってゼロショット画像分類に挑戦した経験があります。 touch-sp.hatenablog.com 今回リクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使って日本語でゼロショット画像分類に挑戦しました。 huggingface.co 用意…

【Image2Video】【Diffusers】PIA(Personalized Image Animator)+ FreeInit で動画を作成

はじめにDiffusersからPIA(Personalized Image Animator)とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…

【Diffusers】multiple IP-Adapters で遊んでみた

はじめに1枚の顔写真からアニメ風画像を作成することが目的です。前回PhotoMakerというものを使って同様のことをしました。 touch-sp.hatenablog.com 今回はmultiple IP-Adaptersを使ってみました。結果左の画像から右の画像を作成しました。よーく見ると、…

PhotoMaker と modernDisneyXL で遊んでみた

目的1枚の顔写真からディズニー風画像を作成することが目的です。結果ただのImage2imageではないです。左の画像から右の画像を作成しました。よーく見ると、なんとなく特徴を捉えているような気もします。 どうでしょう? Pythonスクリプト import torch fro…

【Face LoRA(顔LoRA)】LoRAにPivotal Tuningを組み合わせて特定の顔を学習させてみました。

結果 学習に使用した画像の一部を下に載せておきます。 この人物を再現しようとしたのが上記画像です。 再現できていると言えるでしょうか? はじめにLoRA自体は以前からある手法です。それにPivotal Tuningを組み合わせる方法が公開されたのはごく最近です…

IP-Adapter-FaceID-PlusV2 で同一人物の写真が何枚も作れるのでLoRA学習用データをつくってみました。

はじめに「IP-Adapter-FaceID-PlusV2」を使うと1枚の顔写真からその人物の写真を何枚も作成することが可能になります。 touch-sp.hatenablog.com 現時点での弱点と思われるのは使える画像が一枚ということです。そのためか顔の再現性は完璧ではありません。 …

【Video2Video】Diffusers で AnimateDiffVideoToVideoPipeline というのが公開されていたので AnimateDiff v2 と v3 で実行してみました。

PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…

【InstantID】IP-Adapter と ControlNet を使った顔写真のスタイル変換

github.com 目的一枚の顔写真に対してスタイル変換を行います。実行準備モデルはGitHubリポジトリに記載されている通りにダウンロードしました。こちらから「pipeline_stable_diffusion_xl_instantid.py」をダウンロードしました。実行「run.py」は後述する…

IP‐Adapter‐Faceについての記事をまとめました。

はじめにIP-Adapter-Faceに関する記事を何個か書いたのですが、ばらばらに散らばっているのでまとめました。IP-Adapter-Faceにはこのようなモデルがあります。 「IP-Adapter-Plus-Face」 「IP-Adapter-Full-Face」 「IP-Adapter-FaceID」 「IP-Adapter-FaceI…

【PySide6】ドラッグ&ドロップでファイルやフォルダのアドレスを入力できる QLineEdit (または QTextEdit)を作成しました

たったこれだけです。 class Lineedit_allow_drag(QLineEdit): def __init__(self): super().__init__() self.setDragEnabled(True) def dragEnterEvent(self, e): if(e.mimeData().hasUrls()): e.accept() def dropEvent(self, e): urls = e.mimeData().url…