Image Captioning

pix2pix-zero(Zero-shot Image-to-Image Translation)は指定した画像に対するpromptを自動で作成します。それってImage Captioningに使えるかも。

はじめに前回pix2pix-zero(Zero-shot Image-to-Image Translation)に関する記事を書きました。 touch-sp.hatenablog.com 画像内のオブジェクトを変換する過程でいったん元画像のpromptを自動生成していることに気が付きました。 pix2pix-zero内部ではBLIP…

「Versatile-Diffusion」でImage Captioningをやってみたけど精度はいまいちだった

はじめに 環境 方法 リポジトリのダウンロード フォルダの作成 学習済みパラメーターのダウンロード 実行 結果 はじめに「Stable Diffusion」などの画像生成AIが最近話題です。これらはテキスト(呪文)から画像を生成します。「Versatile-Diffusion」はその…

いんちき Image Captioning(物体検出モデルと行動認識モデルを組み合わせて画像説明文章を作成する)

はじめに 方法 使用したモデル コード 結果 日本語ファイル 環境 はじめに 以前PyTochrのImage Captioningについて書いた。 今回「いんちきImage Captioning」を作ってみた。 方法 ① Object Detectionモデルで画像内の人物を探す ② 見つかった人物をそれぞれ…

WindowsでPyTorchの「Image Captioning」を試してみる

github.com 環境 PyTorchのインストール コードとモデルのダウンロード コードの書き換え 実行 結果 学習 環境 Windows 10 Pro GPUなし Python 3.6.8(venv使用) PyTorchのインストール 今回は古いPytorchをpipで導入する。 非常に簡単。 pip install http:…