InstructPix2PixをWindows11で試す

InstructPix2Pixとは

InstructPix2Pix」とは指示したテキストにしたがって画像を編集する手法のこと。

例として以下の画像に

以下の指示をあたえると

turn him into a cyborg

以下の画像が出力される。

環境

OS Windows11
GPU NVIDIA GeForce RTX 3080Ti

セットアップ

GPUを使用できるようにする

実行するにはGPUを使用する必要がある為、WindowsでGPUが使用できるようにする。

CUDA+cuDNNをインストールしPyTorchでGPUを認識させるまでの手順(Window11) - テク×てく ブログ

ダウンロード

本家のプロジェクト↓だとVRAM12GBではメモリ不足だった為、

GitHub - timothybrooks/instruct-pix2pix

軽量版↓を使用する。

GitHub - SirBenet/instruct-pix2pix

git clone https://github.com/SirBenet/instruct-pix2pix.git
cd instruct-pix2pix

仮想環境作成

conda env create -f environment.yaml
conda activate ip2p

チェックポイントをダウンロード

http://instruct-pix2pix.eecs.berkeley.edu/instruct-pix2pix-00-22000.ckpt

↑のリンクから「ckpt」ファイルをダウンロード。

プロジェクトのルートフォルダに「checkpoints」フォルダを作成し、「instruct-pix2pix-00-22000.ckpt」ファイルを設置する。

実行

GUIの起動

python edit_app.py

上記コマンドでGUIが実行できる。

実行したら「http://127.0.0.1:7860」にアクセス。