InstructPix2Pixとは
「InstructPix2Pix」とは指示したテキストにしたがって画像を編集する手法のこと。
例として以下の画像に
以下の指示をあたえると
turn him into a cyborg
以下の画像が出力される。
環境
| OS | Windows11 |
|---|---|
| GPU | NVIDIA GeForce RTX 3080Ti |
セットアップ
GPUを使用できるようにする
実行するにはGPUを使用する必要がある為、WindowsでGPUが使用できるようにする。
CUDA+cuDNNをインストールしPyTorchでGPUを認識させるまでの手順(Window11) - テク×てく ブログ
ダウンロード
本家のプロジェクト↓だとVRAM12GBではメモリ不足だった為、
GitHub - timothybrooks/instruct-pix2pix
軽量版↓を使用する。
GitHub - SirBenet/instruct-pix2pix
git clone https://github.com/SirBenet/instruct-pix2pix.git cd instruct-pix2pix
仮想環境作成
conda env create -f environment.yaml conda activate ip2p
チェックポイントをダウンロード
http://instruct-pix2pix.eecs.berkeley.edu/instruct-pix2pix-00-22000.ckpt
↑のリンクから「ckpt」ファイルをダウンロード。
プロジェクトのルートフォルダに「checkpoints」フォルダを作成し、「instruct-pix2pix-00-22000.ckpt」ファイルを設置する。
実行
GUIの起動
python edit_app.py
上記コマンドでGUIが実行できる。
実行したら「http://127.0.0.1:7860」にアクセス。
