Colaboratoryで動かすStable Diffusionに「ControlNet」を簡単に導入する方法を説明します。
Stable Diffusionをインストール
まずは新規ノートブックの作成し、ランタイムを起動させます。
以下コマンドで必要なライブラリをインストールします。
!pip install lmdb
!pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 torchtext==0.15.2+cpu torchdata==0.6.1 --index-url https://download.pytorch.org/whl/cu118次にstable diffusionをインストールし、インストールしたディレクトリへと移動します。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webuiこの時点で、モデルやVAEなど必要なものは全部インストールしておきます。
!wget https://civitai.com/api/download/models/95489 -O /content/stable-diffusion-webui/models/Stable-diffusion/AnyLora.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensorsControlNetのインストール
次に、controlnetをインストールするディレクトリへ移動し、インストールを開始します。
%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/Mikubill/sd-webui-controlnetそして、controlnetに関連するファイルをダウンロードするために、所定のディレクトリへ移動し、必要ファイルをダウンロードします。
%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensorsあとは、stable diffusionをインストールしたディレクトリに戻り、ローンチすればOKです。
%cd /content/stable-diffusion-webui
!python launch.py --share --xformers --enable-insecure-extension-accesscontrolnetが正しくインストールされていれば、以下赤枠のようにcontrolnet編集箇所が追加されているでしょう。
今回は、試しにバンザイしている参考画像をもとに、モデルにポーズをさせてみました。
以上です。
お疲れ様でした。
コメント