Stable Diffusionでピースサインのポーズを生成する簡単ステップ

Stable Diffusionでピースサインをする女性を生成したので、やり方を記録として残しておきます。

最終的にうまくいった手順だけ知りたい方は、目次の６番目「CFG scaleを7から10にUP」のセクションから読んでください。

前提条件

今回はchilled_remixというモデルを使用し、モデルは固定したままで望みのポーズを生成できるか確認しました。

最初はシンプルに、txt2imgでプロンプトとネガティブプロンプトを指定しただけの画像です。

プロンプト：best quality,masterpiece,detailed,Japanese girl, bright and smiling,peace sign pose at right hand

ネガティブプロンプト：low quality,sketches

結果は見ての通りで、指の本数が多かったり、奇形が出ています。

次に、画像の品質向上のためEasyNegativeを導入。

プロンプト：best quality,masterpiece,detailed,Japanese girl, bright and smiling,peace sign pose at right hand

ネガティブプロンプト：low quality,sketches,EasyNegative

最初よりは少し良くなったものの、まだピースサインになっておらず、手のひらの崩れも発生しています。

追加のEmbeddingとして手指をきれいに生成できるとされるbad-hands-5も適用。

プロンプト：best quality,masterpiece,detailed,Japanese girl, bright and smiling,peace sign pose at right hand

ネガティブプロンプト：bad-hands-5,bad hands,low quality,sketches,EasyNegative,

先程より指の崩れが酷くなりました。。

この後、プロンプトの順番を変更したり、表現を変えてみたりしたが効果がなく、沼にハマり始めて。。

画像の品質が低いと手指の崩れが発生しやすいとの情報を得て、品質を上げるためHires. fixとRefinerを調整。

プロンプト：best quality,masterpiece,detailed,Japanese girl,peace sign,five fingers, beautiful fingers,beautiful hands

ネガティブプロンプト：EasyNegative,bad hands,low quality,sketches,bad fingers, missing fingers,extra fingers

どんどん完成から遠ざかっていっています。

プロンプトの内容が画像にうまく反映されていないと判断し、CFG scaleをデフォルトの７から１０まで上げました。

プロンプト：best quality,masterpiece,detailed,Japanese girl,peace sign,five fingers,

ネガティブプロンプト：missing fingers,extra fingers,EasyNegative,bad hands,low quality,sketches,bad fingers,

これまでで一番綺麗な？ピースサインができましたが、左手に変なポーズが現れています。

また、頭に猫の耳のような物体も出現。。

この後、CFG scaleの調整はもちろん、プロンプトやネガティブプロンプト、Hires. fix、Refinerなどをイジイジしていましたが、改善せず。

txt2imgのみでの生成を諦めて、最後のまともなピースサインが出た画像をimg2imgに送り、Inpaintで不要な箇所を除去することにしました。

すると何ということでしょうか、左手を消すとそこに気持ち悪い人形のようなものが現れました。

そこで、今度は人物にマスクをし、背景を宿屋にして人形を除去。

マスクのやり方が雑なので細部が良くないですが、なんとかピースサインの女性を生成できました。

まだまだ初心者なので、非効率なことをしているかもしれませんが、望みのポーズを出力できたのでOKとします。