生成AIグラビアをグラビアカメラマンが作るとどうなる？第21回

現役グラビアカメラマンでありエンジニアでもある西川和久氏による生成AIグラビア連載の第21回は、画像生成モデル Stable Diffusionの最新技術がいち早く試せるインターフェース 『ComfyUI』 の応用編。 生成AIグラビア写真集 写真や線画をもとに構図やポーズを指定できる『ControlNet』の具体的な使い方を解説してゆきます。

ComfyUIでControlNet (Canny / OpenPose / Depth)を使うには？

ComfyUIでControlNet(Canny/OpenPose/Depth)を使うにはWorkflow以前に各ModelとPreprocessor、そしてカスタムNodeを用意する必要がある。 まずModelは以下からダウンロードする。SD 1.5用とSDXL用とファイルが違うので要注意！ダウンロードしたModelは[ComfyUIのホームフォルダ]/models/controlnet へ入れる。 ただし、SD 1.5用のModelは、diffusion_pytorch_modelと同じファイル名になっているため、control_v11p_sd15_canny、control_v11p_sd15_openpose、control_v11f1p_sd15_depth(など)へリネームする。 ・SD1.5 Canny ・SD1.5 OpenPose ・SD1.5 Depth ・SDXL Canny ・SDXL OpenPose ・SDXL Depth 次にPreprocessorは、カスタムNodeの ComfyUI's ControlNet Auxiliary Preprocessors に入っているので、ComfyUI Manager > Install Custom Nodesで検索してインストール。これで準備完了だ。

ControlNet / Canny

今回はせっかくなので前回ご紹介した。ComflowySpaceを使ってみたい。画面キャプチャからも分かるように、macOS(MacBook Pro 14/M1 Pro/16GB/512GB)上で使用し、Modelは速度的にストレスにならないよう、Detail Asian Realistic v6.0-LCMをSampler: LCM, Scheduler: sgm_uniform, Steps: 6, CFG: 2 で生成。512x512なら9秒と実用範囲に収まっている。 Cannyに関してはWorkflowがTemplatesにあり、それをそのまま使う。設定するのはCheckpointとControl_net_name(control_v11p_sd15_canny)、そしてKSamplerのsteps、cfg、sampler_name、schedulerとなる。 普通の画像生成WorkflowとControlNetを使う時の違いは、PromptのCONDITIONIGからKSamplerのpositiveへ行かず、ControlNetApply(Positive)のconditioningへ入り、CONDITIONIGからKSamplerのpositiveへ繋がっていることだ。加えてControlNetApply(Positive)にはPreprocessor後の画像とControlNetのModelも接続されている。 LoRAはCheckpoint Loader / MODELとKSampler / modelの間に入ったが、ControlNetは、PromptのCONDITIONIGとKSamplerのpositiveの間に入ると言うわけだ。つまり前者はModelの拡張、後者はPromptの拡張…と言う位置付けとなる。 これさえ理解してしまえば、OpenPoseもDepthも基本同じ。LoadするModelとPreprocessorのNodeが違うだけとなる。