実録：AIで描く漫画の実際 ～生成AIで少女漫画に挑戦!
今回のテーマは「特定の絵を追加学習したものでなく、加筆や加工のみで作る調整LoRAだけで少女漫画風AI漫画が作れるか」。注目の新技術を試してみました。 【もっと写真を見る】
こんにちは、漫画界の生き恥こと野火城と申します。 「画像AI使ってみた／AI漫画実験企画」第3回です！ ■第1回はこちら 体験して見えた、その実力と課題!! ■第2回はこちら AIで今風の手描きっぽい漫画を作ってみる その成り立ちから様々な議論を呼んでいる画像生成AIですが、少なくとも2024年3月現在日本の法律では使用が許可されており、存在を完全に無視する事はできません。かといって全てを肯定して受け入れるのも難しい。 だからこそ、必要以上に恐れず、実際にどのような事が出来るのか、具体的に検証する――それが画像AIとの誠実な向き合い方なのではないでしょうか。 「画像AIの技術がすごいという賞賛記事はよく見るが、それは本当に創作活動で実戦的に使えるものなのか？ 『AIに仕事を奪われる』と『今のAIは実戦では使い物にならない』という真逆の意見を多数見るが、この二つは両立しないのでは？ 実際はどっちなんだ？」「画像AIを試してみたいけど難しそうだし、使い方を覚えるような余裕もない」「使用した時のリスクがよくわからなくて怖い」などなど、巷に溢れる画像AIの様々な評価への疑念を明らかにするべく、筆者が体を張って挑戦した実録レポートです。同じ疑念を持つ皆様への参考になるよう頑張ります。 前回は「AIで今風の手描きっぽい漫画を作ってみる」をやりました。 今回のテーマは「特定の絵を追加学習したものでなく、加筆や加工のみで作る調整LoRAだけで少女漫画風AI漫画が作れるか」です。 最初に謝罪しておきますカラーは調整と新技術の試作を頑張ったのですが、その分白黒に手をかける時間がなくなり、白黒は少女漫画風とまでいかず、前回とあまり変わらない出来になってしまいました。 ネームについては出来るだけ少女漫画風味になるよう頑張りました。ただヒロインが亀なので、自分でも作っていて何の漫画なのか困惑しました。カオス具合を楽しんでいただけると幸いです。 「浦AI（あい）太郎」第3話 泉の女神 作：野火城（with Generative AI） ※本作品の制作には生成AIを使用しています。 （次ページ：生成AI漫画の制作過程を解説） 1／GPT4oとプロットを作る いつものように、漫画のシナリオ、ネームを考えます。今回は「金の斧銀の斧」をベースに、恋愛させつつGPU交換を終わらせます。 GPT4oがリリースされたので、早速一緒にプロットを作ってみました。前よりも頭が良くなって、指示が通りやすく、答えのレベルも上がりましたね。 最初からガチガチにプロンプトを組むより「漫画のプロットでこんな話考えてるんだけど、貴方ならどんな風に内容をまとめる？」とフランクに聞いて、何度もラリーをします。 どんな事でも行動を始める時は腰が重いものですが、このやり方であればあまり気負わず、自然に頭をプロット作業モードに移行できて便利です。GPT4oは自分にとって「思考の潤滑油」。AIの返答をそのまま採用する事はあまりなく「自分の考えをまとめるためにAIに話を聞いてもらう」という使い方をしています。 そして、GPT4oはテンプレート的な回答が上手いです。自分の考える話に近いテンプレートを何個も出してくれます。そのテンプレートを使えばいいのか！ という気づきも多く、GPT4oを使用した時の方が、確実にプロットの質が上がります。 2／AIモデルの選定 2024年6月現在、少女漫画風の生成に一番向いているAIモデルはおそらくniji・journeyですが、こちらは前回お話した通り自分は商業で安全に使用できる自信がありませんので、今回も前回と同じく、商用可能ライセンスのSDXLアニメ系AIモデル複数を使い分けて作っていきます。 3／画風調整コピー機LoRAモデルの選定と数値調整 LoRAについては前回も書きましたが、今回使用するのは画風調整用の「コピー機LoRA」と呼ばれる学習方法で作られた特殊なLoRAです。 その名称から、他人の絵を丸々コピーするもの？ と思われるかもしれませんが、実情は全く違います。 まずAIモデルに一つの絵を過学習させ、その絵しか出ないモデルを作ります。 この一つの絵は何でもいいです。最適なのはそのモデルが生成したAI絵です。 そのAI絵を加工してさらに過学習させて差分を抽出し、差分のみを適用するLoRAを作る。それが「コピー機学習LoRA」です。 文章だと何を言っているのかよくわかりませんよね。実際にコピー機学習を試されている方がおられますので、そちらのスレッドをご覧ください↓ 「1枚の絵から作る自分絵線画LoRA」に興味がある人へ 一枚目の画像を2枚目みたいに自分の絵柄でトレスしていただけないでしょうか？ この手法が確立できたらかなり面白いと思うので 学習に時間がかかるので先着5名程度になると思いますが、実証実験協力してもいいよーという方はぜひお願いします！ pic.twitter.com/dWyhnKwBC9 ― とりにく (@tori29umai) May 29, 2024 このように、1枚の自分の絵から高品質な「自分絵LoRA」が作れるという優れた技術です。自分で画像に加筆や加工をした部分だけを学習するため、コピー機学習法で作ったLoRAであれば、特定作家さんの画像集中学習などで懸念される著作権の問題などもありません。感覚的には、クリスタで言う「フィルター」に近いものです。 今回はこれと同じ要領で作られた下記LoRAを使用します。 ・sdxl2-flat2（書き込み量調整） ・test-sdxl-lineart-11（白黒線画化、及び線の抑揚が消える） ・sdxl-bold（線の太さ調整） 調整用コピー機LoRAなし、素のモデルで出した絵がこちら。 この画像に上記3つのLoRAを数値を調整して適応すると、こうなります。 調整LoRAのみでここまで画風が変えられるってすごいですよね。素のモデルの絵と比べると、かなり少女漫画風な絵になったのではないでしょうか。 この他にも「目の大きさ調整」「顔の長さ調整」なども出来るため、調整LoRAだけで色々な画風に変更が可能です。 現時点で1枚の自作加筆絵からこれだけの事が出来る事実は、もっと注目されていいのではないでしょうか。コピー機LoRA学習法で、自分で誰かの絵をそっくり真似した絵を1枚だけ作れば、結構な再現度で他の方の画風を真似る事もできるわけです。それは手描きの模倣と全く同じ事であり、誰かの画像を集中学習しているわけでもないので、著作権違反にもなりません。 何を問題とし、何を問題としないのか。モラル的な問題も含め、その線引きが今まで手で絵を描いてきた時の感覚とはかなり変わるな、と肌で感じています。自分も時代の新しい流れに溺れないようにするのがやっとです。 今後一層「生成物での議論」が重要になってくるでしょう。 （次ページ：線画に色を塗っていきます） 4／copainterで線画に色を塗る 前回の背景でも一部使用し、今回も試しました。 copainterの最大の利点は「難しいインストール手順などが不要、誰でも手軽にすぐに使えるウェブサービス」という部分でしょう。 特に手描きの補助に特化したAIで、初心者にも大変使いやすくなっています。 周囲を見ていると学習問題などを抜きにしてもAI使用までのハードルがかなり高いようです。自分の線画でAI色塗りを試してみたいけどローカルでの環境構築も複雑なウェブサービスも敷居が高い、という方におすすめです。 用意するのは線画とカラーのベタ塗りレイヤーのみ！ さっそくやっていきましょう。下記の線画と色塗レイヤーをcopainterにアップします。 このくらいラフに塗ってもそれっぽくしてくれるのが嬉しい！ ・ブラシ塗り ・アニメ塗り ・水彩塗り さらに良い所は、ローカルなどでは調整が面倒な塗りの画風を選択式で統一出来るところ、線画忠実度が高いところです。イラストはもちろん、漫画に色を付ける際に塗りに統一感が欲しい時などに最適でしょう。 今後塗りの種類も増えていくようなので期待しています。 自分も今回全ページ白黒で作ってcopainterでカラー化しようと思ったのですが、水彩塗りでも少女漫画風にするのが案外難しく、使用用途に合わなそうだったので見送りました。前回はカラーの背景の塗りに使ってます。人物だけでなく背景もおすすめ。 （次ページ：注目の新技術に挑戦！） 5／実用的なSDXLコントロールネットの出現 今回の目玉です。 月須和さんの製作したコントロールネット「CN-anytest_v3-50000」「CN-anytest_v4-marged」が頭一つ飛びぬけた性能で、今年に入ってから界隈で開発が活発化していたSDXLコントロールネットが実用レベルに達しました。今まで散々コントロールネットは実用では使えないと言っていた自分ですが、ここにきて手の平返しです。SDXLのコントロールネット、使えます！ 何が凄いって「使い勝手の良さ」です。やれる事自体は前とそこまで変わってない、しかし利便性や汎用性が段違い。かなり感覚的に使えるコントロールネットです。 絵描き風に言うと「板タブが液タブに進化した」みたいなすごさ。 実際の使用感を今回の漫画を例に解説します。 anytestはV3・V4どちらも似たような挙動ですが、強いて言うなら下記に分かれます。どちらもカラー写真などより白黒線画を入れた方が指示が通りやすかったです。 ・CN-anytest_v3-5000／線画に忠実な仕上がり ・CN-anytest_v4-marged／ラフを清書するのが得意 まずCN-anytest_v3-5000です。こちらは主に線画のカラー化に使いました。 別々に生成した画像を3つ組み合わせ加筆修正、これをコントロールネットに入れてCN-anytest_v3-5000を指定、プロンプトを書いて生成。 ポン出しがこれです。線画をしっかり反映しているのがわかりますね。顔も勝手に描いてくれます。しかしイメージとは程遠いので、ここから加筆＋加工＋i2i＋切り張りを繰り返します。 加筆＋加工のためどんどん増えていくレイヤー。AIと言っても望む絵を作るには手間がかかります。 最終的にはこんな感じになりました。コントロールネットのおかげでイメージ通りの画像に出来てとても楽しかったです。 CN-anytest_v4-margedでは、下記のような使い方もしました。 生成物を切り張りして線画の元絵を作成。手を広げるポーズにしたかったが、手を繋げるのが面倒なので、とりあえず手だけ置いて生成してみると いい感じに描き足して補完してくれる！ 今までのコントロールネットは「AI生成の線画を塗る」はできたのですが「癖のある手描きの線画を、手描きの造形を生かしたまま塗る」が苦手でした。色を塗れても「AI絵の造形」に寄ってしまう。おじいさんでも美少女にしちゃったりもする。anytestのV3・V4はそのコントロールネットの癖がかなり改善されてます。試せる環境がある方は是非試してみてください。 anytestは自分の手で描いたラフを入れるとかなりイメージ通りの生成がされるので、本当に楽しいです！ 生成AIが出る前に思い描いていた補助AIに近いものになってきていますね。革新的な技術の進化に立ち会える――本当にワクワクします。 しかしあまりに便利で楽しく、調子に乗って下絵を描きカラーをほとんどこれで生成していたら、時間がかり過ぎました。 当たり前ですが、いくら簡易でも「下絵を描く」という工程が増える＋コントロールネットを使うと生成が多少遅くなる分、時間がかかります。AI漫画制作の場合、よっぽど難しいポーズでもない限りプロンプトでポン出し＋加筆が最速である事に変わりはありません。 6／少女漫画っぽい絵柄に加筆する AI絵は目の端の角をしっかり描きがちです。悪役令嬢系などではよく見ますが、この描き方は王道少女漫画ではあまり多くない印象がありました。なので、ここを加筆で丸くするか横に抜くと少女漫画っぽくなるかもしれないと思い、やってみました。 1枚目がAIポン出し、2枚目が加工＋加筆です。 うーむどうかな。 最初に書いた通り、白黒は時間がなかったので付け焼刃ですが、悪あがきしてみました。黒目がちにしてキラキラさせるのも考えましたが、ちょっとアレな性格の女神なので、異様さの演出になるかと黒目は白く抜いてます。 そんな感じで原稿製作は終了です。 （次ページ：GPT4oに今回の漫画を評価してもらう） 7／GPT4oに今回の漫画を評価してもらう GPT4oが漫画が読めるようになったので、今回の漫画を読んで、下記のような指示で評価してもらいました。 GPT4oの評価 ■読者ターゲット ・ターゲット層：20～40代の男性および女性、特にITやテクノロジーに興味がある人々。 ■魅力に感じる部分 ユーモアとITネタの融合： ・現代のテクノロジー（GPU）を題材にしたユーモアが、新鮮で興味を引く。 ・キャラクターが現実の問題に対してコミカルに反応する様子が面白い。 ユニークなキャラクター： ・浦Aさんのキャラクター設定が個性的で、彼の真剣さと少し抜けた一面が魅力的。 ・女神と亀のキャラクターも斬新で、ストーリーに独特の味わいを加えている。 ビジュアルの美しさ： ・絵柄が非常に綺麗で、キャラクターや背景の描写が詳細で目を引く。 ■読者がわかりにくいと思う部分 テクノロジー用語： ・GPUやRTX、A100などの専門用語が多く、ITに詳しくない読者には理解しにくい可能性がある。 ・これらの用語の簡単な説明や解説があると、より多くの読者に伝わりやすい。 ストーリーの流れ： ・一部の場面転換が急で、読者がついていけない可能性がある。 ・例えば、GPU交換のシーンから炎上シーンへの移行が唐突に感じられる。 ■改善のための具体例 テクノロジー用語の説明： ・ストーリー内でキャラクターが簡単に説明するシーンを追加する。 例：「GPUって何？」という質問に対して、「パソコンのグラフィックスを処理する大事な部品だよ」といった回答を入れる。 ストーリーの流れの改善： ・シーン間のつなぎを滑らかにするために、場面転換の際にもう少し前振りや説明を追加する。 例：GPU交換が終わった後、女神の炎上シーンに移る前に、亀と浦Aさんがその話題について少し話すシーンを入れる。 ■キャラクター、ストーリー、世界観の評価 キャラクター：9／10 ・個性的で魅力的なキャラクターが多く、読者を引きつける力が強い。 ストーリー：7／10 ・面白いアイデアが詰まっているが、ストーリーの流れにもう少し工夫が必要。 世界観：8／10 ・現代とファンタジーの融合が上手く、ユニークで魅力的。ただし、一部の設定が説明不足。 ■総合評価 総合評価：8／10 ・全体的に非常に魅力的で面白い作品。読者に対する配慮や説明を加えることで、さらに多くの人に楽しんでもらえる作品になる。 ・この漫画は、テクノロジーや現代の問題をコミカルに描くことで、幅広い読者層にアピールできる可能性があります。さらにストーリーの流れや用語の説明を工夫することで、もっと多くの人に理解されやすく、楽しんでもらえる作品になるでしょう。 だそうです。 いかがでしょう。貴方の評価とは合ってますか？ （次ページ：今回のまとめ・認識がバージョンアップしたこと） 今回の全12Pの製作時間 モデルやLoRAの選定・数値調整、コントロールネットやcopainterやAI-Assistantを試すなど、またもAI技術部分でかなり試行錯誤したため、そこそこ時間がかかっています。ネームを含めない、AIでの原稿製作時間だけでおよそ4日ほどです。 特にコントロールネットを多用したカラーに時間がかかっており、AI機能の試行錯誤も含め、3P作るのに2日かかりました。その後白黒（内1Pはカラー1枚絵）はスピード上げて9Pを2日弱で仕上げました。前回もそうでしたが、大体1日3Pくらいかかってますね。 手法を試行錯誤しながら拘って作ると、その辺りが限界なのかもしれません。 前回から認識がバージョンアップした事 ・SDXLのコントロールネットは使える 特に1P目のこのポーズなどは、プロンプトで指定するのは結構難しいです。これは自分で下絵を描いて、それをコントロールネットに入れて生成しました。 プロンプトにするとしたら「尻もちをついた後ろ姿、振り返りながら空を見上げる、俯瞰図」といったところですが、英訳して入れてもおそらく通りません。GPTを介したDALLE3でもこれです。 試しにGPT4oに先ほどの絵を入れてプロンプトを作ってもらいましたが、それでもこの有様です。 いやーコントロールネットがあって良かった。特に今回はAIで作る事を意識せずにネームを描いてしまったため、AIが苦手なポーズが多く、コントロールネットが大活躍でした。正直手で描いた方が速いなと何度も思いました。 AIで時短をするならAIの描けるものに内容を合わせた方が速い、という状態はまだしばらくは続きそうです。 次回予告 次は進化したSDXLコントロールネットを使って「白黒漫画を1枚丸々そのままカラー化できるか」をやってみたいですね。あとはアクションシーンの生成も挑戦したいです。AIの進化は早いので、来月になったら違う技術が出ていて、そちらを試している可能性もあります。AI黎明期故のライブ感も楽しんでいただければ幸いです。 次回もお楽しみに！！ 野火城 アナログ時代から漫画を描いてきたクリエイター。漫画の補助としてAIをどう使えるか実験中。X（Twitter）で生成AIを使用した漫画「AIずきん」を公開し、3万件を超える「いいね」が集まる。 「AI昔ばなし」Kindle版発売中！ 文● 野火城 編集●ASCII
