Stable Diffusionで自分の思い通りの画像を作りたいことありませんか。
Stable Diffusionなどの画像生成AIが作り出す画像はガチャみたいなもので、毎回変わります。そのため、こんなキャラクターやデザインの画像を決めうちでつくるのは基本不可能です。
好みの顔やポーズだけを画像生成したい時はControllNetのようなツールがありますが、もっと手軽に悩みを解決したい時、便利なのがLoRAです。
LoRAの導入方法を解説します。
LoRA
Low-Rank Adaptationの略です。
既存のモデルに新たな画像を追加学習させることやLoRAで追加学習したファイルを意味します。
LoRAの強みは
- 短時間で準備ができる
- 高価なPCでなくても使える
- LoRAのファイルは軽いので扱いが楽
といった特徴があります。
LoRAファイルはネット上にころがっています。代表的な配布サイトは下記の二つです。
- Civitai
- Hugging Face
イメージのLoRAファイルを見つけたら、ファイルを自分の環境に貼り付けるだけで準備完了です。
LoRAの注意点
Hugging FaceのLoRAには、ライセンスが記載されています。
License例
This model is open access and available to all, with a CreativeML OpenRAIL-M license further specifying rights and usage. The CreativeML OpenRAIL License specifies :
You can’t use the model to deliberately produce nor share illegal or harmful outputs or content
The authors claims no rights on the outputs you generate, you are free to use them and are accountable for their use which must not go against the provisions set in the license
You may re-distribute the weights and use the model commercially and/or as a service. If you do, please be aware you have to include the same use restrictions as the ones in the license and share a copy of the CreativeML OpenRAIL-M to all your users (please read the license entirely and carefully) Please read the full
このモデルはオープン アクセスであり、誰でも利用できます。CreativeML OpenRAIL-M ライセンスでは権利と使用法がさらに規定されています。 CreativeML OpenRAIL ライセンスでは次のように指定されています。このモデルを使用して、違法または有害な出力やコンテンツを意図的に作成したり共有したりすることはできません。 作者は、あなたが生成した出力に対する権利を主張しません。あなたはそれらを自由に使用することができ、ライセンスに設定された規定に反してはいけないその使用に対して責任を負います。 ウェイトを再配布し、モデルを商用および/またはサービスとして使用することができます。その場合は、ライセンスに記載されているのと同じ使用制限を含め、CreativeML OpenRAIL-M のコピーをすべてのユーザーに共有する必要があることに注意してください (ライセンスをすべて注意深く読んでください)。
LoRAは追加学習モデルという性質上、著作物を大量に読み込まざるをえません。
そのため読み込む著作物によっては権利上の問題に触れる場合があります。
ところが、LoRAの中には学習元の画像に著作権や肖像権上の問題を持つ画像が使われているものがあります。
そのためLoRAをもとに生成した画像を公開した場合、思わぬトラブルに巻き込まれるリスクがあります。
利用に関してはリスクがあることを十分理解した上で行いましょう。
特定の作家模倣・又は特定の目的に特化した生成AI一覧 – ai-illust @ ウィキ | 生成AI（generativeAI）による使用例、諸問題のまとめ – atwiki（アットウィキ）
リスクを避けるには、NovelAI – The AI Storytellerなど版権処理が行われている有償サービスを検討しましょう。
Stable Diffusionで使える学習済みのLoRAファイルはデータ共有サイトで公開されています。
おすすめLoRA選は巻末にまとめました。
LoRAファイルの探し方&ダウンロード方法
最強のサイトはCivitaiです。ここではCivitaiからLoRAを使う方法を解説します。
Civitaiはモデルごとに分類されていて、そのモデルを使ってユーザーが生成した作品を見ることができます。
右上の赤枠のフィルタアイコンをクリックします。一覧の中から「LoRA」を選択します。
好みのLoRAがある場合は、検索窓から「JapaneseDollLikeness」などと検索してLoRAファイルを探します。
すると、表示された画像が整理されLoRAファイルのみが表示されます。
一覧の中から好みのものを選びクリックすると詳細が表示されます。
口パク動画用に、正面を向いたバストサイズの画像が作りたかったので、それらしき素材を探しました。
LoRAファイルは個別作品のページの「Type」が「LoRA」になっていることで確認します。
右上の「Download」からダウンロードすることができます。
LoRAファイルは数GB近くあるので、ディスク容量を20GB程度は余裕を見てダウンロードしましょう。
LoRAファイルをStable DiffusionWebUIのディレクトリに配置、使用することで、自分好みの画像を生成することができます。
Loraファイルの中にあるトリガーワードをプロンプトコピペすることでも、生成する画像のイメージをコントロールすることができます。
Stable DiffusionWebUIにLoRAファイルを設定する方法
ダウンロードしたLoRAファイルをStable DiffusionWebUIに適用することで使えるようになります。
設定方法は使用しているStable DiffusionWebUIの環境により異なります。
GoogleColabからStable DiffusionWebUIを起動している場合
Google ColaboratoryでLoRAファイルを追加する場合は
以下のコードをJupiter Notebookのダウンロード処理に追加する
GoogleColabの利用方法は別記事にまとめました。
自分のPCにStable DiffusionWebUIを設定している場合
LoRAのファイルは、Stable DiffusionWebUIインストール先の「 models/Lora/ 」に配置します。
の利用方法は別記事にまとめました。
LoRAファイルを使って画像を生成する
Stable DiffusionWebUIを起動したら、「Generate」ボタンの下の赤枠のアイコンをクリックします。
拡張機能の項目が表示たら花札に似たアイコンの「Lora」タブをクリックします。
Loraタブが開き、使用可能なRoLAファイルが表示されます。
赤枠で囲ったアイコンが、フォルダにペーストしたLoRAファイルです。
いくつもある場合は、一覧から好みRoLAファイルを選択しクリックします。
すると、Stable DiffusionWebUIにLoRAを使用するためのプロンプトが追加されます。
普通のプロンプトをペーストしたLoRAの前後に入力し、続いてネガティブプロンプトを入力します。
ネガティブプロンプトは定番プロンプトというものがあります。いちいち入力するのが面倒という人には、ネガティブプロンプトをひとまとめにしたLoRA「EasyNegative」があるのでダウンロードしておくと便利です。
gsdf/EasyNegative · Datasets at Hugging Face
ネガティブプロンプトにEasyNegativeの重ねがけはさらに効果が強まるのでおすすめです。
「EasyNegative」の使い方！美少女イラストのクオリティを手軽にアップさせよう【Stable Diffusion web UI】 | くろくまそふと
必要に応じてパラメータを設定します。
ステップ数は30、サイズは512を選びます。
Noiseoffsetは0.5から1 数値を上げると画像が崩れやすくなるので注意。
ステップ数や画像のサイズを上げると生成に時間がかかります。
BatchCountは一度に生成する画像数です。
seed値は同じ数値を入力して「Generate」をクリックします。
注意点 RoLAとモデルとは相性があります。実写系のモデルにイラスト系の画像から持ってきたRoLAを当てるなど、異種格闘技的な使い方をすると思うような画像が生成されない場合があります。
生成した画像のタグを[png info]から開くと、生成した画像に埋め込まれたパラメーターが表示されます。
生成した画像に埋め込まれた情報の中には[seed値]と呼ばれる数字があります。
この数字を使うと同じような画像を生成することができます。
よく似た表情の人物画像が欲しい場合はseed値を[seed]欄に貼り付けることで画像生成できます。
より日本人らしい画像を生成する方法
Stable DiffusionWebUIでは、モデルにアジア系の女性を綺麗に描く「BRAV5」や「ChilloutMix」を設定することで日本人を描くことができます。
この状態をベースに、さまざまな日本人をさらに深めたい場合は「LoRA」を重ねがけすることで生成される画像の質が上がります。
お勧めのLoRAは次の三つです。
Korean Doll Likeness
Taiwan Doll Likeness
Japanese Doll Likeness
ダウンロードしたLoRAモデルは、上記で説明した場所（ models/Lora/ など）に保存します。
設定は上記と同じように、LoRAアイコンを表示させて使いたいLoRAをクリックするだけです。
三つともクリックすると、プロンプトに以下の記述が加わります。
<lora:japaneseDollLikeness_v10:1> <lora:koreanDollLikeness_v10:1> <lora:taiwanDollLikeness_v10:1>
それぞれの影響度を変える、つまり印象をブレンドするには「:」より右の数値を数値を「0.0～0.9」まで変えることで調整できます。
ちなみに大きくすると影響度が強くなり、濃い印象の画像になります。
※あまり数値を上げすぎると画像が崩れやすくなるので注意。
プロンプトとネガティブプロンプトの例
(8k RAW photo,best quality, masterpiece:1.2), (realistic,photo-realistic:1.37),omertosa,1girl,city,professional lighting,photo mapping,radiosity,physically-based rendering,blue backlight bokeh,smile,mature,head portrait,sunlight,blone,short jacket,school uniform,hoodie,short hair,floating hair
EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, [1]monochrome, [2]grayscale, skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,strange fingers, bad hand, high heel shoes, fat ass, hole,kid,teen,cute,naked, Ripped jeans, hole jeans, fat thigh,6 fingers, bikini, underwear, nsfw, nude, briefs, knickers, underpants, panties, swim suit,leg open
※ネガティブプロンプトには、EasyNegativeを使用しています。
EasyNegativeを使うにはHugging Faceから『EasyNegative.safetensors』をダウンロードして（ embeddings/ ）に格納します。
ダウンロード（←クリックでEasyNegative.safetensorsのダウンロードが始まります）
保存
完成した画像はpng形式でダウンロードできます。
生成された画像はいったん「save」した上で「ダウンロード」しましょう。
saveをしないと以前ダウンロードした画像が書き換えられずに再びダウンロード連れてしまうので注意しましょう。
画像の見切れを補正する
このLoRAの場合、人物画像が切り取られた状態、いわゆる「見切れた」状態になることが多いようです。
上下左右の空間をもう少し録りたい場合は、生成された画像を素材にして、再度画像生成を繰り返すことで見切れを補正することができます。
生成したばかりの画像の下にあるタブの「Send to img2img（img2imgに転送）」ボタンを押します。
すると画面が切り替わります。
- Pixels to expandを80
- Scriptの下にある枠の内容をPoor man’s outpainting（簡易アウトペインティング）
- Outpainting directionの上と左右のチエックを入れる（下は入れなくてもいい）
などとして[GENERATE]をクリックします。
するとAIが上と左右の余白部分追加する形で画像生成し始めます。
結果このような形で補正された画像ができるので、背景を切り抜いて使うことができます。
おすすめLoRA18選
Stable Diffusionで画像生成する際、まず初めに選ぶのがモデルです。
料理に例えると、焼き飯を作る時、炒飯にするかピラフにするかパエリャにするかはたまたジャンバラヤにするか決めるようなものです。
リアルな人物生成、アニメキャラ風など自分が描きたい画風が決まったら、そのイメージを実現してくれるモデルを選びます。
次に登場するのがLoRAです。LoRAは演出です。料理に例えるなら、激辛にするか醤油味にするかといった調味料のようなものです。
基本、どのモデルにも使えますがモデルによっては相性が合わないものもあるので注意が必要です。
使い方によっては思いもよらない効果があがるので、余裕があればいろいろ試してみるといいでしょう。
brighter-eye2
適用すると、目が光ります。「brighter-eye1」とは光り方が違います。構図への影響を抑えたい場合は、拡張機能の「LoRA Block Weight」を使用して調整してください。
brighter-eye2 – v1.0 | Stable Diffusion LoRA | Civitai
brackboaddrawing
黒板アートを生成します。
[realistic] 黑板绘 blackboard drawing – v1.0 | Stable Diffusion LoRA | Civitai
flat2
適用するとフラットな絵になります。マイナスで適用すると絵の描きこみが増えます、まぁこっちで使う人が大半ですね。「flat1」と比べると、マイナス適用時の絵が明るいです。構図への影響を抑えたい場合は、拡張機能の「LoRA Block Weight」を使用して調整してください。
flat2 – v1.0 | Stable Diffusion LoRA | Civitai
girls in glass bottle
グラスの中の少女を描くLoRAです。 ‘submerged’ を追加することでグラスの中を水で満たすこともできます。
girls in glass bottle/瓶中少女 – v1.0 | Stable Diffusion LoRA | Civitai
Hologram
ホログラム効果を加えることができるLoRAです。
Hologram – v1.0 | Stable Diffusion LoRA | Civitai
Ink scenery | 水墨山水
墨絵調のオリエンタルな印象の絵を生成するLoRAです。
Ink scenery | 水墨山水 – v1.0 | Stable Diffusion LoRA | Civitai
Japanese manhole cover
マンホールの蓋のデザインに特化したLoRAです。
Japanese manhole cover – v1.0 | Stable Diffusion LoRA | Civitai
Kamehameha [Concept]
「かめはめ波」とあるように、手には光球を画面全体に雷光を光らせる効果があります。
Kamehameha [Concept] – v1.0 | Stable Diffusion LoRA | Civitai
Low Key
映像の黒部分や黒に近い（暗い）部分の色合いを強調するLoRAです。適用するとパットマンに出てくる暗黒街のような色調になります。
Low Key – v1.1 | Stable Diffusion LoRA | Civitai
Muscular Female Variety
鍛え上げた筋肉美を強調してくれるLoRAです。
Muscular Female Variety | Concept – v1.0 | Stable Diffusion LoRA | Civitai
M_Pixel 像素人人
初期のゲーム画像でよく見かけたドット絵。画面全体にピクセル絵の効果を追加します。
M_Pixel 像素人人 – v3.0 (morden_pixel) 现代像素 | Stable Diffusion LoRA | Civitai
outline
適用すると、キャラを縁取りしたような絵になります。構図への影響を抑えたい場合は、拡張機能の「LoRA Block Weight」を使用して調整してください。
outline – v1.0 | Stable Diffusion LoRA | Civitai
pastelvectorillustrated
適用するとパステルで描いたような質感になります。
Pastel Vector illustrated – v1.0 | Stable Diffusion LoRA | Civitai
Rage mode
Rage modeとは激怒モードのこと。適用するとキャラクターや背景がハイテンション状態になります。
Rage mode | LoRa | Test version – v1.0 | Stable Diffusion LoRA | Civitai
satui no hadou
殺意の波動です。トリガーワードは”satsui”で設定してますが、無くても発動します。weight 0.8〜1.2で調整してください。生成モデルは「AOM3A2」との相性が良いです。
殺意の波動 Satsui no Hadou – v1.0 | Stable Diffusion LoRA | Civitai
tilt-shift
遠近の焦点をぼかすことで、ミニチュア モデルのように見せることができます。
tilt-shift – v1.0 | Stable Diffusion LoRA | Civitai
Zovyas wet hair
濡れた髪を生成してくれるLoRAです。
Zovya’s Wet Hair – V1 | Stable Diffusion LoRA | Civitai
＞_＜
日本のアニメキャラによくある目つき「＞_＜」を生成してくれるLoRAです。
>_< – v1.5 | Stable Diffusion LoRA | Civitai
チュートリアル動画
Stable Diffusionで使えるLoRAとは？導入方法と注意点を解説！ | 動画編集ロードマップ
まとめ
画像生成AIで自分好みのイメージの画像を生成するには、RoLAファイルを活用するのが近道です。
- RoLAファイルはAIに追加学習させたデータのことで、データ共有サイトで公開されています。
- データ共有サイトの中にはRoLAファイルのダウンロードがわかりやすく設定されたものがあるので、好みのイメージの作品からダウンロードします。
- ダウンロードしたLoRAファイルをStable DiffusionWebUIの所定のフォルダに格納し、WebUIを起動したら、「Generate」ボタンの下の赤枠のアイコンをクリックします。
- 拡張機能の項目が表示たら「Lora」のタブをクリックし、ダウンロードしたRoLAファイルを選択します。するとプロンプトが自動入力されます。
- テップ数は30、サイズは512を選びます。seed値は同じ数値を入力して「Generate」をクリックします。
これで、データ共有サイトで公開されているイメージに超近い画像が生成できるようになります。
必要に応じてプロンプトなどを微調整しましょう。
LoRAに関するよくある質問
- LoRAにサムネイルをつけたい
- LoRAデータと同名の画像ファイル(png)を同じフォルダに入れるだけで、サムネイルの表示が可能です。
こんにちは、フルタニです。放送局で番組作りをしてました。 LoRA を書きます。