Stable Diffusionを使ってキャラクターやその衣装のLoRA（Low-Rank Adaptation）を制作する際、パラメータ設定は重要です。特にLearning rate（学習率）やNetwork設定（Rank、Alpha）など、適切な値を選ぶことが、生成結果に大きく影響を与えます。本記事では、これらの設定についての知見を共有し、LoRA作成を効率的に進める方法を紹介します。
1. Learning Rate（学習率）の設定
学習率（Learning rate）はモデルの学習過程で非常に重要なパラメータです。設定が適切でないと、モデルが過学習や学習不良を起こす可能性があります。あなたの設定では、以下のように3つの異なる学習率が設定されています。
- Learning rate: 8.0e-5
- Text Encoder learning rate: 0
- Unet learning rate: 1.0e-4
Text EncoderとUnetの学習率の配分については、一般的にはText EncoderよりもUnetの方が重要な役割を持つ場合が多いため、Unetの学習率を若干高めに設定することが推奨されます。Text Encoderの学習率を0にしている場合、モデルがテキスト処理に過度に依存せず、画像生成に焦点を当てることができます。もしテキストと画像の調整が必要であれば、Text Encoderの学習率を少し設定しても良いでしょう。
2. Network設定（RankとAlpha）の選択
Network設定のパラメータ「Rank」と「Alpha」は、LoRAの適用範囲や効率に関わる重要な要素です。
- Rank (Dimension): 16
- Alpha: 16
RankはLoRAの低次元表現のサイズを決定し、Alphaはそのスケーリングを制御します。Rankを16、Alphaを16に設定している場合、一般的には良いバランスですが、生成するキャラクターの複雑さや衣装の詳細度に応じて、Rankを32または64に増やすことでより精緻なモデルが得られる可能性もあります。ただし、RankやAlphaを大きくしすぎると学習が遅くなったり、VRAMが圧迫されるため、慎重に設定しましょう。
3. GAS設定の調整
AIから「GAS（Gradients Accumulation Steps）」の増加が推奨されることがありますが、必ずしも全てのケースで増加が必要なわけではありません。GASを増やすことでバッチサイズが間接的に増加し、学習の安定性が向上することがあります。しかし、メモリ使用量が増加するため、VRAMの制約を考慮する必要があります。
VRAMが16GBの場合、GASを増加させることで学習が安定する場合もありますが、最適な値はデータの複雑さやモデルのサイズによります。実験を重ねながら、最適な設定を見つけるのが理想的です。
4. その他の設定（OptimizerとLR Scheduler）
Optimizerに「AdamW」を使用し、LR Schedulerに「cosine」を選択することで、学習が安定し、モデルの収束がスムーズになります。これらは一般的に優れた選択肢ですが、学習の進行に応じて微調整することが有効です。
また、バッチ数は2に設定していますが、もし学習が非常に重い場合はバッチ数を増加させることで効率的な学習が行えることがあります。バッチ数が大きすぎるとメモリの制限を超えてしまうので、その場合はGASを活用して調整します。
5. まとめ
LoRA作成時のパラメータ設定は、キャラクターとその衣装を生成する上で重要な役割を果たします。Learning rate、Network設定（Rank、Alpha）、GAS設定、そしてOptimizerやLR Schedulerの調整が鍵となります。設定は「正解はない」と言われるように、データセットや生成物に最適な値を見つけることが大切です。上記の設定を参考にしながら、最適な結果を得るために試行錯誤を繰り返してください。
コメント