sd模型|什么是LoRA模型?如何使用和训练LoRA模型?你想要的都在这!

大家刚接触Stable Diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢? 本文来为大家做一个解答~

在这里插入图片描述

1.什么是LoRa

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,**可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。**在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

我们举个更容易懂的例子:**大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。**当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。

2.下载安装

LoRA和大模型一样需要我们自己去下载,下面推荐一些常用的下载网站。

(需要LoRA和大模型和安装包的同学可以文末自行扫描获取)
请添加图片描述

Libilibi:LiblibAI·哩布哩布AI - 中国领先的AI创作平台

吐司:吐司 TusiArt.com

Civitai:Civitai: The Home of Open-Source Generative AI

打开网站,点击筛选-点击需要的LoRA-点击即可下载。

下载完成后,会得到 Eula.safetensors 文件,将其拷贝到 LoRA目录。

3.使用

我们打开web ui页面,选择大模型和其他参数,然后点击模型中的LoRA,SD会自动把LoRA添加到提示词内。

设置参数时,LoRA的权重数值不能超过1

下面是我们生成出来的一组图。可以看到主角的裙子基本是锁定的,这个就是LoRA的功劳。

我们还可以尝试多个LoRA结合使用。

在这段提示词中我们使用了两个不同的LoRA。

多个Lora的权重数值之和也不能大于1。

生成一下看下效果,这两个提示词没有变化。

4.训练LoRA

虽然使用成型的LoRA很方便,但通常我们在生图的,可能很难找到完全匹配的,此时就需要我们自己动手训练了,毕竟自己动手丰衣足食,几个步骤简单为大家讲解如何训练~

1、配置要求和训练环境

电脑配置:N卡 gpu 6G以上;训练环境:除了直接用训练脚本直接进行操作外 可以使用不同的训练图形化操作界面方便操作 可以用秋叶LORA模型训练器、朱尼酱的赛博丹炉,kohya-ss gui选一个即可,电脑配置不够用 可以选择 AutoDL、Google Colab青椒云桌面、揽睿星舟等云平台。

2、训练步骤

  • 训练数据集准备:对图像进行预处理包括分类、裁剪大小、打标签优

  • 训练参数调节:调整核心参数配置,包括:学习次数(repeat)、循环(epoch)、并行数量(Batch_size)、学习率(Unet_lr)、学习精细度(Network Dimension)、优化器(Optimazer)

**3、模型训练:**参数调整完毕后,根据图片数量和参数设置训练时长一般20分钟以上。

**4、模型测试:**训练完毕后得到的模型通过xyz 脚本测试每个模型的效果。后续小编将详细介绍各个参数的作用和lora训练的一些注意点,大家可以关注一下~

以上就是关于LoRA 的内容啦~

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

### 使用 Stable Diffusion 训练 LoRA 模型 为了利用 Stable Diffusion 进行 LoRA (Low-Rank Adaptation) 模型训练,需遵循特定流程来准备环境、数据集以及配置参数。 #### 准备工作 安装依赖库工具对于启动项目至关重要。确保环境中已安装 PyTorch Transformers 库以及其他必要的 Python 包。可以使用 pip 或 conda 来管理这些包: ```bash pip install torch transformers diffusers accelerate bitsandbytes safetensors ``` #### 数据预处理 创建高质量的数据集是成功的关键之一。收集并整理图像及其对应的文本描述作为输入给模型学习。通常情况下,这涉及到将图片转换成适合网络架构的形式,并对文本应用编码操作以便于后续处理[^1]。 #### 配置文件设置 定义超参数其他重要选项通过 JSON 文件完成。此文件应包含但不限于批次大小(batch size),迭代次数(iterations), 学习率(learning rate)等信息。此外还需指定要加载的基础权重路径(pretrained model weights path)用于微调(finetuning)。 #### 开始训练过程 一旦准备工作就绪,则可以通过命令行界面运行脚本来执行实际的训练任务。下面是一个简单的例子展示了如何调用 `train_text_to_image_lora.py` 脚本来进行基于 LoRA 的稳定扩散模型训练: ```bash accelerate launch train_text_to_image_lora.py \ --pretrained_model_name_or_path="stabilityai/stable-diffusion-2-base" \ --dataset_name="lambdalabs/pokemon-blip-captions" \ --resolution=512 \ --center_crop \ --random_flip \ --train_batch_size=16 \ --max_train_steps=tune \ --gradient_accumulation_steps=1 \ --checkpointing_steps=500 \ --learning_rate=1e-4 \ --lr_scheduler="constant_with_warmup" \ --seed=42 \ --output_dir="sd-pokemon-model-lora" ``` 上述命令中的各个参数可以根据具体需求调整以适应不同的应用场景或硬件条件限制。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值