Stable Diffusion ControlNet 安装与使用教程（附示例）

于 2025-05-05 11:44:03 发布
阅读量1.3k 收藏 14
点赞数 53
文章标签： stable diffusion 人工智能 AI作画 AIGC 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84760719/article/details/147711036
版权

ControlNet 是 Stable Diffusion 中最强大的控制工具，能通过骨骼、边缘、景深等信息精准控制图片生成。以下是通俗易懂的安装与使用教程，新手也能轻松上手！

一、ControlNet 安装步骤
1. 安装插件

  • 方法一：通过 WebUI 直接安装

    1. 打开 Stable Diffusion WebUI，点击顶部 Extensions → Available。
    2. 点击 Load from 加载插件列表，搜索 sd-webui-controlnet。
    3. 找到插件后点击右侧 Install，安装完成后重启 WebUI。

  • 方法二：手动安装（备用）

    1. 访问 GitHub 仓库：https://github.com/Mikubill/sd-webui-controlnet
    2. 下载 ZIP 文件并解压，将文件夹复制到 stable-diffusion-webui/extensions/ 目录。
    3. 重启 WebUI。
2. 下载 ControlNet 模型

ControlNet 依赖专用模型文件（如 control_v11p_sd15_canny.pth）。

  1. 下载地址：

    • 官方模型库：HuggingFace ControlNet Models[1]
    • 选择需要的模型（推荐先下载 canny 和 openpose）。
    • 一个模型包含两个文件，一个.pth和一个.yaml

  3. 放置路径： 将下载的模型文件放到 stable-diffusion-webui/extensions/sd-webui-controlnet/models 文件夹。

3. 验证安装

重启 WebUI 后，在文生图/图生图界面底部找到 ControlNet 折叠面板，即表示安装成功！

二、ControlNet 基础使用
1. 界面介绍
  • 启用开关：勾选 Enable 开启 ControlNet。
  • 预处理器（Preprocessor）：提取图片特征（如边缘、深度）。
  • 模型（Model）：选择对应的控制模型（需与预处理器匹配）。
  • 权重（Weight）：控制生成结果与参考图的相似度（0.5~1.5）。
2. 使用流程

  1. 上传参考图：点击画板图标上传图片，或直接拖入图片。

  2. 选择预处理和模型：

    • 例如：想控制人物姿势 → 预处理器选 openpose，模型选 control_v11p_sd15_openpose。

  4. 输入提示词：描述你想要的画面。

  5. 调整参数：权重建议从 1.0 开始，根据效果增减。

  6. 点击生成！

三、具体使用示例
示例1：固定人物姿势（OpenPose骨骼控制）

  • 目标：生成与参考图相同姿势的人物。

  • 步骤：

    1. 上传一张人物姿势图（如站立、举手）。
    2. 预处理器选 openpose，模型选 control_v11p_sd15_openpose。
    3. 输入提示词：a woman wearing red dress, elegant pose, palace background。
    4. 权重设为 1.0，生成后人物姿势会与参考图一致。

原姿势

在这里插入图片描述

新人物生成

在这里插入图片描述

示例2：模仿构图（Depth景深控制）

  • 目标：生成与原图相同构图的场景（如近景人物+远景山峦）。

  • 步骤：

    1. 上传构图参考图。
    2. 预处理器选 depth_midas，模型选 control_v11f1p_sd15_depth。
    3. 输入提示词：(masterpiece, best quality),detailed,arch,architecture,pillar,scenery,statue,palace,decorations,marble,indoors,European palace,church,hall,theater,celling,reflections,dappled sunlight,light rays,reflective floor,。
    4. 权重设为 1.1，生成结果会保留原图景深层次。

  • 原图

    在这里插入图片描述

    效果图

    在这里插入图片描述

四、常见问题解答
Q1：为什么预处理后的图片是空白的？
  • 原因：未正确选择预处理器或模型不匹配。
  • 解决：检查预处理器和模型是否对应（如 canny 预处理器需搭配 canny 模型）。
Q2：生成的图片和参考图差距太大？

  • 调整方法：

    1. 提高权重（如从 1.0 增加到 1.3）。
    2. 降低提示词的自由度（减少与参考图冲突的描述）。
Q3：模型文件应该放在哪里？
  • 路径：stable-diffusion-webui/extensions/sd-webui-controlnet/models
五、总结

ControlNet 是精准控制 Stable Diffusion 生成的终极工具。掌握以下要点即可快速上手：

  1. 安装插件 + 下载模型：确保模型文件路径正确。
  2. 预处理器与模型匹配：如 canny 配 canny，openpose 配 openpose。
  3. 权重调整：相似度不够时提高权重，过度僵硬时降低权重。

赶紧试试用 ControlNet 生成你脑海中的画面吧！

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

【进阶】Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
AA1213888的博客
06-29 1538
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion插件篇 ControlNet
AA1213888的博客
07-24 1285
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion 入门简明教程
m0_74942241的博客
09-27 2129
Stable Diffusion (以下简称 SD) 是一个文本到图像生成模型, 即通常所说的 AI 绘画Stable Diffusion WebUI 是一个工具包, 为 SD 提供了一个便捷的交互界面本文不需要你有任何基础知识, 如果有步骤不理解, 可以先跟着做, 先用起来再回头理解。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5198
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
m0_74942241的博客
06-28 1万+
Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本，发布了 14 个优化模型，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又连续更新了 3 个新 Reference 预处理器，可以直接根据图像生产风格类似的变体。
AI 绘画Stable Diffusion 研究（一）sd整合包v4.2 版本安装说明
w风雨无阻w的专栏
07-28 1万+
大家好，我是风雨无阻。：可以不用下载，这里只是提供，按需下载，安装方法参考我的另一篇教程：Stable Diffusion 研究（二）模型ControlNet1.1 使用教程。那么从本期开始，我将持续更新Stable Diffusion 研究系列文章，带您从入门到精通，玩转Stable Diffusion。3、安装完成之后进入解压后的整合包目录：sd-webui-aki-v4， 直接双击 A启动器.exe 运行。启动器运行依赖，以前没使用过启动器的需要安装。后续版本更新，插件的更新，都在启动器内完成。
Stable-Diffusion和ControlNet插件安装全过程,以及使用心得汇总.
weixin_45643107的博客
03-22 2万+
Stable-Diffusion和ControlNet插件安装全过程,以及使用心得汇总.
Stable Diffusion ControlNet 完全指南
None
07-30 1155
OpenPose有专门提取脸部特征，手部特征，关节，膝盖，脚踝以及以上特征的组合等多种模型。相比img2img，Depth2img 不仅能够利用 文本prompt，原来的图像，还可以使用原来图像的深度信息来控制图像的生成，也就是说，相比前者，他有3维参考信息。从上面示例，大家能够看到边缘检测器和OpenPose的一些区别，前者勾勒人物轮廓，目标图像会保留原图中的头发，衣服等轮廓，适合于一些富含边缘信息的主题和背景迁移，而后者更自由，它关注人物的关键姿势特征，但是不会保留那些衣服，头发等的轮廓信息。
Stable Diffusion web UI之ControlNet使用
Lassi的博客
06-19 2322
使用 Stable Diffusion 一段时间后，您可能已经注意到图像的输出具有无穷无尽的结果可能性。感觉是在赌这一下能不能拍出好图。然而，即使输入如此复杂和详尽的提示，您也会觉得您可以控制方向盘或控制 AI 的程度仍然有限​​。AI 能够以完全相同的方式适应提示或图像的程度会有限制。除了基本参数外，Stable Diffusion 还有很多控制和学习和掌握的空间。所有控件都具有重要作用，具体取决于您对最终结果的目标。
加速C站模型下载
nikolay的专栏
11-17 1791
加速C站等的模型资源下载
Stable Diffusion 安装教程（附安装包） 【SD三种安装方式，Win+Mac一篇文章讲明白
yihanss的博客
10-28 2万+
Stable Diffusion的门槛过高、不会安装？没关系，这篇文章教会你如何安装！Stable Diffusion的安装部署其实并不困难，只需简单点击几下，几分钟就能安装好，不管是windows还是苹果mac电脑，关于StableDiffusion的各种安装方式，这篇文章一一来给大家讲明白。StableDiffusion最早开源出来只是一大堆源代码，而最具代表性的是AUTOMATIC1111大神把这些源代码做成了一个基于浏览器网页运行的程序，可以非常直观的调整、输入参数和拓展插件。
Stable diffusion 4.8.7 升级版来了！（Ai绘画无需部署，解压即用）附安装包
m0_71744960的博客
05-13 900
Stable Diffusion无疑是最近最火的AI绘画工具之一，本期设计软件库给大家带来了2024最新升级的Stable Diffusion资料包合集！比之前推送的更加智能、快速和简单2024全新Stable Diffusion 4.8.7资料包新版本使用更方便附带SD电商实战教程等资源让你快速上手如果你是零基础小白，想快速入门AI绘画是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以找到适合自己的学习方案。
全网最强！DeepSeek图片教程，赶紧收藏！
热门推荐
2401_84204207的博客
02-06 5万+
没想到大家对 DeepSeek 处理图片的呼声这么高。说实话，DeepSeek R1 不是多模态大模型，对图片的支持太弱，不像豆包、ChatGPT 等能直接出图。但你要真想玩，也能玩出花。本文估计比很多付费教程都要好，还没关注我的朋友赶紧关注起来吧，加个星标防丢失。废话不多说，我们直接进入正题，讲讲如何让 DeepSeek 帮我们通过文字生成图片，及处理图片。文字生成图片基本就两步。1️⃣ 先提需求让 DeepSeek R1 优化内容，得到优化文本。
DeepSeek+kimi，批量生成精美可视化图表
2401_85343303的博客
01-30 8800
DeepSeek在写文章方面也有非常好的表现，几乎看不出有AI味道。最新的更新里，深度思考和联网功能可以同时使用了，简直是王炸。快去试试吧。
stable diffusion 的controlNet 安装和使用
hjx_dou的专栏
04-25 1181
controlNet耗内存应该挺高，我本地跑不起来，所以我直接在liblib里试验，liblib每天送300能量，大约能出100张图，随便用下足够了。下载了扩展以后，需要下载相应的模型，每个模型大约1.45G,可以按需下载。放了两个controlNet，其中一个选了涂鸦，第二个选了openPose。如果下载速度太慢，可以考虑去liblib下载，但是是全量模型。模型下载完后，把模型放到/models/ControlNet。重新刷新webUI，就可以看到相应的模型了。最后出的图和涂鸦里的姿势还算匹配。
这怕是全网最强的 DeepSeek 图片教程吧，赶紧收藏了！
m0_71746299的博客
02-05 1万+
我们复制 DeepSeek 返回的结果，在浏览器中打开 https://mermaid.live ，将复制的结果粘贴上去就能得到思维导图，然后点击下载 PNG 和 SVG 图片即可。我这里的卡片样式没有仔细打磨，如果你在小红书小绿书做图文赛道，可以花时间弄一套自己的提示词，直接让 DeepSeek 变成你的出图神器！如果你觉得生成的样式是你满意的样式，则复制整块内容，创建一个新文件，修改后缀名为 svg，再将内容贴进去就行了。
Stable Diffusion 安装教程（附安装包）
A2421417624的博客
03-23 4090
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion WebUI怎么使用
最新发布
03-03
<think>好的，用户现在问的是关于如何使用Stable Diffusion WebUI。之前他们提到过在模型库下载Flux模型并加载到Chatbot或Dify来实现画图，但当时我解释说Flux不适合，并建议使用Stable Diffusion这样的专用模型。现在用户转向了Stable Diffusion，所以需要详细指导他们如何使用WebUI。 首先，我需要确定用户对Stable Diffusion的了解程度。可能他们是新手，所以需要从基础开始。用户可能已经知道SD的基本概念，但需要操作指南。接下来，要考虑他们的使用场景：是个人创作、商业用途，还是研究？不同的场景可能需要不同的配置建议。 然后，用户的需求可能包括安装步骤、界面介绍、基本操作和高级功能。可能需要分步骤解释，确保每个部分都清晰。另外，用户可能遇到安装问题，比如依赖项错误或硬件配置不足，所以需要给出常见问题解答。 还要考虑用户的操作系统，Windows、Mac还是Linux？安装步骤可能有所不同，但WebUI通常推荐Windows，所以可能需要以Windows为例。硬件方面，用户是否有足够的GPU显存？至少需要4GB，推荐8GB，这点需要强调。 此外，用户可能对模型和插件感兴趣，比如如何下载不同的模型，安装插件扩展功能。需要推荐一些常用的模型和插件，比如ChilloutMix、ControlNet等，并提供下载地址。 最后，安全问题也很重要，比如生成内容是否符合法律法规，需要提醒用户注意。可能还需要提到商业使用的授权问题，避免侵权。 总结下来，回答的结构应该是：安装准备、安装步骤、界面详解、基本使用、高级功能、常见问题、注意事项。每个部分用简洁的语言和示例，帮助用户一步步操作。同时，使用代码块和项目符号列表，使信息更易读。还要注意提醒用户硬件要求和法律问题，确保他们安全合法地使用工具。</think>以下是Stable Diffusion WebUI的详细使用指南，包含安装配置、核心功能及进阶技巧： --- ### 一、安装准备 ```mermaid graph TD A[硬件要求] --> B[Windows/Mac/Linux] A --> C[GPU显存≥4GB] A --> D[推荐RTX 3060+] E[软件依赖] --> F[Python 3.10.6] E --> G[Git] E --> H[FFmpeg] ``` 1. **环境检查** - 显存验证：`nvidia-smi`查看显存容量（N卡用户） - 存储空间：至少15GB可用空间 - 虚拟内存：建议设置32GB以上（Windows系统） --- ### 二、安装步骤（Windows示例） ```bash # 1. 克隆仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git # 2. 安装依赖（国内镜像加速） set PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple pip install -r requirements.txt # 3. 下载基础模型（1.5版本示例） wget https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors mv v1-5-pruned-emaonly.safetensors models/Stable-diffusion/ ``` --- ### 三、界面详解 ![WebUI界面布局](https://example.com/sd-webui-layout.png) 1. **核心功能区**： - Prompt输入框：正向提示词（建议用英文） - Negative Prompt：排除元素（如"low quality, blurry"） - Sampling Steps：迭代次数（20-30为常用值） 2. **参数调节区**： ```python { "CFG Scale": 7, # 提示词相关性（7-12） "Seed": -1, # -1代表随机 "Width/Height": 512, # 生成分辨率 "Batch Count": 4 # 生成批次 } ``` --- ### 四、基础使用流程 1. **文字生成图片**： - 正向提示示例：`(masterpiece), 1girl, red dress, cherry blossoms` - 反向提示示例：`(deformed fingers), bad anatomy` 2. **图片优化技巧**： - 使用括号强调权重：`(sunset:1.3)` - 分层描述：`[background: beach], [foreground: girl]` - 艺术家风格：`by Makoto Shinkai and Studio Ghibli` --- ### 五、高级功能 1. **ControlNet插件**： ```mermaid graph LR A[上传线稿] --> B[启用ControlNet] B --> C[选择预处理器] C --> D[选择模型] D --> E[生成上色图] ``` - 常用模型：`canny_edge`, `openpose`, `depth` 2. **LoRA模型应用**： - 放置路径：`models/Lora` - 触发语法：`<lora:modelname:0.8>` --- ### 六、常见问题解答 | 问题现象 | 解决方案 | |---------|----------| | 显存不足 | 降低分辨率/使用`--medvram`启动参数 | | 生成黑图 | 检查模型完整性/更新显卡驱动 | | 中文乱码 | 安装中文语言包/使用双语提示 | --- ### 七、注意事项 1. 法律合规：禁止生成侵权/违法内容 2. 商业授权：注意模型使用协议（如NovelAI需商业许可） 3. 硬件安全：连续生成时监控GPU温度（建议<85℃） 可通过启动脚本`webui-user.bat`添加参数优化体验： ```bash set COMMANDLINE_ARGS=--xformers --enable-insecure-extension-access ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值