让你的AI乖乖听话的 Stable Diffusion进阶篇-CSDN博客

本文链接：https://blog.csdn.net/ice829/article/details/147782363

StableDiffusion，一款基于深度学习的图像生成模型，以其强大的图像生成能力和个性化风格迁移能力，在艺术创作领域掀起了一场革命。然而，如何让AI乖乖听话，生成你想要的图像，却是一个挑战。本文将带你深入了解StableDiffusion的进阶技巧，助你轻松掌握这一技巧。

例如像是动作幅度太小，眼睛不够有神等，而也是SVD的一个缺点，它所产出的动态内容某种程度上是不可控的。

就现阶段而言，要控制SVD去动某个部分或者那个部位不要动都是比较难控制的，而目前想要AI画出符合自己预期的结果则又需要反复的“抽卡”。

当然ComfyUI的开发者们早就想到了这些，于是就有了一些节点可以动态控制画面的一部分区域，从而提高视频的可塑性。

所以今天的内容就是要让AI学会怎么“听话”

蒙版

蒙版这个东西之前学习Stable Diffusion的小伙伴们应该就很熟悉了，为了防止有小伙伴忘记了：

正是因为有了蒙版的存在，在用AI绘制时可以用蒙版来控制AI只重绘画面里的一小部分，而这样的方法也可以运用在视频生成部分。

可能有些小伙伴知道Runway有一个运动笔刷功能可以做到这样的效果，ComfyUI也可以做到只让画面的一小部分动起来。在ComfyUI中有一个工作流：运动笔刷（下载链接在文末），直接将其拖拽进ComfyUI界面。

在这里插入图片描述

在工作流的最左边导入初始图片：

在这里插入图片描述

然后鼠标右键点击图像，选择在**遮罩编辑器（MaskEditor）**中打开

在这里插入图片描述

然后就可以在编辑器里面对想要更改的部分进行涂鸦画黑：

在这里插入图片描述

记得完成之后点击最右下角的Save to Node

在这里插入图片描述

然后就进行一些常规的参数设置后（也可以直接先默认试试）就可以点击添加提示词队列 进行生成啦！

这个工作流里面还有其他的辅助功能选项：

这里的两个选项：蒙版反转和蒙版边缘羽化。

蒙版反转是会把蒙版控制的绘制区域倒转过来，像是我们刚刚涂鸦的是非人物的部分，反转就会变成涂鸦人物的部分。这个选项默认是关闭的，如果开启了那么所涂鸦的区域就会变成“固定不变的区域”。

蒙版边缘羽化是默认开启的选项，目的是为了让固定区域和动态区域之间的过渡变得更加自然，如果感觉涂鸦部分和非涂鸦部分的边缘比较生硬，那么可以增大一些边缘羽化的数值。

上述两个操作可以帮助我们出图的效果更符合预期，但是这种用手涂鸦蒙版的方式显然还是会有点瑕疵，毕竟没法完美贴合自己想要绘制的范围。

所以需要用到智能抠图工具：Segment Anything组件（忽略红色部分）

这个组件里面有两个功能强大的节点可以帮助我们只能识别并选定图像中的区域：

这里面的Grounding DINO是一个强大的零样本检测器，能够根据文本描述来检测图像中的任意物体并且生成一个大致的范围。

另一个SAM（Segment Anything Model）节点可以在这个已经生成的区域中再去进行更仔细地切割。这个东西也是WebUI里面的Segment
Anything扩展，用的是同样的技术。

这个节点的用法也很简单，在导入图片之后在右侧的Prompt里面输入想要画面动起来的元素的提示词。

然后其他的参数也可以维持不动或者看了上一篇文章的小伙伴自行进行调节，之后点击添加提示词队列 进行生成即可。

当然，如果这个元素在画面中占据的比例太小的话是不会有动态效果的，而生成区域太过固定的情况下可能会造成出框的违和感，这样的情况下需要降低几个控制动态水平的参数会比较好。

**放大补帧
**

之前所生成的视频只有个位数帧以及1024576，但是现在的视频往往都是10241024以及30帧的视频，而接下来的这个工作流可以帮生成的视频补帧。

可以在最左边导入SVD生成的视频，然后在这里设置放大宽度、帧数等的信息，这样一来就可以调用R-ESRGAN模型进行放大以及FILM模型进行补帧。

不过最终生成的格式可能是webp，不太适合一些剪辑软件的导入，这个时候需要安装一个Video Helper Suite.

下载完后使用这里面的Video Combione节点替换为默认的Webp保存节点，然后在下方的输出格式改为mp4等常见的视频格式即可。

问题汇总：

这里不说废话，我这篇文花费最多时间的就是解决那些无法正常下载插件的问题。

可能有小伙伴在导入上述工作流的时候会遇到一些情况：

例如这样的红色节点或者提示报错出现问题，接下来我就来提供一下我自己尝试有用以及可能可以帮助到其他小伙伴的方法。

第一个管理界面进行丢失节点安装：

在遇到丢失节点的时候，可以先去右侧工具栏的Manager管理界面进行丢失节点下载：

在最右侧有个Install进行下载，需要等待一段时间因为是链接GitHub的，在下载完毕之后关闭ComfyUI以及后台命令行，然后重启ComfyUI。

第二种方法：下载到本地

如果第一种方式提示下载失败了则可以点击页面中的链接

然后网页会跳转到该插件的官方GitHub页面，点击最右侧的绿色Code，选择DownloadZIP

在下载完后解压到ComfyUI的这个位置：

然后重启ComfyUI和后台命令行。

第三种：通过更改环境进行下载

这个比较简单但是得一步一步跟着学，万不得已走到这一步的小伙伴可以看下这个视频进行参考（我就不占用太多篇幅了）

https://www.youtube.com/watch?v=yjCa9WALzAs

**第四种：确认一下自己的ComfyUI以及插件版本是否是最新版本
**

这一点我为什么不放在最上面说呢？这里因为有些情况是ComfyUI比较老但是插件版本太新了不兼容，如果上述方法都不好用的话可以检查更新一下ComfyUI的版本和插件的版本。

当然还可能有其他情况，例如一些命令行里面的问题，如果遇到这类问题可以去这个网址进行询问，直接复制粘贴问GPT就行，这是一个B站up做出来专门回答ComfyUI问题的bot。

今天的内容就到这里啦！

希望大伙都不要遇到我踩到的坑，也希望我的解决方案可以帮助到大家。

大伙下篇笔记见，拜了个拜！

1girl, necklace, jewelry, solo, long_hair, gem, blue_eyes, red_lips, lips,
tiara, pendant, pearl_necklace, bubble, beautiful girl

Negative prompt: (worst quality, low quality:1.4),deformed, bad
anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly,
disgusting, poorly drawn hands, missing limb, floating limbs, disconnected
limbs, malformed hands, blurry, ((((mutated hands and fingers)))),
watermark, watermarked, oversaturated, censored, distorted hands,
amputation, missing hands, obese, doubled face, double hands,(((missing
arms))),(((missing legs))), (((extra arms))),(((extra legs))), badhandsv5,
badhandv4, deepnegative