AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解

本文使用工具，作者:秋葉aaaki

免责声明:
工具免费提供 无任何盈利目的

大家好，我是风雨无阻。

今天为大家带来的是 AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解。

目前，AI 绘画Stable Diffusion的各种模型层出不穷，这些模型都有什么作用？又该怎么安装使用？对于新手朋友来说，是非常大的困扰。

这篇文章将会为你介绍AI 绘画Stable Diffusion的模型种类、模型的安装及使用方法、以及模型的选择和下载。

不同的模型有不同的画风如：线条风格、手绘风格、立体风格、科幻风格、真人风格。

还有不同的概念，例如：人物、物体、动作等。

这些都是目前Stable Diffusion 模型众多的原因。

那么，Stable Diffusion的模型具体有哪些种类呢，都有什么作用呢？

一、Stable Diffusion的模型详解

1、模型种类

当前，常见的模型可以分为两大类：

• 大模型：这里的大模型特指标准的 latent-diffusion 模型，拥有完整的 TextEncoder、U-Net、VAE。

• 微调大模型的小模型

  
  

由于想要炼制、微调大模型非常的困难，需要比较好的显卡、比较高的算力， 因此更多的选择是去炼制小型模型。

这些小型模型通过作用在大模型的不同部分，来修改大模型，从而达到目的。

常见的用于微调大模型的小模型又分为以下几种：

• Textual inversion (Embedding模型)
• Hypernetwork模型
• LoRA模型

还有一种叫做 VAE （VAE, Variational autoencoder，变分自编码器，负责将潜空间的数据转换为正常图像）的模型，通常来讲 VAE 可以看做是类似滤镜一样的东西，会影响出图的画面的色彩和某些极其微小的细节。

如图：

其实大模型本身就自带 VAE 的，但是一些融合模型的 VAE坏了 （例如：Anything-v3），有时画面发灰就是因为这个原因。所以需要外置 VAE 的覆盖来补救。

由于模型的种类不同、作用位置也不同，所以想要使用这些模型必须分清这些模型类别，并且正确的使用，模型才会生效。

2、模型的区分方法

如何区分这些模型对新手来说是一件非常困难的事情，因为他们都可以拥有一样的后缀名。

这里感谢 秋葉aaaki 提供的模型种类检测工具 ，在本地将模型文件拖入即可识别。

3、模型后缀名详解

目前，常见的 AI绘画标准模型后缀名有如下几种：

• ckpt

• pt

• pth

  这三种是 pytorch（深度学习框架）的标准模型格式，由于使用了 Pickle，会有一定的安全风险 。

• safetensors：新型的模型格式 。正如同名字：safe，为了解决前面几种模型的安全风险而出现的，safetensors 格式与 pytorch 的模型可以通过工具进行任意转换，只是保存数据的方式不同，内容数据没有任何区别。

  
  

注意：safetensors模型需要 webui 更新到2022年12月底