Latent Diffusion Models (LDMs) 模型学习笔记

已于 2024-07-16 17:14:14 修改
阅读量9.3k 收藏 177
点赞数 86
CC 4.0 BY-SA版权
文章标签： 人工智能 AIGC 论文阅读 计算机视觉
于 2024-07-04 14:13:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjhr2018/article/details/140152429

目录

1、Diffusion Model概述

2、Latent Diffusion Models (LDMs)

1、创新点

2、三大组成部分

3、LDM中的UNet

4、Encoder/Decoder

5、Condition Encoder

6、训练过程

7、代码解读​​​​​​​

1、Diffusion Model概述

前向扩散过程：迭代地将噪声作用于图像，直至生成完全噪声图像。

后向去噪过程：输入随机噪声（图像大小），使用Unet网络预测上一步添加的噪声，输出上一步的去噪结果，最终输出符合概率分布的生成图像。

        通过逐渐对正态分布变量x_{T}进行去噪来学习数据分布p(x)，即学习长度为T的固定马尔可夫链的逆过程：

其中t是从(1,2,…,T)中均匀采样得到的，模型可以解释为去噪自动编码器\epsilon _{\theta }(x_{t},t)的权重相等的序列(\epsilon _{\theta }通常以U-Net形式实现），经过训练来预测xt的去噪版本。扩散模型也能够通过使用条件去噪自动编码器\epsilon _{\theta }(x_{t},t,y)对条件分布p(x|y)进行建模。

        扩散模型理论上需要T个噪声预测模型，但在实际处理时，可以增加一个Time embedding(类似于transformer中的Position embedding)来将timestep编码到网络中，从而只需要训练一个共享的U-Net。

Limitations:

1、训练成本高昂：模型在高维像素空间中执行生成过程，UNet通常具有约800M个参数，训练该模型需要数百个GPU天来，很容易耗费过多的算力来建模难以察觉的细节；

2、推理代价高昂：推理时花费大量时间和内存，且必须按照顺序重复执行相同的架构很多次；

3、扩散模型在图像合成上击败GAN需要150-1000 V100天的训练时间，25-1000个步骤来评估。

2、Latent Diffusion Models (LDMs)

1、创新点

1、在强大的预训练自动编码器的低维潜在空间（感知等效空间）上运行，而不是直接在像素空间上运行（与标准扩散模型相比）；

2、成本更低：快速采样、高效训练，只需要训练通用自动编码阶段一次，并且可以从潜在空间中一步解码到图像空间；

3、更灵活：更通用的条件。（对潜在空间的操作可以更容易地添加其他信号。）

2、三大组成部分

1、自动编码器：变分自动编码器 (VAE），用于处理感知图像压缩。

2、去噪器：潜在扩散模型 (Latent Diffusion Models, LDMs) 

其中LDM的主干神经网络\varepsilon ^{_{\theta }}为time-conditional attention UNet。

3、条件编码器：比较灵活，可以是任意特定领域的编码器，如VIT，BERT等。

        通过交叉注意力机制增强底层UNet主干网络，对于学习各种输入模态的注意力模型非常有效。使用一个特定领域的编码器\tau _{_{\vartheta }}，将跨模态的condition y投影到中间表示\tau _{\theta }(y)，然后通过交叉注意力映射到UNet的中间层：

基于Image-Conditioning pairs，通过以下方式学习条件LDM：

推理阶段：（New-Image Generation）

3、LDM中的UNet

CNNs → ResNet + Spatial Transformer

ResNet：（加入时间步embedding）

Spacial Transformer：（加入condition embedding）

Cross Attention：

        Q来自Image embedding，K和V来自condition embedding，通过Context的指导，来调节Image中各个位置的重要性。

4、Encoder/Decoder

多个Resnet block：

Attention in VAE：

5、Condition Encoder

        理论上条件编码器可以是任意的，例如当条件是文本时可以是BERT transformer。条件可以是text或layout，因此LDM选择使用CLIP作为条件编码器。

6、训练过程

        三个组件分别进行训练：1、首先训练自动编码器（VAE \varepsilon和D），此时模型知道如何将图像从像素空间转换到潜在空间。 2、降噪器εθ和条件编码器τθ联合优化。

VAE训练：重参数化策略

Evidence Lower Bound Objective (ELBO): likelihood(input − output) + KLD(N(μ, σ) || N (0, 1)) + GAN_Loss

Denoiser(U-Net) Training：这里的Loss可以是任意范数。

Condition Encoder (CLIP) Training：

Loss = cross_entropy(logits_per_image, labels) + cross_entropy(logits_per_text, labels)

7、代码解读

一文详解 Latent Diffusion官方源码_diagonalgaussiandistribution-CSDN博客

【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 1863
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
high-resolution image synthesis with latent diffusion models
liguandong
12-26 5289
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
深入解析 Latent Diffusion Model（潜在扩散模型，LDMs）（代码实现）
阿正的梦工坊
03-16 2835
传统扩散模型在像素空间直接操作的特性导致其训练和推理过程计算成本极高，限制了其在高分辨率图像生成中的广泛应用。为了解决这一问题，Latent Diffusion Model（潜在扩散模型，LDMs）应运而生，它通过在潜在空间中运行扩散过程，显著降低了计算复杂度，同时保留甚至提升了生成质量。
Latent Diffusion Models
flomingo1的专栏
04-12 1316
相比之前的基于像素空间的扩散模型，潜在表示空间显著降低了计算量，使得AI作画能够在消费级GPU上使用，且在几秒时间内生成图像，极大地降低了落地门槛。简言之，潜在扩散模型整合了扩散模型的优势，并致力于创建一个强大的生成框架，能够生成具有生成过程细粒度控制、高效计算和多模态调节能力的高质量图像。在潜在扩散模型中，其想法是利用VAE紧凑潜在空间中扩散模型的强大去噪能力，而不是直接在高维图像空间上运行。（a）编码器：将输入数据（或条件信号，例如文本嵌入）映射到VAE潜在空间中的潜在表示的神经网络。
【图像生成1】Latent Diffusion Models 论文学习笔记
最新发布
csdnn345的博客
05-16 1320
Latent Diffusion Models 论文笔记
论文解读之High-Resolution Image Synthesis with Latent Diffusion Models（Stable Diffusion）
m0_72806612的博客
10-29 1096
本文是Stable Diffusion等一系列扩散模型的里程碑，主要解决的问题是Diffusion模型在原始的像素空间中需要的计算资源过多的问题。
扩散模型的具体类型——Latent Diffusion Models
DuHz的博客
11-12 902
Latent Diffusion Models（潜在扩散模型，简称LDM）是一种高效的生成模型，通过在潜在空间中进行扩散过程，实现高质量的数据生成。相比于传统的扩散模型，LDM利用预训练的潜在空间编码器，将高维数据映射到低维潜在空间，从而大幅降低计算成本，提高生成效率。LDM在图像生成、文本生成等领域表现出色，因其在保持生成质量的同时显著提升了计算效率而备受关注。Latent Diffusion Models结合了变分自编码器（VAE）和扩散模型的优势。
DIFFUSION 系列笔记| Latent Diffusion Model、Stable Diffusion基础概念、数学原理、代码分析、案例展示
qq_53826699的博客
08-29 3043
为了在有限的计算资源上训练它们，LDM 先使用一个预训练好的 AutoEncoder，将图片像素转换到了维度较小的 latent space 上，而后再进行传统的扩散模型推理与优化。Diffusers 中，SD 采用 Lora 的部分位于 Unet 当中，大部分的 Lora 在 Transformer 模块当中，SD 的 lora 与 NLP Lora 实现方式基本相同，此外，通过引入交叉注意力，使得 DMs 能够在条件生成上有不错的效果，包括如文字生成图片，inpainting 等。
【CV】Latent diffusion model 扩散模型体验
发现问题，并解决问题，批判性思维
03-26 7974
稳定扩散模型则基于传统的数学模型，具有较好的稳定性和可解释性。 不需要大量的训练数据和计算资源，可以从少量的数据中学习并进行预测。 稳定扩散模型还可以通过调整模型参数来控制模型的灵敏度和鲁棒性，以适应不同的数据分布和噪声情况。 稳定扩散模型在计算机视觉领域具有一定的优势，可以用于物体和目标识别、跟踪和预测等任务。但它也存在一些局限性，例如难以处理复杂的图像场景、对噪声和异常值较为敏感等问题。 二、Latent diffusion model原理 Latent Diffusion模型不直接在操作图像，而是在潜
【多模态大模型】Latent Diffusion：在潜在空间而非像素空间进行操作，从而减少了计算复杂度
Debroon
02-05 4440
潜在扩散（Latent Diffusion）是一种处理和生成图像的方法，它通过在潜在空间而非直接在像素空间处理数据来提高效率和质量。
【AI绘图学习笔记】Latent Diffusion Model（上）——论文解读
milu_ELK的博客
04-05 5251
我们来看一些主要的生成模型：第一个GAN生成对抗网络，可以分为判别器和生成器两个部分，总体思想就是：我们先对判别器进行训练，让其判断给出的inputxxx是否为生成器所生成的（二分类问题判断real or fake），在一段时间的训练后，判别器的准确度会达到很高的水准。接下来我们再训练生成器使其骗过判别器，然后生成器的效果会越来越强，直到最后判别器的准确率趋近于50%，也就是随机猜对的几率。VAE我们讲过了，本质上也不算生成模型，他是按照加噪后的图像进行去噪得到一个新的输出x′x'x′。
High-Resolution Image Synthesis with Latent Diffusion Models
m0_59402094的博客
04-18 1461
基于潜在扩散模型的高分辨率图像合成
014_SSS_High-Resolution Image Synthesis with Latent Diffusion Models
D_Trump的博客
09-13 3143
High-Resolution Image Synthesis with Latent Diffusion Models阅读笔记
latent-diffusion model环境配置，这可能是你能够找到的最细的博客了
热门推荐
qq_42940160的博客
06-19 1万+
最近在研究diffusion模型，并对目前最火的stable-diffusion模型很感兴趣，又因为stable-diffusion是一种latent-diffusion模型，故尝试复现latent-diffusion model，并训练自己的LDM。写这篇博客的出发点是因为，当我跟随github页面上的install教程进行安装的时候，遇到了很多问题，有些是因为网络问题，服务器无法直接下载国外服务器的资源；有些则是软件版本其实是错的，照着安装就是不对。
【论文精读】Latent Diffusion
weixin_44934783的博客
02-17 3651
Latent Diffusion
Latent Diffusion Models: 原理和代码详解
CodeWOW的博客
09-24 2349
在模型的初始化函数中，我们定义了一个sample_from_conditional函数，它是一个简单的全连接神经网络，用于从条件分布中采样新的z值。在forward函数中，我们按照潜在扩散模型的原理进行迭代更新z，并返回生成的样本x。潜在扩散模型是一种基于扩散过程的生成模型。具体而言，给定一个初始噪声样本，模型通过多个扩散步骤来逐渐将其转化为目标样本。在每个步骤中，模型根据当前样本和一个随机噪声向量进行采样，然后利用反向传播来更新当前样本。然后，我们通过加入一个小的噪声向量来更新z，模拟扩散过程。
VQGAN2_latent diffusion model
weixin_45030728的博客
08-04 2274
latent diffusion model
【经典论文阅读】Latent Diffusion Models（LDM）
m0_65787507的博客
12-10 2885
动机：在有限的计算资源下进行扩散模型训练，同时保持质量和灵活性引入跨注意力层，以卷积方式实现对一般条件输入（如文本或边界框）的响应以及高分辨率合成。
训练LDM模型
03-18
### 如何训练LDM模型 要训练LDM（Linux Device Model）模型，需理解其核心概念并熟悉相关开发环境。以下是关于训练LDM模型的关键知识点： #### 训练LDM模型的前提条件 在开始训练之前，需要具备以下基础： - **硬件支持**：确保所使用的平台支持LDM架构，例如RK3568等嵌入式处理器[^4]。 - **软件环境**：安装必要的开发工具链和依赖库，配置好交叉编译器。 #### 创建虚拟设备与驱动程序 为了测试和验证LDM模型的功能，通常会先创建一个虚拟设备及其对应的驱动程序。这一步骤有助于开发者更好地理解和调试设备模型的工作机制。 ```c // 示例代码：简单的字符设备驱动注册 #include <linux/module.h> #include <linux/kernel.h> #include <linux/fs.h> static int my_open(struct inode *inode, struct file *file) { printk(KERN_INFO "Device opened\n"); return 0; } static const struct file_operations fops = { .owner = THIS_MODULE, .open = my_open, }; static int __init char_dev_init(void) { register_chrdev(240, "my_char_device", &fops); printk(KERN_INFO "Char device registered\n"); return 0; } static void __exit char_dev_exit(void) { unregister_chrdev(240, "my_char_device"); printk(KERN_INFO "Char device unregistered\n"); } module_init(char_dev_init); module_exit(char_dev_exit); MODULE_LICENSE("GPL"); ``` 上述代码展示了一个基本的字符设备驱动注册流程，适用于初步构建LDM模型中的虚拟设备部分。 #### 使用脚本进行模型训练 如果涉及更复杂的多模态大模型（如AR-LDM），则可以参考具体项目的`train.py`文件来启动训练过程。命令行参数允许指定不同的配置选项以适应特定需求[^3]。 ```bash python scripts/train.py --config configs/config1.yaml ``` 此命令将依据给定的YAML配置文件初始化训练环境，并按照设定好的超参数调整策略逐步优化目标函数直至收敛。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值