交叉熵与 KL散度

最新推荐文章于 2025-03-24 16:56:17 发布

Grayson Zhang

最新推荐文章于 2025-03-24 16:56:17 发布

阅读量714

点赞数

CC 4.0 BY-SA版权

分类专栏：数据科学文章标签：算法机器学习人工智能数据挖掘概率论

本文链接：https://blog.csdn.net/qq_51174011/article/details/123241169

数据科学专栏收录该内容

3 篇文章

订阅专栏

交叉熵与 KL散度（两者相一致）

一、背景

1.统计学习的方法

人们对人工智能所研究的东西的描述有很多版本。
其中《统计学习方法》一书中给出了一种说法是：
“统计学习的方法是基于数据构建概率统计模型从而对数据进行预测与分析”

所以，现阶段，我们想要通过人工智能解决问题，核心就是构建概率统计模型

2. 训练模型的策略

统计学习方法的三要素为模型、策略、算法，分别对应着模型的假设空间，模型选择的准则，模型学习的算法。

这里，策略也就是模型选择的准则更多的是指判断模型好坏的标准，这种会具体体现为判断的指标。

比如，在线性回归模型中，

如果我们将“预测结果和真实值之间的差异大小”当作评判一个模型的好坏标准（差异越小，模型越好），并量化差异大小为Mse均分方差，那么在实际应用中：选择模型时，我们会使用Mse更小的模型（我们认为它更好）；优化模型时，我们希望Mse越小越好。
如果我们再考虑到模型的泛化能力，防治过拟合，把“预测结果和真实值之间的差异小且模型复杂度也低”作为判断模型好坏的准则，并将前半部分量化为指标Mse，后半部分的指标量化“线性回归模型的系数的L2范数”，我们将两个指标加权相加，便得到了Ridge岭回归的损失函数。这也是Ridge优化的准则

上述事例中，我们判断模型好坏的依据，主要量化“预测结果和真实值之间的差异大小”为Mse。现在我们换一个指标。

统计学习的实质是构建概率统计模型，我们是不是可以定义一个指标来直接衡量我们构建的模型和真实模型之间的差异呢？当然是可以的。这个指标也是今天的主角：交叉熵

二、信息熵

1.信息熵的背景

我们知道，概率是对可能性的量化。而对系统的可能性，我们还有另一种表示方式，叫做熵。

熵本是物理学中的概念，后来由香农推广到信息论中（香农是信息论的奠基人之一），提出了“信息熵”的概念，并量化了该指标。

2.信息熵的定义

我们从“付出多少代价能准确描述一个信息”的角度去考虑一个信息包含多少信息量。在理论中，能准确描述信息的不是自然语言，而是编码。

将确定的信息视为一个基准，然后将一条含有多种可能（含义）的信息划分为n条准确的信息，每条信息出现的次数会服从一定的概率分布。

然后对这n条确定的信息分别进行编码，每条信息编码的长度是跟它的概率分布也密切相关。

最后，我们将信息的最小平均编码长度称为信息熵，用来衡量信息量。
这里，“平均”是反应总体的指标，“最小”反映了减少代价的基本需求，这个定义还是很好理解的

3.信息熵的量化

用二进制对信息表示的含义进行编码，对于有N种等可能状态的信息，其编码的最小长度为 $log2N=−log21N=−log2Plog_2N = -log_2\cfrac{1}{N}=-log_2P$ ，其中 $P=1NP=\cfrac{1}{N}$

将确定信息的最小编码长度与概率分布结合起来，得到编码长度的期望即为信息熵 $Entropy=−∑iP(x)log2P(x)Entropy=-\displaystyle\sum_i{P(x)log_2P(x)}$ , 其中 $P (x)$ 是信息的在 $x$ 的状态下出现的概率

举例说明：

我们假设信息1包含A，B，C，D四种含义，A出现的概率为 $12\frac{1}{2}$ ，B出现的概率为 $15\frac{1}{5}$ ，C出现的概率为 $15\frac{1}{5}$
，D出现的概率为 $110\frac{1}{10}$

那么，我们将信息一含义概率分布的划分为等可能的10份，其中A占5分，其编码长度为 $log25=−log215=−log2P（A）log_25 = -log_2\cfrac{1}{5}=-log_2P（A）$
乘以概率权重得 $−15log215-\cfrac{1}{5}log_2\cfrac{1}{5}$ ,

三、概率统计模型与实际的差异

我们用信息熵作为指标体现理论模型与实际的差异。

假定模型的理论分布（真实分布）为 $p (x)$ ，我们构建出的分布服从 $q (x)$ 。对于状态 $x$ , 理论上的最小编码为 $log_2p(x)$ ，我们拟合得到的编码长度为 $log_2q(x)$ 。

我们对其求期望（这里编码依然服从理论分布，因为我们拟合得到的分布没有实际的意义，只有计算和预测的价值），得到交叉熵 $−∑ilog2q(x)-\displaystyle\sum_i{log_2q(x)}$

继续，还是对于状态 $x$ ，其自身最短编码长度与拟合最短编码长度为 $−log2q(x)−(−log2p(x))=−log2q(x)p(x)=log2p(x)q(x)-log_2q(x)-(-log_2p(x))=-log_2\cfrac{q(x)}{p(x)}=log_2\cfrac{p(x)}{q(x)}$