10.2 香农熵、相对熵（KL散度）与交叉熵

1 香农墒 量化信息 https://baike.baidu.com/item/%E9%A6%99%E5%86%9C%E7%86%B5/1649961?fr=aladdin 1948 年，香农提出了“信息熵”(shāng) 的概念，解决了对信息的量化度量问题。 实质就是：信息不确定性的多少。 2 交叉熵 https://www.cnblogs.com/wangguchangqing/p/12068084.html ...

香农熵（Shannon Entropy），由克劳德·香农（Claude Shannon）在其1948年的开创性论文《通信的数学理论》中提出，是信息论的核心概念。它被用来量化信息的不确定性或随机性，是衡量信息系统复杂度的一个重要指标。香农熵被定义为一个概率分布的期望值，用于描述信息的平均信息量。其数学表达式为H(X) = -∑(P(x) * log2(P(x)))，其中P(x)表示信息源发出某消息的概率。在 "shannon_entropy" 库中，函数是用于计算数据集熵值的核心函数。

一、熵和互信息 香农熵(Shannon entropy)用来对概率分布中不确定性总量进行量化： 也记作H(P)。换言之，一个分布的香农熵是指遵循这个分布的时间所产生的期望的信息总量。它给出了对依据概率分布P生成的符号进行编码所需的比特数在平均意义上的下界。哪些接近确定性的分布(输出几乎可以确定)...

信息增益是在决策树算法中用于选择最佳特征的一种评价指标。在决策树的生成过程中，选择最佳特征来进行节点的分裂是关键步骤之一，信息增益可以帮助确定最佳特征。信息增益衡量了在特征已知的情况下，将样本集合划分成不同类别的纯度提升程度。它基于信息论的概念，使用熵来度量样本集合的不确定性。具体而言，信息增益是原始集合的熵与特定特征下的条件熵之间的差异。在决策树的生成过程中，选择具有最大信息增益的特征作为当前节点的分裂标准，可以将样本划分为更加纯净的子节点。

1、熵的定义     在讲解决策树的博文中曾经提到过熵的定义，熵是表示随机变量不确定性的度量，熵越大，则随机变量的不确定性越大。设X是一个离散随机变量，X的概率分布为： P(X=xi)=pi,i=1,2,3...,n P(X=x_i)=p_i,i=1,2,3...,n 则随机变量X的熵定义为： H(X)=−∑i=1npilogpi H(X)=-\sum _{i=1}^n p_ilog\,p

KL散度 深度学习中，常用KL散度衡量两个数据分布之间的差异，KL散度越小，则表示两个数据分布之间的差异越小。一般以 P(x) 表示样本的真实分布，Q(x)作为模型预测的分布。例如，在一个三分类任务中，x1，x2，x3分别表示猫、狗和马。若一张猫的图片的真实分布P(x)=[1,0,0]，而预测分布为Q(x)=[0.7,0.2,0.1]，则对应的KL散度计算如下： 交叉熵 在介绍交叉熵之前，首先补充一下以下重要概念： 信息量 设某一事件发生的概率为P(x)，则其信息量表示为： ...


 
 1. 香农熵（Shannon entropy）
 
 
 信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。
 
 
 如果一个随机变量 X 的可能取值为 X={x1,x2,…,xn}，对应的概率为 p(X=xi)，则随机变量 X 的信息熵为：...

快速概览： 香农熵 -- 熵的定义交叉熵 -- 一般可做为分类模型的损失函数 （交叉熵是由相对熵转化过来的，交叉熵 = 相对熵 - 熵 ），对于采样的数据（训练集，熵H 是定值，故交叉熵 和 相对熵 做损失函数是等价的。）相对熵 -- KL散度条件熵 -- 信息增益（也叫互信息）= 熵 - 条件熵，决策树ID3算法依据就是信息增益 information gain 香农熵 19...

交叉熵 与 KL散度

在机器学习中，KL散度经常用于衡量两个概率分布之间的差异，例如，在生成模型中，用来度量生成模型的分布与真实数据分布之间的差异，或者在变分推断中，用来度量近似分布与真实后验分布之间的差异。而交叉熵在某种程度上可以看作KL散度的一个特例，当P为真实分布、Q为模型分布时，交叉熵等于KL散度的一部分。KL散度函数用来衡量一个概率分布P相对于另一个概率分布Q的不确定性增加，即P相对于Q的信息损失。在机器学习中，交叉熵常被用作损失函数，用于衡量模型的输出概率分布与真实标签的分布之间的差异，尤其是在分类任务中。

交叉熵（Cross Entropy）函数和KL散度（Kullback-Leibler Divergence）函数都是用于度量概率分布之间的相似性或差异性的函数。它们在信息论和机器学习中都有着重要的应用，尤其在深度学习中常用于损失函数的设计和模型训练中。

参考文献 1.对数损失函数(Logarithmic Loss Function)的原理和 Python 实现 2.交叉熵与KL散度 3.深度学习剖根问底：交叉熵和KL散度的区别 4.详解机器学习中的熵、条件熵、相对熵和交叉熵 5.为什么交叉熵（cross-entropy）可以用于计算代价？ 6.机器学习中的基本问题——log损失与交叉熵的等价性 核心：KL散度=交叉熵-熵 对于给定训练集，熵是已...

交叉熵和KL散度 信息熵H(X)可以看做，对X中的样本进行编码所需要的编码长度的期望值。 这里可以引申出交叉熵的理解，现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。 按照真实分布p来编码样本所需的编码长度的期望为，这就是上面说的信息熵H( p ) 按照不真实分布q来编码样本所需的编码长度的期望为，这就是所谓的交叉熵H( p,q ) 这里引申出KL散度D(p||q) ...

变分自编码器等模型中会引入Kullback-Leibler散度作为损失函数。