Contrastive Loss (对比损失)

最新推荐文章于 2025-04-09 13:42:49 发布

autocyz

最新推荐文章于 2025-04-09 13:42:49 发布

阅读量7.9w

点赞数 51

CC 4.0 BY-SA版权

分类专栏：深度学习机器学习文章标签： caffe siamese 对比损失 contrastiv

本文链接：https://blog.csdn.net/autocyz/article/details/53149760

机器学习同时被 2 个专栏收录

16 篇文章

订阅专栏

深度学习

12 篇文章

订阅专栏

本文详细介绍了对比损失函数（Contrastive Loss），这是在孪生神经网络（Siamese Network）中常用的损失函数之一。该函数可以有效地处理配对数据间的相似性关系，通过调整样本特征的欧氏距离来优化模型，确保相似样本在特征空间中保持接近，而不相似的样本则保持距离。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Contrastive Loss (对比损失)

在caffe的孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下：

L = 1 2 N \sum n = 1 N y d 2 + (1 - y) m a x (m a r g i n - d, 0) 2

$L=\frac{1}{2N}\sum_{n=1}^Nyd^2+(1-y)max(margin-d,0)^2$ 其中

d=||an−bn||2 $d=||a_n - b_n||_2$ ，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，margin为设定的阈值。

这种损失函数最初来源于Yann LeCun的Dimensionality Reduction by Learning an Invariant Mapping，主要是用在降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。

观察上述的contrastive loss的表达式可以发现，这种损失函数可以很好的表达成对样本的匹配程度，也能够很好用于训练提取特征的模型。当y=1（即样本相似）时，损失函数只剩下 $\sum yd^2$ ，即原本相似的样本，如果在特征空间的欧式距离较大，则说明当前的模型不好，因此加大损失。而当y=0时（即样本不相似）时，损失函数为 $\sum (1-y)max(margin-d,0)^2$ ，即当样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大，这也正好符号我们的要求。