神经网络深度学习（一）损失函数

china1000

已于 2022-09-03 14:52:07 修改

阅读量4.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：神经网络深度学习文章标签：神经网络机器学习算法

于 2022-09-03 14:49:58 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/china1000/article/details/126676534

目录

一、什么是损失函数

二、经验风险与结构风险

三、分类损失函数

四、回归损失函数及其特点

五、正则化

六、损失函数深入理解

1 分类问题可以使用MSE(均方误差)作为损失函数吗

2 softmax loss vs 交叉熵 loss

3 为什么交叉熵损失函数有log项？

4 交叉熵为什么可以作为损失函数？

5 SVM损失函数

6 Yolo的损失函数

一、什么是损失函数

什么是损失函数：简单的理解就是每一个样本经过模型后会得到一个预测值,然后得到的预测值和真实值的差值就成为损失。

为什么引入损失函数：通过对比计算网络的前向传播结果和真实结果，计算出来的用于衡量两者之间差距的函数值。

二、经验风险与结构风险

经验风险
机器学习模型关于训练数据集的平均损失称为经验风险。

结构风险

结构风险是在经验风险的基础上加上表示模型复杂度的正则项（罚项）。

三、分类损失函数

$Loss(h_w(X_i,yi))$	代表算法	说明
1.Hing-Loss $max(1 - h_w(x_i)y_i,0)p$	标准SVM(p=1) (Differentiable) Squared Hingeless SVM (p=2)	当用于标准SVM时，损失函数表示线性分隔符与其中任一类中的最近点之间的边距长度。只有在p = 2时处处可导。
2.Log-Loss $log(1+e^{-h_w(x_i)y_i})$	Logistic回归	机器学习中最受欢迎的损失功能之一，因为它能输出概率
3.Exponential Loss $e^{-h_w(x_i)y_i}$	Adaboost	错误预测的丢失随着值的增加呈指数增长 −hw(xi)yi−hw(xi)yi
4.Zero-One Loss $\delta(sign(h_w(xi)) \neq yi)$	实际分类损失	不连续，不容易优化
5 Cros

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。