DL_Notebook 1_Softmax/激活函数_softmax inplace-CSDN博客

本文链接：https://blog.csdn.net/weixin_43124455/article/details/104319117

这篇博客介绍了线性回归、广播语义、Softmax的概念和交叉熵损失函数，以及常用的激活函数如ReLU、Sigmoid和tanh。讨论了激活函数在神经网络中的作用，特别是解决线性不可分问题的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

线性回归
- 广播语义
Softmax
- 概念
- 交叉熵损失函数
常用的激活函数

线性回归

线性回归理论知识blabla就不记录了，新手本人的python,pytorch陌生的东西的记录。

广播语义

一般语义 Genaral Semantics 和In-place Semantics不一样

x与y满足可广播的四个条件：（遍历张量维度大小时，从末尾随开始遍历）
1- both have size 1
2- trailing dimension: y has size 1
3- trailing dimension: x size == y size
4- trailing dimension: y dimension doesn’t exist
```
	>>> x=torch.empty(5,2,4,1)
	>>> y=torch.empty(  3,1,1)  // 为了观看方便，对齐
	>>> (x+y).size()                   //不能广播因为x的2和y的3不满足上面4个条件之一
```

In-place语义

In-place语义不允许in-place张量像广播那样改变形状

pytorch官方例子：

	>>> x=torch.empty(5,3,4,1)  
	>>> y=torch.empty(3,1,1)
	>>> (x.add_(y)).size()
	torch.Size([5, 3, 4, 1])   //OK 因为x的shape不变

	# but:
	>>> x=torch.empty(1,3,1)
	>>> y=torch.empty(3,1,7)
	>>> (x.add_(y)).size()  // 不OK，因为in-place操作不允许x的shape改变，而这里如果广播了，x会变
	RuntimeError: The expanded size of the tensor (1) must match the existing size (7) at non-singleton dimension 2.

所以也可以说

如果你使用了in-place operation而没有报错的话，那么你可以确定你的梯度计算是正确的。

课后习题：
在这里插入图片描述

Softmax

概念

认识softmanx：分类问题，单层神经网络，其输出： $\hat{y}1 = \frac{ \exp(o_1)}{\sum_{i=1}^3 \exp(o_i)},\quad \hat{y}2 = \frac{ \exp(o_2)}{\sum_{i=1}^3 \exp(o_i)},\quad \hat{y}3 = \frac{ \exp(o_3)}{\sum_{i=1}^3 \exp(o_i)}$