pytorch损失函数之nn.CrossEntropyLoss()【内含softmax推导】

目录

softmax函数推导

Logsoftmax

Nllloss

CrossEntropyLoss

简介：nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合

• softmax函数推导：

公式：

1.定义一个分类模型

   one-hot code形式

利用这个模型，就很容易的把逻辑上的分类问题转换成数学上的向量问题了。

通项式：

对于T向量中的每个元素来说，表达式就是

2.定义一个概率模型

概率和为一：         

结合1和2两个例子:   表示的是向量中，第<