【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】计算图与自动微分

本文链接：https://blog.csdn.net/qq_48520962/article/details/139846033

自动微分

自动微分是利用链式法则来自动计算一个复合函数的梯度。基本原理是将所有数值计算分解为一些基本操作和初等函数（算子），然后利用链式法则自动计算复合函数的梯度。
例如对下式求解微分，
$f(x;w,b)=\frac{1}{\exp(-(wx+b))+1}$
首先提取出上式中的算子，从最内层自变量 $x$ 开始按计算顺序向外依次可以提取出： $\times,+,\times,\exp,+,\div$ ，依照这个顺序可以建立计算图
在这里插入图片描述

上图中每个节点都是一个算子操作，两个指向算子的箭头表示参与运算的变量，每个箭头上又计算了经过结合后的式子 $h$ 对每个参与运算的变量的偏导数（红色数字代表变量取值，上图示例为 $x = 1, w = 0, b = 0$ ）。最后，根据链式法则，某个式子 $f$ 对于某个变量 $x$ 的偏导数，就是从变量 $x$ 到式子 $f$ 的路径上的所有偏导数（或带入取值后的偏导数值）的连乘。

如果函数和参数之间有多条路径，可以将这多条路径上的导数再进行相加，得到最终的梯度。（原理还是链式法则）

在这里插入图片描述

因此 $f (x; w, b)$ 对 $w$ 的偏导数就是
$\begin{aligned} \frac{\partial f(x;w,b)}{\partial w} &=\frac{\partial h_1}{\partial w}\frac{\partial h_2}{\partial h_1}\frac{\partial h_3}{\partial h_2}\frac{\partial h_4}{\partial h_3}\frac{\partial h_5}{\partial h_4}\frac{\partial h_6}{\partial h_5}\\ &=x\times1\times-1\times\exp(h_3)\times1\times-\frac{1}{h_5^2}\\ &=\frac{x}{h_5^2}\exp(h_3)\\ &=\frac{x\exp(-(wx+b))}{(\exp(-(wx+b))+1)^2} \end{aligned}$