线性代数之矩阵求导（4）矩阵微分，迹与求导

最新推荐文章于 2022-03-24 17:40:06 发布

原创

最新推荐文章于 2022-03-24 17:40:06 发布 · 5k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#线性代数 #矩阵 #机器学习

线性代数之矩阵求导（4）迹与矩阵求导

前言
矩阵微分定义
矩阵微分计算法则
- 常矩阵
- 线性
- 乘积
- 转置
- 迹
通过矩阵微分进行求导
常用的矩阵微分
后记

前言

本次将记录如何进行矩阵求导（标量对矩阵）。由于矩阵求导涉及行列式、迹，因此比标量对向量、向量对向量都要复杂一些。

矩阵微分定义

定义矩阵 $X$ 、实值函数 $f (X)$ 的微分和偏导矩阵：
$X=\begin{bmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \dots & \dots & \dots & \dots \\ x_{n1} & x_{n2} & \dots & x_{nn} \\ \end{bmatrix} \\ \quad \\ dX=\begin{bmatrix} dx_{11} & dx_{12} & \dots & dx_{1n} \\ dx_{21} & dx_{22} & \dots & dx_{2n} \\ \dots & \dots & \dots & \dots \\ dx_{n1} & dx_{n2} & \dots & dx_{nn} \\ \end{bmatrix} \\ \quad \\ \frac {\partial f(X)}{\partial X} = \begin{bmatrix} \frac {\partial f}{\partial x_{11}} & \frac {\partial f}{\partial x_{12}} & \dots & \frac {\partial f}{\partial x_{1n}} \\ \frac {\partial f}{\partial x_{21}} & \frac {\partial f}{\partial x_{22}} & \dots & \frac {\partial f}{\partial x_{2n}} \\ \dots & \dots & \dots & \dots \\ \frac {\partial f}{\partial x_{n1}} & \frac {\partial f}{\partial x_{n2}} & \dots & \frac {\partial f}{\partial x_{nn}} \\ \end{bmatrix} \\ \quad \\ 将f(X)看做关于矩阵元素的多元函数，则 \\ \quad \\ df(X)=\sum_{i=1}^n\sum_{j=1}^n \frac {\partial f}{\partial x_{ij}}dx_{ij} \\ \quad \\ 上式是矩阵乘积的内积，即矩阵AB^T的迹\\ \quad \\ df(X)=tr(\frac {\partial f(X)}{\partial X} (dX)^T) \\ = tr((\frac {\partial f(X)}{\partial X})^TdX) \\ = tr((\frac {\partial f(X)}{\partial X^T})dX) \\ \quad \\ 就将矩阵求导，微分和矩阵的迹关联了起来。$