二元函数判断凹凸性

最新推荐文章于 2025-05-20 22:39:08 发布

原创最新推荐文章于 2025-05-20 22:39:08 发布 · 2.9w 阅读

41 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #数据挖掘 #凸函数

二元函数凹凸性判断

二元函数凹凸性判断：
设 $f (x, y)$ 在区域 $D$ 上具有二阶连续偏导数，假定 $x_0，y_0)$ 为一个驻点，且分别记为： $A=f_{xx}^{''}(x_0,y_0)，B=f_{xy}^{''}(x_0,y_0)，C=f_{yy}^{''}(x_0,y_0)$ 则：
$(1)在D上恒有A>0,且AC−B2≥0⟹凸函数\qquad{(1)在D上恒有A>0,且AC-B^2\geq0\Longrightarrow凸函数}$
$(2)在D上恒有A<0,且AC−B2≥0⟹凹函数\qquad{(2)在D上恒有A<0,且AC-B^2\geq0\Longrightarrow凹函数}$
注：这里的凸函数是指下凸，也就是我们常见的“凹函数”，只不过在机器学习中用这种叫法，毕竟是外国人发明的东西。
二元凹凸函数求最值：
设 $f (x, y)$ 是在开区域 $D$ 内具有连续偏导数的凸（或者凹）函数，其中 $(x0,y0)∈D(x_0,y_0)\in{D}$ ,且 $f_{x}^{'}(x_0,y_0)=0,f_{y}^{'}(x_0,y_0)=0$ ,则 $f(x_0,y_0)$ 必定为 $f (x, y)$ 在区域 $D$ 内的最小值（或者最大值）。

这里已知函数为：
$E(w,b)=\sum_{i=1}^{m}(y_i-wx_i-b)^2\tag{式1}$
将 $E (w, b)$ 分别对于 $w, b$ 求导数（偏导数），得到：
$\cfrac{\partial{E(w,b)}}{\partial{w}}=2(w\cdot\sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}(y_i-b)x_i)\tag{式2}$
$\cfrac{\partial{E(w,b)}}{\partial{b}}=2(mb-\sum_{i=1}^{m}(y_i-wx_i))\tag{式3}$
在（式2）基础上： $\cfrac{\partial^{2}E(w,b)}{\partial{w^2}}=\cfrac{\partial}{\partial{w}}(\cfrac{\partial{E(w,b)}}{\partial{w}})=\cfrac{\partial}{\partial{w}}(2(w\cdot\sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}(y_i-b)x_i))$
$=\cfrac{\partial}{\partial{w}}(2w\cdot{\sum_{i=1}^{m}x_i^2})=2\sum_{i=1}^{m}x_i^2\tag{式4}$
$⟹A=fxx′′(x,y)=2∑i=1mxi2\Longrightarrow{A=f_{xx}^{''}(x,y)}=2\sum_{i=1}^{m}x_i^2$
$\cfrac{\partial{E^2(w,b)}}{\partial{w}\partial{b}}=\cfrac{\partial}{\partial{b}}(\cfrac{\partial{E(w,b)}}{\partial{w}})=\cfrac{\partial}{\partial{b}}(2(w\cdot\sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}(y_i-b)x_i))$
$=\cfrac{\partial}{\partial{b}}(-2\sum_{i=1}^{m}(y_i-b)x_i)=2\sum_{i=1}^{m}x_i\tag{式5}$
$⟹B=fxy′′(x,y)=2∑i=1mxi\Longrightarrow{B=f_{xy}^{''}(x,y)}=2\sum_{i=1}^{m}x_i$
在（式3）基础上：
$\cfrac{\partial^2E{(w,b)}}{\partial{b^2}}=\cfrac{\partial}{\partial{b}}(\cfrac{\partial{E(w,b)}}{\partial{b}})=\cfrac{\partial}{\partial{b}}(2(mb-\sum_{i=1}^{m}(y_i-wx_i))) =2m\tag{式6}$
$⟹C=fyy′′(x,y)=2m\Longrightarrow{C=f_{yy}^{''}(x,y)}=2m$
$AC-B^2=4m\sum_{i=1}^{m}x_i^2-[2\sum_{i=1}^{m}x_i^2]^2=4m\sum_{i=1}^{m}x_i^2-4m\cfrac{1}{m}\sum_{i=1}^{m}x_i\cdot\sum_{i=1}^{m}x_i=4m(\sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}x_i{\bar{x}})$
$4m\sum_{i=1}^{m}(x_i^2-x_i\bar{x}-x_i\bar{x}+x_i\bar{x})=4m\sum_{i=1}^{m}(x_i^2-2x_i\bar{x}+\bar{x}^2)\geq0\tag{式7}$
注：上式中进行的一个替换操作为： $∑i=1mxixˉ=xˉ⋅m⋅1m∑i=1mxi=mxˉ2=∑i=1mxˉ2\sum_{i=1}^{m}x_i\bar{x}=\bar{x}\cdot{m}\cdot\cfrac{1}{m}\sum_{i=1}^{m}x_i=m\bar{x}^2=\sum_{i=1}^{m}\bar{x}^2$
以及： $1m∑i=1mxi=xˉ\cfrac{1}{m}\sum_{i=1}^{m}x_i=\bar{x}$ 。
到这里就证明了 $E (w, b)$ 为凸函数，所以就可以进行凸优化操作了。