kieven2008的专栏

一、什么是一维搜索 在许多迭代下降算法中，具有一个共同点，这就是得到点后，需要按某种规则确定一个方向，再从出发，沿方向在直线（或射线）上求目标函数的极小点，从而得到的后继点。重复以上做法，直到求得问题的解。这里所谓目标函数在直线上的极小点，称为一维搜索，或称为线搜索Line Search。 在机器学习中, 通常需要求某个函数的最值。 线搜索(line search)是求...

欧几里得空间，希尔伯特空间，巴拿赫空间或者是拓扑空间都属于函数空间。函数空间 = 元素 + 规则 ，即一个函数空间由元素与元素所满足的规则定义，而要明白这些函数空间的定义首先得从距离，范数，内积，完备性等基本概念说起。 一.距离 说到距离，我们首先想到的是点与点之间的距离，除此之外还有向量之间的距离，曲线之间的距离，函数之间的距离…。这儿谈到 距离 的定义是一种...