机器学习——感知机模型

机器学习系列文章

入门必读：机器学习介绍

前言

大家好，大家好✨，这里是bio🦖。这次为大家带来的是感知机模型。下面跟我一起来了解感知机模型吧！

感知机 (Perceptron) 是二类分类的线性分类模型 ，其输入为实例的特征向量 ，输出为实例的类别 ，分别为 +1 和 -1。1957年，由康奈尔航空实验室（Cornell Aeronautical Laboratory）弗兰克·罗森布拉特 （Frank Rosenblatt）提出。它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类器。在人工神经网络领域中，感知机也被指为单层的人工神经网络，以区别于较复杂的多层感知机。

1. 感知机

1.1 感知机定义

感知器使用特征向量来表示二元分类器，把矩阵上的输入 $x$（实数值向量）映射到输出值 $y$ 上（一个二元的值）。
$$f(x)=\{\begin{array}{l}+1,ifw\cdot x+b>0\\ -1,else\end{array}$$

$w$ 是实数的表示权重的向量，$w\cdot x$ 是点积。$b$ 是偏置，一个不依赖于任何输入值的常数。

1.2 感知机学习策略

假设训练数据集是线性可分的 ，如下图所示。感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的直线 $\mathcal{L}$。 为了找出这样的超平而 ， 即确定感知机模型参数 $w$ ， $b$ ，需要确定一个学习策略 ， 即定义损失函数并将损失函数极小化 。

损失函数的一个选择是误分类数据点的数量 。 但是这样的损失函数不是参数 $w$ ， $b$ 的连续可导函数，不易优化 。 损失函数的另一个选择是误分类数据点到直线 $\mathcal{L}$ 的总距离。感知机所采用的就是后者 。

• 对于错误分类的数据点 $(x_i,y_i)$，总有：
  $$-y_i$$