神经网络入门：感知机模型详解-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00907/article/details/148325845

神经网络入门：感知机模型详解

AI-For-Beginners 微软推出的人工智能入门指南项目，适合对人工智能和机器学习感兴趣的人士学习入门知识，内容包括基本概念、算法和实践案例。特点是简单易用，内容全面，面向初学者。项目地址: https://gitcode.com/gh_mirrors/ai/AI-For-Beginners

感知机的历史背景

1957年，康奈尔航空实验室的Frank Rosenblatt实现了现代神经网络的早期雏形——名为"Mark-1"的硬件设备。这个开创性的发明能够识别三角形、正方形和圆形等基本几何图形，在当时引起了巨大轰动。

Mark-1感知机采用20×20的光电管阵列作为输入，相当于拥有400个输入节点和1个二进制输出。这种简单的网络结构仅包含一个神经元，也被称为阈值逻辑单元。训练过程中需要通过手动调节电位器（一种可调节电阻的电子元件）来调整网络权重。

感知机模型原理

感知机是一种二分类模型，能够将输入数据划分为两个类别。假设我们的模型有N个特征，那么输入向量x就是一个N维向量。感知机的输出y(x)只能是+1或-1，具体计算方式为：

y(x) = f(wᵀx)

其中：

w是权重向量
f是阶跃激活函数，定义为：
- f(x) = +1 当x≥0
- f(x) = -1 当x<0

这个简单的数学模型构成了神经网络最基础的结构单元。

感知机训练过程

训练感知机的目标是找到能够正确分类大多数样本的权重向量w，即最小化误差函数E(w)。感知机准则定义的误差函数为：

E(w) = -∑wᵀxᵢtᵢ

其中求和针对所有被错误分类的训练样本：

xᵢ是输入数据
tᵢ是类别标签（+1或-1）

梯度下降算法

通常采用梯度下降法来最小化误差函数：

随机初始化权重w⁽⁰⁾
迭代更新权重：w⁽ᵗ⁺¹⁾ = w⁽ᵗ⁾ - η∇E(w)
- η是学习率
- ∇E(w)是误差函数的梯度

经过推导，权重的更新公式简化为： w⁽ᵗ⁺¹⁾ = w⁽ᵗ⁾ + ∑ηxᵢtᵢ

Python实现示例

def train(positive_examples, negative_examples, num_iterations=100, eta=1):
    weights = [0,0,0]  # 初始化权重
    
    for i in range(num_iterations):
        pos = random.choice(positive_examples)  # 随机选取正例
        neg = random.choice(negative_examples)  # 随机选取负例
        
        # 正例分类错误时增加权重
        z = np.dot(pos, weights)
        if z < 0:
            weights = weights + eta*pos
            
        # 负例分类错误时减少权重
        z = np.dot(neg, weights)
        if z >= 0:
            weights = weights - eta*neg
            
    return weights