支持向量机和梯度提升决策树

支持向量机（SVM, Support Vector Machine）

原理

支持向量机是一种监督学习模型，适用于分类和回归任务。SVM 的目标是找到一个能够最大化类别间间隔的超平面，以便更好地对数据进行分类。对于非线性数据，SVM 通过核技巧将数据映射到高维空间，使得在该空间中可以找到一个线性可分的超平面。

公式

SVM 的核心思想是找到一个超平面使得两类数据点之间的间隔最大化。给定训练数据集 (xi,yi)，其中 xi 是特征向量，yi 是类别标签（+1 或 -1），SVM 通过求解以下优化问题来找到最优的超平面：

满足约束条件：

其中，w 是超平面的法向量，b 是偏置。

对于非线性数据，SVM 使用核函数 K(xi,xj) 将数据映射到高维空间。常用的核函数包括线性核、径向基核（RBF 核）和多项式核等。

生活场景应用的案例

邮件分类：SVM 可以用于电子邮件的垃圾邮件分类。假设我们有一个包含电子邮件内容的数据集，并使用特征如词频、长度等。我们可以使用 SVM 模型来预测某封邮件是否为垃圾邮件。

案例描述

假设我们有一个包含电子邮件内容和标签的数据集，包括以下特征：

• 词频（Term Frequency）
• 词汇量（Vocabulary Size）
• 邮件长度（Email Length）
• 特定关键词出现次数（Keyword Occurrence）

我们希望通过这些特征预测某封邮件是否为垃圾邮件。我们可以使用 SVM 模型进行训练和预测。训练完成后，我们可以使用模型来预测新邮件是否为垃圾邮件，并评估模型的性能。

代码解析

下面是一个使用 Python 实现上述垃圾邮件分