北航数理统计大作业：Fisher判别与支持向量机方法

### 知识点一：Fisher判别分析 #### Fisher判别分析概念 Fisher判别分析是一种常用的统计方法，由英国统计学家罗纳德·费舍尔提出。它的主要目的是在多维数据中找到一个投影方向，使得在这个方向上不同类别的数据点之间距离最大化，同时同一类别内的数据点之间距离最小化。这种降维方法特别适合于分类问题，在于减少数据的复杂度，同时保留重要信息。 #### Fisher判别分析数学原理 - **目标**：最大化类间散度矩阵与类内散度矩阵的比值。 - **类间散度矩阵（Between-class Scatter Matrix）**：反映各类样本均值之间的差异。 - **类内散度矩阵（Within-class Scatter Matrix）**：反映同类样本之间的分散程度。 公式可表示为： \[ S_B = \sum_{i=1}^{c}N_i(\mu_i - \mu)(\mu_i - \mu)^T \] \[ S_W = \sum_{i=1}^{c}\sum_{x\in X_i}(x - \mu_i)(x - \mu_i)^T \] \[ J(w) = \frac{w^T S_B w}{w^T S_W w} \] 其中，\(S_B\)是类间散度矩阵，\(S_W\)是类内散度矩阵，\(J(w)\)是判别函数，\(w\)是投影方向，\(c\)是类别数量，\(N_i\)是第\(i\)类的样本数量，\(\mu_i\)是第\(i\)类样本均值，\(\mu\)是总样本均值。 #### 在数理统计中的应用 在北航数理统计的第二次大作业中，Fisher判别分析将被用于建立判别规则。学生需要编程实现Fisher判别方法，并通过回报法、交叉验证、刀切法三种不同的方法计算错判率，以评估判别规则的准确性。 ### 知识点二：支持向量机（SVM） #### 支持向量机概念 支持向量机是一种二分类模型，其基本模型定义在特征空间上间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。 #### SVM数学原理 - **最大间隔分类器**：找到最优的决策边界，使得不同类别的数据点与决策边界的距离最大化。 - **核函数**：当数据非线性可分时，通过核函数将原始数据映射到高维空间中，使得在新的空间中线性可分。 - **软间隔和松弛变量**：对于一些违反间隔的样本点，通过引入松弛变量允许一些样本不满足约束条件，以此提高模型的泛化能力。 #### 在数理统计中的应用 在数理统计的第二次大作业中，学生需要使用支持向量机方法建立判别规则。同样地，需要编程实现SVM，并使用三种不同的方法计算错判率，对比Fisher判别分析在相同条件下表现的差异。 ### 知识点三：错判率的计算方法 #### 回报法（Resubstitution Method） 回报法是一种简单的错判率估计方法，通过将训练数据集用于训练模型，然后在相同的训练集上进行预测，统计错判的数量来估计错判率。这种方法的优点是实现简单，缺点是容易产生过拟合现象，即模型对训练数据的拟合太好而泛化能力差。 #### 交叉验证法（Cross-Validation） 交叉验证法是一种减少过拟合影响的评估方法，通过将数据集分成几个小部分，轮流将其中的一部分作为测试集，其余的作为训练集，进行多次训练和测试，并计算平均错判率。常用的交叉验证方法有K折交叉验证和留一法交叉验证。 #### 刀切法（Jackknife Method） 刀切法是一种自助法，通过逐个移除数据集中的每个样本点，用剩余的样本点训练模型，并用被移除的样本点进行测试，最后统计错判率。刀切法可以帮助评估样本中离群点的影响，但由于需要多次训练模型，计算成本较高。 ### 文件解析 #### 文件名：dazuoye_2_fisher.m 该文件是用MATLAB编写的脚本，具体实现Fisher判别分析算法。在运行该文件时，可能会加载数据集、执行Fisher判别分析，计算并返回错判率。 #### 文件名：dazuoye_2_SVM.m 此文件也是MATLAB脚本，用于实现支持向量机算法。同样地，运行此脚本将进行模型训练、预测以及错判率计算。 #### 文件名：dazuoye_2_SVM_daoqiefa.m 该文件是专门用于支持向量机刀切法验证的MATLAB脚本。它在SVM的基础上进一步实现了刀切法，以评估单个数据点被移除时对模型性能的影响。 综上所述，文件“数理统计-fisher判别与支持向量机.zip”提供了在北航数理统计课程中对于两种统计方法——Fisher判别分析和支持向量机的实践应用，以及在实际应用中评估这些方法准确性的三种方法。通过分析和编程实践，学生能够深入理解这些重要统计工具的内在原理及应用，并能够掌握评估模型性能的技巧。