59、机器学习主成分的含义和贡献率【用Python进行AI数据分析进阶教程】

一、主成分的含义

• 主成分分析（PCA）是一种无监督学习算法，用于数据降维和特征提取。主成分是原始特征的线性组合，这些线性组合相互正交（即不相关），并且按照方差从大到小排列。第一主成分是数据中方差最大的方向，它捕获了数据中最多的信息；第二主成分是与第一主成分正交的方向中，方差最大的方向，以此类推。
• 例如，在一个二维数据集中，第一主成分可能是数据点分布最广的方向，而第二主成分则是与第一主成分垂直的方向。通过将数据投影到这些主成分上，可以实现数据的降维。

二、主成分的贡献率

主成分的贡献率是指每个主成分所解释的方差占总方差的比例。贡献率越高，说明该主成分包含的信息越多。累计贡献率则是前 k 个主成分的贡献率之和，它反映了前 k 个主成分总共解释了多少原始数据的信息。通常，我们会选择累计贡献率达到一定阈值（如 80% - 95%）的主成分来进行降维。

三、关键点

• 方差最大化：主成分是按照方差从大到小排列的，第一主成分的方差最大，包含的信息最多。
• 正交性：主成分之间相互正交，即它们之间不存在线性相关性，避免了信息的冗余。
• 降维：通过选择前 k 个主成分，可以将数据从高维空间降维到低维空间，同时保留大部分信息。

四、注意点

• 数据标准化：在进行 PCA 之前，通常需要对数据进行标准化处理，以确保所有特征具有相同的尺度。否则，尺度较大的特征可能会主导主成分的计算。
• 主成分解释：主成分是原始特征的线性组合，其物理意义可能不直观，难以直接解释。
• 维度选择：选择合适的降维维度 k 是一个关键问题。可以通过查看累计贡献率来确定 k 的值，但这需要根据具体问题进行权衡。

五、示例及代码

下面是一个使用 Python 和 scikit-learn 库对鸢尾花数据集进行 PCA 分析的示例代码：

Python脚本

# 导入 numpy 库，用于进行高效的数值计算，np 是 numpy 常用的别名
import numpy as np
# 从 sklearn 库的 datasets 模块中导入 load_iris 函数，用于加载鸢尾花数据集
from sklearn.datasets import load_iris
# 从 sklearn 库的 preprocessing 模块中导入 StandardScaler 类，用于对数据进行标准化处理
from sklearn.preprocessing import StandardScaler
# 从 sklearn 库的 decomposition 模块中导入 PCA 类，用于执行主成分分析（PCA）
from sklearn.decomposition import PCA
# 导入 matplotlib 库的 pyplot 模块，用于创建各种可视化图表，plt 是 pyplot 常用的别名
import matplotlib.pyplot as plt

# 设置支持中文的字体
plt.rcParams["font.family"] = ["SimHei", "WenQuanYi Micro Hei", "Heiti TC"]

def pca_analysis():
    try:
        # 调用 load_iris 函数加载鸢尾花数据集，并将结果存储在变量 iris 中
        iris = load_iris()
        # 从加载的鸢尾花数据集中提取特征数据（如花瓣长度、宽度等），存储在变量 X 中
        X = iris.data

        # 创建 StandardScaler 类的一个实例，用于后续的数据标准化操作
        scaler = StandardScaler()
        # 调用 scaler 对象的 fit_transform 方法，对特征数据 X 进行标准化处理
        # fit_transform 方法会先计算 X 的均值和标准差，
        # 然后将 X 转换为均值为 0、标准差为 1 的数据
        # 标准化后的数据存储在变量 X_scaled 中
        X_scaled = scaler.fit_transform(X)

        # 创建 PCA 类的一个实例，不指定降维后的维度，意味着保留所有主成分
        pca = PCA()

        # 调用 pca 对象的 fit 方法，对标准化后的数据 X_scaled 执行 PCA 分析
        # fit 方法会计算数据的主成分和对应的方差
        pca.fit(X_scaled)

        # 通过 pca 对象的 explained_variance_ratio_ 属性
        # 获取每个主成分的方差解释比例（贡献率）
        # 方差解释比例表示每个主成分所包含的原始数据的信息量占比
        explained_variance_ratio = pca.explained_variance_ratio_
        # 打印每个主成分的贡献率，方便查看每个主成分对数据信息的贡献程度
        print("每个主成分的贡献率:", explained_variance_ratio)

        # 使用 numpy 的 cumsum 函数计算每个主成分贡献率的累计值
        # 即前 k 个主成分的贡献率之和，存储在变量 cumulative_explained_variance 中
        cumulative_explained_variance = np.cumsum(explained_variance_ratio)
        # 打印累计贡献率，帮助判断前 k 个主成分总共保留了多少原始数据的信息
        print("累计贡献率:", cumulative_explained_variance)

        # 使用 matplotlib 的 figure 函数创建一个新的图形窗口，设置窗口大小为 8x6 英寸
        plt.figure(figsize=(8, 6))
        # 使用 matplotlib 的 plot 函数绘制折线图
        # 横坐标是主成分的数量，
        # 通过 range(1, len(cumulative_explained_variance) + 1) 生成
        # 纵坐标是累计贡献率，即 cumulative_explained_variance
        # marker='o' 表示在折点处添加圆形标记，方便观察每个主成分对应的累计贡献率
        plt.plot(
            range(1, len(cumulative_explained_variance) + 1),
            cumulative_explained_variance,
            marker='o'
        )
        # 设置 x 轴的标签为“主成分数量”
        plt.xlabel('主成分数量')
        # 设置 y 轴的标签为“累计贡献率”
        plt.ylabel('累计贡献率')
        # 设置图形的标题为“主成分累计贡献率”
        plt.title('主成分累计贡献率')
        # 在图形中添加网格线，方便观察数据点的位置
        plt.grid(True)
        # 显示绘制好的图形
        plt.show()

    except Exception as e:
        # 如果在执行上述代码过程中出现异常，捕获该异常并打印错误信息
        print(f"执行过程中出现错误: {e}")

# 这是 Python 脚本的主程序入口
# 当脚本作为主程序直接运行时，会调用 pca_analysis 函数
if __name__ == "__main__":
    pca_analysis()

输出 / 打印结果及注释

1、每个主成分的贡献率

plaintext

每个主成分的贡献率: [0.92461872 0.05306648 0.01710261 0.00521218]

• 此输出展示了每个主成分的方差解释比例（贡献率）。在鸢尾花数据集里，原始数据有 4 个特征，因此 PCA 会生成 4 个主成分。第一个主成分的贡献率约为 92.46%，表明它包含了原始数据中绝大部分的信息；第二个主成分的贡献率约为 5.31%；第三个主成分的贡献率约为 1.71%；第四个主成分的贡献率约为 0.52%。可以看出，大部分信息集中在第一个主成分中。

2、累计贡献率

plaintext

累计贡献率: [0.92461872 0.9776852 0.99478781 1. ]

• 这显示了前 k 个主成分的累计贡献率。第一个主成分就解释了约 92.46% 的数据方差；前两个主成分合起来解释了约 97.77% 的方差；前三个主成分解释了约 99.48% 的方差；四个主成分一起则解释了 100% 的方差。从这里可以推断，若要保留约 97% 以上的信息，选取前两个主成分就足够了。

3、可视化结果

运行代码后会弹出一个窗口，展示主成分累计贡献率的折线图。该图以主成分数量为横坐标，累计贡献率为纵坐标。通过这个图，能够更直观地看到随着主成分数量的增加，累计贡献率是如何变化的，从而帮助我们选择合适的主成分数量进行降维。

重点语句解读

1、数据加载和标准化：

Python脚本

iris = load_iris()
X = iris.data
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

• load_iris() 函数用于加载鸢尾花数据集。
• StandardScaler() 创建一个标准化对象，fit_transform() 方法对数据进行标准化处理，使数据的均值为 0，标准差为 1。

2、创建 PCA 对象并执行分析：

Python脚本

pca = PCA()
pca.fit(X_scaled)

• PCA() 创建一个 PCA 对象，不指定 n_components 参数，表示保留所有主成分。
• fit() 方法对标准化后的数据进行 PCA 分析，计算主成分和方差。

3、获取主成分的贡献率：

Python脚本

explained_variance_ratio = pca.explained_variance_ratio_

• explained_variance_ratio_ 属性返回每个主成分的方差解释比例，即贡献率。

4、计算累计贡献率：

Python脚本

cumulative_explained_variance = np.cumsum(explained_variance_ratio)

• np.cumsum() 函数用于计算数组的累计和，这里用于计算累计贡献率。

通过以上代码，我们可以得到每个主成分的贡献率和累计贡献率，从而帮助我们选择合适的降维维度。