m0_64879669的博客

原创 有效的特征选择减少对噪声的敏感度

其中之一就是剔除噪声特征（通过卡方检验、方差分析等的统计方法、基于树模型的特征重要性等的模型评估方法以及Lasso回归等的正则化手段，识别并剔除噪声）；而噪声具体指的是数据中不具有实际意义的无关信息或者随机波动（随机波动指的是无关数据与模型的具体任务分布是随机的不是关键特征），如果在模型中使用包含噪声的特征进行训练，会学习到噪声中的虚假模式，导致在训练集上表现良好但在新数据上表现差即过拟合现象。综上有效的特征选择能够减低对噪声的敏感度指的是通过特征选择尽可能地剔除无关信息的干扰从而少对噪声的敏感度。