特征筛选（嵌入型Embeded）

最新推荐文章于 2025-05-10 10:52:27 发布

原创

最新推荐文章于 2025-05-10 10:52:27 发布 · 629 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #机器学习

特征选择通过监督模型评估特征重要性，如L1正则化的稀疏特性及树类算法的特征影响度。L1正则化倾向于产生稀疏参数，而树类算法如GBDT利用特征对损失下降的贡献排序。sklearn.feature_selection.SelectFromModel工具简化了这一过程，允许设定阈值和最大特征数进行筛选。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于模型的特征选择使用一个监督机器学习模型来判断每个特征的重要性，并且仅保留最重要的特征。用于特征选择的监督模型不需要与用于最终监督建模的模型相同。特征选择模型需要为每个特征提供某种重要性度量，以便用这个度量对特征进行排序。

可以利用L1正则化的稀疏功能，以及树类算法可以计算特征重要性的功能。

L1正则化

相比L2正则化，L1正则化更趋近于使参数为0，而L2则会是参数趋向于零；所以L1具有稀疏参数的功能。

树类算法

通常采用RM,GBDT算法，利用每一层的特征对结果损失下降的总和排序，决出特征重要性排名。

sklearn.feature_selection.SelectFromModel

采用该函数可以直接帮我们实现特征筛选的功能

SelectFromModel(estimator, *, threshold=None, prefit=False, norm_order

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BeaNewer

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

（3-5）特征提取：嵌入（Embedding）

码农三叔

03-02

2560

嵌入层是深度学习中的一种常见层类型，通常用于自然语言处理（NLP）和推荐系统等任务，其中输入数据通常是符号序列。通过嵌入，每个符号（例如单词）被映射为一个稠密向量，这个向量可以捕捉到符号的语义和语境信息。自然语言处理（NLP）：在文本处理任务中，嵌入可以将单词或字符映射到连续的向量表示，使得模型能够捕获词语之间的语义关系和上下文信息。Word2Vec、GloVe和BERT等模型都使用了嵌入技术。推荐系统：在推荐系统中，嵌入可以用于表示用户和物品（如商品、电影等），从而构建用户-物品交互矩阵的表示。

特征工程之特征选择(4)----嵌入法(Embed)

weixin_43776305的博客

05-31

1万+

文章目录

1 条评论您还未登录，请先登录后发表或查看评论

特征选择-嵌入式选择

温染的笔记

05-28

1万+

嵌入式特征选择是将特征选择过程与学习器训练过程融为一体，两者在同一个优化过程中完成，即在学习器训练过程中自动地进行了特征选择。基于惩罚项的特征选择法给定数据集 D={(x1,y1),(x2,y2),⋯ ,(xn,yn)}D = \{(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n)\}D={(x1,y1),(x2,y2),⋯...

【AlphaFold2】深入浅出，Feature Embedding|学习笔记

最新发布

Yaoyao2024的博客

05-10

1218

特征嵌入一般指的是网络的前几层，将初始的特征（通常是one-hot独热编码）进行，嵌入到第一层可学习的嵌入向量中。此外，我们还会给模型构造位置编码，引入位置信息，弥补注意力机制对位置的感知；然后我们会使用迭代编码优化的机制（Recycling Embedder ），将模型预测的结果作为新一轮的输入，进行迭代优化，从而逐步提高预测的效果。

特征选择:过滤法，嵌入法，包装法

qq_29983883的博客

06-18

1511

到这里我们学习了常用的基于过滤法的特征选择，包括方差过滤，基于卡方，F检验和互信息的相关性过滤，讲解了各个过滤的原理和面临的问题，以及怎样调这些过滤类的超参数。通常来说，我会建议，先使用方差过滤，然后使用互信息法来捕捉相关性，不过了解各种各样的过滤方式也是必要的。

特征工程之特征选择之嵌入式

kylin_learn的博客

09-12

1891

ollama如何提高embeded 模型的嵌入性能，知识库用

03-28

- 通过Ollama支持的模型库（如Hugging Face）筛选性能与精度平衡的模型。 2. **调整模型参数** - **嵌入维度**：降低维度（如从768降至384）可减少计算量，但需权衡语义保留能力。 - **批处理大小**：增大批次...

【Uplift】特征选择篇

煎饼加鸡丝

04-11

1545

https://zhuanlan.zhihu.com/p/363866684 【Uplift】特征选择篇文章目录【Uplift】特征选择篇Filter方法F-filter和LR-filterBin-Based方法Embed方法特征过滤的效果个人理解本文主要参考论文《Feature Selection Methods for Uplift Modeling》介绍Uplift Modeling中的特征筛选问题，主要包括”Filter方法“和”Embed方法“。具体实现参考CausalML源码。做好特征选择

特征选择小结：过滤式、包裹式、嵌入式

敲代码的猫

11-28

4079

磕盐需要研究特征选择算法，故对所了解的信息做一个小结。常见的特征选择方法大致可以分为三类：过滤式、包裹式和嵌入式。通过特征选择可以减少特征维数、减少冗余特征、保留重要特征，使模型的学习能力和泛化能力更强。 1.过滤式（Filter）按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。 1.1 方差如果当前特征基本上都差异不大，因此可以认为这个特征对我们区分样本贡献不大，因此可以在构造特征过程中可以将其去掉。通过设定一个阈值，...

特征选择--wrapper,Embedded

surijing的博客

04-06

3548

wrapper定义 Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。包装法需要结合后续选择的机器学习算法，一起选择出能使最终算法达到较高性能的特征子集。根据目标函数，每次选择部分特征，或者排除部分特征。常用包装法：递归特征消除法：简称RFE，使用一个基模型来进行多轮训练，每轮训练后，移除若干权值系数的特征，再基于新的特征集进行下一...

特征选择-嵌入法、包装法 —— from 菜菜机器学习

weixin_60200880的博客

10-01

1843

包装法也是一个特征选择和算法训练同时进行的方法，与嵌入法类似，不同的是，包装法并不是自己输入某个评估指标或统计量的阈值。包装法在初始特征平台上训练评估器，并且通过coef_ 属性或feature_importances_属性获得每个特征的重要性。然后从当前的一组特征中修剪掉最不重要的特征，在修剪的集合上递归重复该过程，直到最终到达所需数量的要选择的特征。

matlab 特征选择

01-20

此matlab的mrmrd程序代码是基于特征选择的代码，可以筛选出最优的特征。此matlab的mrmrd程序代码是基于特征选择的代码，可以筛选出最优的特征。

Image Embedding(图片嵌入）/ Feature Embedding（特征嵌入）

热门推荐

jialibang的博客

11-10

2万+

Feature Embedding 特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。例如，针对用于说话者识别的语音信号训练的模型可以允许您将语音片段转换为数字向量，使得来自相同说话者的另一片段与原始向量具有小的距离（例如，欧几里德距离）。 embedding的主要目的是对（稀疏）特征进行降维，它降维的方式可以类比为一个全连接层（没有激活函数），通过 ...

用Python实现特征工程之特征嵌入（Feature Embedding）详解

qq_41698317的博客

08-11

2148

特征嵌入是一种将高维稀疏特征转换为低维稠密向量的技术。这种技术特别适用于处理高维数据，如文本、图像或图结构数据。通过嵌入方法，稀疏的高维特征被压缩到一个低维的连续向量空间，使得这些特征在机器学习模型中可以更好地表示和处理。自然语言处理（NLP）：在NLP中，特征嵌入如Word2Vec、GloVe、FastText等可以将词汇或短语表示为稠密向量，用于情感分析、机器翻译、信息检索等任务。图像处理：通过深度学习模型（如CNN）提取图像嵌入，用于分类、检索或生成任务。图数据分析。

【特征选择】嵌入式特征选择法

weixin_33778544的博客

05-01

2033

原创博文，转载请注明出处！嵌入式特征选择法使用机器学习模型进行特征选择。特征选择过程与学习器相关，特征选择过程与学习器训练过程融合，在学习器训练过程中自动进行特征选择。通过L1正则化来选择特征 sklearn在feature_selection模块中集成的模型SelectFromModel实现了嵌入式特征选择，SelectFromModel模型通过sklearn内置...

特征选择：嵌入法---《菜菜机器学习笔记》

weixin_41395763的博客

03-21

3253

嵌入法： 1、概念嵌入法是一种让算法自己决定使用哪些特征的方法，即特征选择和算法训练同时进行。在使用嵌入法时，我们先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征。这些权值系数往往代表了特征对于模型的某种贡献或某种重要性，比如决策树和树的集成模型中的feature_importances_属性，可以列出各个特征对树的建立的贡献，我们就可以基于这种贡献的评估，找出对模型建立最有用的特征。因此相比于过滤法，嵌入法的结果会更加精确到模型的效用本身，对于提高模型效力

matlab 内置特征选择,使用Matlab进行特征选择

weixin_33978722的博客

03-16

1219

Feature Selection using MatlabThe DEMO includes 5 feature selection algorithms:•Sequential Forward Selection (SFS)•Sequential Floating Forward Selection (SFFS)•Sequential Backward Selection (SBS)•Sequ...

特征嵌入在图像识别中的应用

xiehewe的博客

10-25

214

在图像分类、目标检测、图像搜索和相似性匹配等任务中，特征嵌入技术都能够发挥重要的作用，并且在实际应用中得到广泛的应用。在图像搜索中，通过提取图像的特征向量，并利用特征之间的相似度度量，可以实现对图像库中的图像进行检索，找到与查询图像相似的图像。通过将图像输入到深度神经网络中，利用网络中间隐藏层的特征向量，可以更好地描述图像的视觉特征，从而实现对图像的分类。例如，通过在网络中使用卷积层和池化层来提取图像的空间特征，再通过全连接层将这些特征映射到指定的类别标签，就可以实现图像分类任务。

【Embeded嵌入式，Filter过滤式特征选择】

武帝为此的博客

08-24

453

嵌入式特征选择是机器学习中一种常见的特征选择方法。它在模型训练的过程中自动选择最优的特征，从而提高模型的性能和泛化能力。在嵌入式特征选择中，特征选择和模型训练是同时进行的，这样可以使特征选择更加高效和准确。