总结起来，R语言中的递归特征消除（
RFE
）算
法
是一种常用的
特征选择
算
法
，通过递归地训练和评估模型，可以有效地筛选出最具有代表性和相关性的特征。
特征选择
是机器学习中一个重要的环节，它的目标是从给定的特征集合中选择出最具有代表性和相关性的特征，以提高模型的性能和泛化能力。需要注意的是，递归特征消除（
RFE
）算
法
在
特征选择
过程中可能会受到特征间相关性的影响，因此在实际应用中，我们需要根据具体问题选择适合的
特征选择
算
法
，并结合领域知识和实际需求来进行特征筛选。首先，我们需要导入所需的R包，例如。
基于SVM-
RFE
支持向量机递归特征消除的回归数据
特征选择
算
法
，输出为选择的特征序号（Matlab完整程序和数据）
Chinese:
Options：可用的选项即表示的涵义如下
-s svm类型：SVM设置类型(默认0)
0 -- C-SVC
1 --v-SVC
2 – 一类SVM
3 -- e -SVR
4 -- v-SVR
-t 核函数类型：核函数设置类型(默认2)
0 – 线性：u'v
1 – 多项式：(r*u'v + coef0)^degree
2 – RBF函数：exp(-r|u-v|^2)
3 –sigmoid：tanh(r*u'v + coef0)
经过
特征选择
后，保留特征的序号为：
126 160 161 163 165 166 237 239 240 370
评价结果如下所示：
平均绝对误差MAE为：0.27933
均方误差MSE为： 0.15813
均方根误差RMSEP为： 0.39765
决定系数R^2为： 0.93392
剩余预测残差RPD为： 4.2631
平均绝对百分比误差MAPE为： 0.0032299
在机器学习中，
特征选择
是一个重要的步骤，它有助于提高模型性能，减少计算复杂度。本篇博客将详细介绍一种称为“递归特征消除
法
”（Recursive Feature Elimination，简称
RFE
）的
特征选择
方法
。我们将首先介绍
RFE
的基本概念和原理，然后讨论如何选择合适的模型进行
RFE
，接着通过Python示例展示如何使用
RFE
和
RFE
CV（交叉验证递归特征消除
法
）进行
特征选择
。最后，我们将探讨如何根据特征重要性排序、查看最优特征数、名称以及绘制交叉验证得分随特征数量的变化曲线图等。无论你是机器学习新手还是
本次介绍的是算
法
，这是一个用于
特征选择
的工具。通过两个不同的应用案例—一个关于明朝的粮食与人口管理，另一个关于现代电商平台的客户满意度预测—展示了该算
法
的实用性和准确性。在两个案例中，该算
法
都成功地识别出了影响目标变量（人口增长率和客户满意度）的关键因素，并据此进行了准确的预测。优点总结，该算
法
非常适用于解决
特征选择
问题，特别是在有大量特征而不确定哪些特征最重要时。它能自动选择出对目标变量有最大影响的特征，从而简化模型并提高预测准确性。优点名称描述说明自动
特征选择
自动识别出影响目标变量最重要的特征。
使用
RFE
进行
特征选择
：
RFE
是常见的
特征选择
方法
，也叫递归特征消除。它的工作原理是递归删除特征，
并在剩余的特征上构建模型。它使用模型准确率来判断哪些特征（或特征组合）对预测结果贡献较大。
from sklearn import datasets
from sklearn.feature_selection import
RFE
from sklearn.linear_mod...
递归特征消除（
RFE
）是一种
特征选择
方法
，用于通过递归减少特征集的大小来找出模型性能最佳的特征。
RFE
的工作原理是反复构建模型并选择最重要的特征（基于模型权重），然后去除最不重要的特征，直到达到指定的特征数量。这个过程依赖于模型对特征重要性的评估，通常与具有coef_或feature_importances_属性的模型一起使用，如线性模型、支持向量机或决策树。
其中E为数学期望，cov表示协方差，N表示变量取值的个数
相关系数的绝对值越大，相关性越强，相关系数越接近于1或-1，相关系数越接近于0，相关度越弱。
通向情况下通过一下取值范围判断变量的相关强度：
相关系数绝对值： 0.8-1.0 极强相关
0.6-0.8 强相关
特征工程一般包含四部分特征使用特征获取特征处理特征监控本文主要介绍"特征处理"的
方法
确定标注（或者标记、标签、label）
特征选择
特征变换 （对值化、离散化、数据平滑、归一化、标准化、数值化、正则化）特征降维特征衍生确定标注针对监督学习，确定我们的目标标签、或者目标lable
特征选择
剔除与标注不相关或冗余的特征，减少特征的个数，缩小模型训练的时间。一定程度的减少过拟合，提高模型的精确度。 最终的目...
通过生成局部线性模型来近似原始模型的预测，LIME技术可以帮助用户理解模型在特定样本上的决策过程，提高模型的可解释性和信任度。因此，寻找一种有效的解释
方法
，能够准确地解释随机森林模型的预测结果，对于提高模型的可解释性至关重要。：SHAP基于博弈论中的Shapley值概念，通过计算特征值对预测结果的贡献度来解释模型的输出，从而确定每个特征对最终预测结果的影响。：LIME基于生成局部可解释性模型来解释模型的预测结果，通过在特定样本周围生成虚拟样本并训练解释性模型来近似原始模型的决策过程。
作者 | Pier Paolo Ippolito翻译 | Skura编辑 | 唐里原文标题：Feature Selection Techniques原文链接：https://towardsdatascience.com/feature-selection-techniques-1bfab5fe0784据《福布斯》报道，每天大约会有 250 万字节的数据被产生。然后，可以使用数据科学和机器学习技术对...
作者：Sugandha Lahoti翻译：李洁校对：杨光本文约3500字，建议阅读13分钟。本文中，我们将研究从数据集中选择特征的不同
方法
;同时通过使用Python中Scikit-learn (sklearn)库实现讨论了
特征选择
算
法
的类型。注：本文节选自Ankit Dixit所著的《集成机器学习》(Ensemble Machine Learning)一书。这本书组合强大的机器学习算
法
来建立优化模...
引言基于前几篇文章关于筛选
方法
的介绍，本篇同样给大家介绍
两种
python封装的经典特征降维
方法
，递归特征消除(
RFE
)与极限树(Extra-Trees, ET)。其中，
RFE
整合了
两种
不同的超参数，分别是SVM库中的线性SVC与Logistic
方法
。而ET函数内采用的仍是基尼系数评价特征重要性，因此这与前文基于随机森林的筛选指标是相同的，即平均不纯度减少量。运行环境：Anoconda python...
