支持向量机

支持向量机广泛用于模式识别，机器学习等领域，SVM采用结构风险最小化原则，同时最小化经验误差，以此提高学习的性能。详细的SVM介绍请看我的另一篇博文《线性支持向量机》

在这简单介绍一下SVM。
设训练集 $\quad \frac{1}{2}||\omega||^2+C\Sigma_{i=1}^N\xi_i\\ s.t.\quad y_i(\omega\cdot x_i+b)\ge 1-\xi_i,i=1,2,...,N\\ \xi_i\ge0,i=1,2,...,N$

而原始问题可以转化为对偶问题：
$min\quad \frac{1}{2}\Sigma_{i=1}^N\Sigma_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\Sigma_{i=1}^N\alpha_i\\ s.t.\quad \Sigma_{i=1}^Ny_i\alpha_i=0\\ 0\le \alpha_i\le C,i=1,2,...,N$

Matlab基于 支持向量机 递归特征消除 ( SVM _ RFE )的回归数据 特征选择 算法，matlab代码，输出为选择的特征序号（Matlab完整程序和数据） Matlab基于 支持向量机 递归特征消除 ( SVM _ RFE )的回归数据 特征选择 算法，matlab代码，输出为选择的特征序号（Matlab完整程序和数据） Matlab基于 支持向量机 递归特征消除 ( SVM _ RFE )的回归数据 特征选择 算法，matlab代码，输出为选择的特征序号（Matlab完整程序和数据）经过 特征选择 后，保留特征的序号为： 126 160 161 163 165 166 237 239 240 370 -----------------------误差计算-------------------------- 评价结果如下所示：平均绝对误差MAE为：0.27933 均方误差MSE为： 0.15813 均方根误差RMSEP为： 0.39765 决定系数R^2为： 0.93392 剩余预测残差RPD为： 4.2631 平均绝对百分比误差MAPE为： 0.0032299

svm ()函数在建立 支持向量机 模型的时候有两种建立方式。简单地说，一种是根据既定公式建立模型；而另外一种方式则是根据所给的数据模型建立模型。根据函数的第一种使用格式，针对上述数据建模时，应该先确定所建立的模型所使用的数据，然后再确定所建立模型的结果变量和特征变来那个。代码如下： library(e1071) data(iris) #建立 svm 模型 model <- svm (Sp...

经常遇到或用到 SVM 算法，不过都是用的别人的代码，并没有深入的研究理解过。感觉很不应该，今天记录一下自己的感受和理解。之前对 SVM 的理解就是将数据映射到高维空间从而找到最优的分割平面。处理二维数据时，为一条分割线，三维时就是一个超平面。当维度上升，那就是寻找更高维的超平面。二维空间线性可分如何确定哪条分割线是最优的？我们希望这条线把两类分的越开越好，也就是它离两类的距离都很大。

支持向量机 递归特征消除（ SVM - RFE ）是一种基于 支持向量机 的回归数据 特征选择 算法。其主要思想是通过逐步删除最不重要的特征来选择最佳的特征子集。 SVM - RFE 算法首先使用 支持向量机 对原始特征进行训练，并得到特征的权重系数。然后，它通过删除具有最低权重的特征来减少特征集的大小。经过每一轮的特征删除后，重新训练 支持向量机 ，并计算每个特征的权重。这个过程持续进行，直到选择出所需的特征数目为止。 SVM - RFE 算法具有以下优点： 1. 对于高维数据，它可以自动选择出最佳的特征子集，减少特征的维度，提高模型的泛化能力。 2. 它能够在 特征选择 过程中评估特征的重要性，过滤掉不相关的特征，提高模型的效果。 3. 它可以处理非线性问题，通过核技巧将数据映射到高维空间。然而， SVM - RFE 算法也存在一些缺点： 1. 算法的计算复杂度较高，需要进行多次的 支持向量机 训练和特征权重的计算。 2. 在 特征选择 过程中，可能会遇到一些困难，因为有些特征可能与其他特征相关，删除它们可能会导致信息丢失。总之， SVM - RFE 算法是一种有效的 特征选择 方法，适用于回归问题。它通过递归地删除最不重要的特征，选择出有价值的特征子集，提高了回归模型的性能。但需要注意的是，在使用该算法时，要根据具体的问题场景和数据集进行调参，以获得最佳的结果。