对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个维特征空间中的线性分类问题，在高维特征空间

中学习线性支持向量机。由于在线性支持向量机学习的对偶问题里，目标函数和分类决策函数都只涉及实例和实例之间的内积，所以不需要显式地指定非线性变换，而是用核函数替换当中的内积。核函数表示，通过一个非线性转换后的两个实例间的内积。具体地， 是一个函数，或正定核，意味着存在一个从输入空间到特征空间的映射 ，对任意输入空间中的 ，有

在线性支持向量机学习的对偶问题中，用核函数  替代内积，求解得到的就是非线性支持向量机

综合以上讨论，我们可以得到非线性支持向量机学习算法如下：

输入：训练数据集 其中，， ；

输出：分离超平面和分类决策函数

（1）选取适当的核函数 和惩罚参数 ，构造并求解凸二次规划问题

得到最优解

（2）计算

选择 的一个分量 满足条件 ，计算

（3）分类决策函数：

介绍一个常用的核函数——高斯核函数

对应的SVM是高斯径向基函数分类器，在此情况下，分类决策函数为

参考

[1]《统计学习方法》 李航

[2]《机器学习》周志华

[3]Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM Jack-Cui

[4]深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

[5]支持向量机通俗导论（理解SVM的三层境界）

[6]Support Vector Machines for Classification