Rdy11，满足yiwxib10i1
此时分类间隔等于2w，使间隔最大等价于使w2最小。满足上述条件的分类面就叫最优分类面，H1H2上的训练样本点就称作支持向量。
使分类间隔最大实际上就是对推广能力的控制，这是SVM的核心思想之一。统计学习理
论指出，在N维空间中，设样本分布在一个半径为R的超球范围内，则满足条件wA的正则超平面构成的指示函数集fxwbsg
wxb（sg
为符号函数）的VC维满足下
面的界
hmi
R2A2N1因此，使w2最小就是使VC维的上界最小，从而实现SRM准则中对函数复杂性的选择。
于是问题就转换成一个有约束的非线性规划问题：
mi
1w2wb2styiwxib1i12l
称上二式组成的最优化问题为原始优化问题。由于此为凸二次寻优问题，根据最优化理论，
第5页共14页
f密
封
线
这个问题存在唯一全局最小解。其Lagra
ge函数为：
L
12
w
2

l
i1yiwxi
i1
b
其中，i0是约束yiwxib1的Lagra
ge乘子。
根据KKT条件（KarushKuh
Tucker）有：
L
w

w
l
iyixi
i1

0
w

l
iyixi
i1
L
b

l
iyi
i1

0
根据wolf对偶理论，经运算将原始优化问题转为
max
w

l
i
i1

12
i
l
j1
i
j
y
i
y
j

xi
xj
l
stiyi0i0i12li1
解此最优化问题，可确定最优超平面。且通常只有一小部分i不为0，这些非零解对应的样
本就是支持向量。此时得到的最优分类函数是

fxsg
wxbsg
iyixixbi1
不难看出，式中的求和实际上只对支持向量进行。b可由任一支持向量回代求得。此时，我
们就得到了一个样本线性可分时的线性分类器。
（三）核函数
线性可分的问题可以由上述的线性分类器求解，当待分类样本为非线性可分时，可以通过非线性变换转化为某个高维空间中的线性问题，在变换空间求最优分类面。如图
第6页共14页
f密
封
线
当（ab）范围内的样本为一类，其余部分为一类时，在二维空间无法找到一个线性函数将其正确分开，但我们可以找到一条曲线，如
此时该函数表达式为
新建一个向量
gxc0x2c1xc2
yy1y2y3Tx2x1Taa1a2a3Tc0c1c2T将gx转化为fyay，此时fy与r