maxmNFZm2m
VC维反映了函数集的学习能力。一般而言，VC维越大，学习机器越复杂。但目前没有通用的关于任意VC维计算的理论，只对一些特殊函数集的VC维可以计算。如何利用理论和实验的方法计算VC维是当前统计学习理论中一个待研究的问题3。
12结构风险最小化机器学习本质上是一种对问题真实模型的逼近，由于真实世界的模型往往无法精确给出，
我们给出的模型与真实模型就存在一个误差，这个与真实模型之间的误差积累就叫做风险。统计学习理论系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即泛
化误差界。统计学习理论指出：经验风险Rempw和实际风险Rw之间至少以1η的概率满
足如下关系
RwRempw
hl
2lh1l
4l
其中，l是样本数，h是函数集的VC维。这一结论表明，统计学习的实际风险由两部分组成：一个是经验风险，另一个是置信风
险。置信风险反映了真实风险和经验风险差值的上确界，和VC维h记样本数l有关。可简单地表示为
RwRempwhl
在有限的训练样本下，学习机器的复杂性越高，VC维越大，置信风险就越大，就会导致真实风险和经验风险间的差别越大。如图所示
第3页共14页
f密
封
线
这就解释了为什么有些学习机器训练阶段的准确率可以达到100而泛化能力却很差。结构风险最小化原则（StructuralRiskMi
imizatio
SRM）就是为了取得经验风险与置信风险的最小和。统计机器学习理论就是为了努力最小化结构风险。即不仅要使经验风险最小化，还要使VC维最小。
（二）线性分类器线性分类器是最简单也是很有效的分类器形式，SVM就是是从线性可分情况下的最优分
类面发展而来的4。
21线性可分当一个线性函数能将样本完全正确地分开时，此时这些样本就是线性可分的。否则就称
为非线性可分的。线性函数指形如fxwxb的一次函数，此函数值为0时确定了一个
维空间的超平面HyperPla
e。w、x为
维向量，b为常数。
22最优分类面
第4页共14页
f密
封
线
方形和圆形为两类样本，H为分类线，H1H2分别为过各类分类线最近的样本，且与分
类线平行，他们之间的距离margi
称为分类间隔。当分类线H不但能将两类正确分开，而且使分类间隔最大时，此分类线称为最优分类线。对分类线方程wxb0进行归一化处理，
使得对线性可分的样本集xiyii1
xr