可能并不完全相等。具体形式为:
(5)
假设对于给定的训练数据,用线性函数拟合数据,用(5)式作为损失函数,那么就产生了对回归的支持向量估计。通过使回归函数尽可能的平坦来控制函数的复杂性,并综合考虑拟合误差,可以得到线性回归估计的优化问题。然后利用Lagra
ge乘子法结合KKT条件,最终确定对应的决策函数形式为:
(6)
与分类情况下类似,线性SVR可以通过引入核函数推广到高维空间中,然后求解优化问题在高维空间中构造决策超平面。
2仿真实验
21数值实验
f龙源期刊网httpwwwqika
comc
(1)实验数据源于1936年费希尔发表的一篇重要论文。彼时收集了三种鸢尾花的花萼和花瓣数据,包括花萼的长度和宽度,花瓣的长度和宽度。其中包含150个样本,每类样本50个。我们根据这四个特征来建立SVM模型实现对三种鸢尾花的分类判别任务。对分类结果可视化,如图1所示。从图中可以看到,鸢尾花中的setosa类别同其他两种区别较大,而剩下的两种类别相差很小,甚至存在交叉难以区分。
(2)随机生成一组对数序列,然后采用SVR方法进行拟合,所得实验结果如图2所示。其中红线表示真值,蓝线表示拟合所得的结果,对比可以看出SVR回归的误差非常小,几乎是反映样本数据的最优函数关系。
22结论
SVM是一种有坚实理论基础的新颖的小样本学习方法,实现了高效的从训练样本到预报样本的推理。SVM的最终决策函数只由少数的支持向量所确定,而不是样本空间的维数,在某种意义上避免了“维数灾”。而且该方法不但算法简单,而且具有较好的“鲁棒”性。因此,近年来SVM方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用。
参考文献
1李晓宇,张新峰,沈兰荪支持向量机(SVM)的研究进展J测控技术,2006,25(5):712
2梁燕SVM分类器的扩展及其应用研究D湖南大学,2008
3刘靖旭支持向量回归的模型选择及应用研究D国防科学技术大学,2006
4陈永义,俞小鼎,高学浩等处理非线性分类和回归问题的一种新方法(Ⅰ)支持向量机方法简介J应用气象学报,2004,15(3):345354
5ScholkopfB,BurgesChJCa
dSmolaAJ,editedAdva
cesi
Ker
elMethodsSupportVectorLear
i
gMITPress,Cambridge,1999
fr