特征中选择一个iJx最大的特征加入已选特征集1iXx2在第k步kX中包含已经选择的k个特征对未入选的Nk个特征计算k
j
JXx
其中12
jNk并且按照由大到小排序将可分性判据最大的特征lx加入kX
1kk
lXXx
3直到所选的特征数等于M为止。
特征抽取的方法基于离散KL变换DKLT的特征抽取设原始特征为N为矢量12
T
NxxxX均值矢量EmX相关矩阵TEXRXX
f协方差矩阵T
E
XCXmXm。
我们可以对X作如下的标准正交变换将其变为矢量12T
NyyyY
12TTTN
TTT
YTXXT
Y的每个分量TiiyTX其中T为一个NN的标准正交矩阵iT为其第i个列矢量10Tijij
ij
≠TT。也就是说Y的每个分量是X每一个分量的线性组合。同样X可以表示为
11
212
1N
TNiiiNyyyy
∑XTYTYTTTT
我们要进行特征提取也就是要用Y的M项来代替X这种代替必然带来误差下面我们来对这
个误差进行估计
令1
M
ii
iy∑XT1MN≤引入的均方误差为
2
211NN
T
T
iiiiMiMeMEEyEyy
∑∑XX
XX1
1
N
N
T
T
T
i
ii
iiMiME
∑∑X
T
XXTTR
T
这又变成一个优化问题我们希望寻找到一个标准正交矩阵T使得2
eM最小因此可以去这
样的准则函数
1
1
1N
N
TTi
ii
i
i
iMiMJλ
∑∑X
TR
TTT
第一项保证均方误差最小第二项保证T为标准正交矩阵iλ为一待定常数。
iii
J
λXRIT0T1iMN
即iiiλXRTT很明显iλ为相关矩阵XR的特征值iT为对应于iλ的特征矢量由于XR是一个实对称矩阵所以12
NTTT相互正交T为一个正交矩阵。均方无差
f2
1
1
1
N
NN
TTi
ii
ii
i
iMiMiMeMλλ
∑∑∑X
TR
TTT
根据矩阵论有这样的结论一个NN的正定实对称矩阵有N个特征值和特征矢量这些特征矢量之间是正交的。相关矩阵XR就是一个实对称矩阵当训练样本足够多时也可以满足正定性根据上式我们知道当要从N维特征中提取出M维特征时我们只需要统计出特征相关矩阵XR然后计算其特征值和特征矢量选择对应特征值最大的前M个特征矢量作成一个NM特征变换矩阵T就可以完成特征提取。步骤如下
1、利用训练样本集合估计出相关矩阵TEXRXX
2、计算XR的特征值并由大到小排序12Nλλλ≥≥≥以及相应的特征矢量12NTTT
3、选择前M个特征矢量作成一个变换矩阵1
2
MTTTT
4、在训练和识别时每一个输入的N维特征矢量X可以转换r