jm1
Ea


j
b2。要使2最小，对b的选择
应满足：
Eajb2Ea22ajbb22Eajb0jbb

因此，bEaj，即对省略掉的a中的分量，应使用它们的数学期望来代替，此时的误差为：
2

jm1

EajEaj2jTExExxExTj
jm1


jm1

Tj
Cxj
其中，Cx为x的协
方差矩阵设λj为Cx的第j个特征值，j是与λj对应的特征向量，Cxj则从而
Tj

jj由于jTj1
Cxjj。因此
2
jm1



Tj
Cxj
jm1



j
由此可以看出，λj值越小，误差也越小。结论从KL展开式的性质和按最小均方差的准则来选择特征，应使Eaj0。由于EaETxTEx，故应使Ex0。基于这一条件，在将整体模式进行KL变换之前，应先将其均值作为新坐标轴的原点，采用协方差矩阵C或自相关矩阵R来计算特征值。如果Ex0，则只能得到“次最佳”的结果。将KL展开式系数aj（亦即变换后的特征）用yj表示，写成向量形式：yTx。此时变换矩阵用m个特征向量组成。为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即12m
0若首先采用前面的m个特征向量，便可使变换误差最小。此时的变换矩阵为KL变换是在均方误差最小的意义下获得数据压缩（降维）的最佳变换，
f且不受模式分布的限制。对于一种类别的模式特征提取，它不存在特征分类问题，只是实现用低维的m个特征来表示原来高维的
个特征，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。通过KL变换能获得互不相关的新特征。若采用较大特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，所以KL变换起到了减小相关性、突出差异性的效果。在此情况下，KL变换也称为主成分变换（PCA变换）。需要指出的是，采用KL变换作为模式分类的特征提取时，要特别注意保留不同类别的模式分类鉴别信息，仅单纯考虑尽可能代表原来模式的主成分，有时并不一定有利于分类的鉴别。KL变换实例原始模式分布
特征提取
作业设有如下两类样本集，其出现的概率相等：ω1：000T100T101T110Tω2：001T010T011T111T。用KL变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。
fr