主成分分析PCA
一KL变换
KL变换是Karhu
e
Loeve变换的简称，是一种特殊的正交变换。它是建立在统计特性基础上的一种变换，有的文献也称其为霍特林（Hotelli
g）变换，因为他在1933年最先给出将离散信号变换成一串不相关系数的方法。KL变换的突出优点是它能去相关性，而且是均方误差（Mea
SquareError，MSE）意义下的最佳变换。下面就简单的介绍一下KL变换了。设，随机向量X∈R
阶列向量，它的均值向量为mX，则其协方差矩阵可以表示为CxEXmxXmxTCx是一个
阶的实对称阵。KL变换定义了一正交变换A∈R
，将X∈R
的向量映射到用Y∈R
代表的向量，并且使Y向量中各分量间不相关：YAXmx（22）（21）
因为Y的各分量间不相关，则其协方差矩阵Cy为对角阵，即Cydiagλ1λ2λ
1
f而矩阵A总是可以找到的，因为对于实对称阵，总能找到一个正交阵A，使得ACxAT的运算结果为对称阵。KL变换中，将A的每一行取为Cx的特征向量，并且将这些特征向量按对应的特征值大小进行降序排序，使最大特征值对应的特征向量在A的第一行，而最小特征值对应的特征向量在A的最后一行。而Cy是Cx对角化后的结果，所以两个矩阵的特征值是一致的（λ1λ2λ
）。这样就可以通过矩阵A实现由随机向量X到随机向量Y的KL变换了，而由XATYmx就可以实现Y反变换到X。若选择的最大k个特征值对应的k个特征向量，组成k×
的转换矩阵A，则变换后Y降为k维的，则由Y对X的恢复公式如下：X‘AKYmx（24）（23）
这时候Cydiagλ1λ2λk，X与X’之间的均方误差可以由下式表达：λk1λk2λ
（25
）上面我们提到了对于特征值λ是从大到小排序的，那么这时候通过式子25可以表明通过选择k个具有最大特征值的特征向量来降低误差。因此，从可以将向量X和
2
f它的近似X‘之间的均方误差降至最小这方面来说，KL变换是最佳变换。
二PCA，主成分分析
在二十世纪九十年代初，Kirby和Sirovich开始讨论利用PCA技术进行人脸图像的最优表示问题。并且由MTurk和APe
tla
d将此技术用于人脸识别中，并称为特征脸方法。MTurk和APe
tla
d将m×
的人脸图像，重新排列为m
维的列向量。则所有的训练图像经此变换后得到一组列向量：xi，xi∈Rm
，其中N代表训练样本集中图像的个数。将图像看成一随机列向量，并通过训练样本对其均值向量和协方差矩阵进行估计。均值向量μ通过下式估计：μ1Nx1x2xN协方差矩阵STExiuxiuTXXT其中X’x1r