以对识别最有利原则这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维数下类别样本的可分性。可分性越大对识别越有利可分性越小对识别越不利。
人们对的特征的可分性判据研究很多下面几种常用的判据我们需要根据实际问题从中选择出一种。
一般来说我们希望可分性判据满足以下几个条件
1与识别的错误率由直接的联系当判据取最大值时识别的错误率最小
2当特征独立时有可加性即
1
21KN
KijNijxJxxxJ∑
ijJ是第i类和第j类的可分性判据ijJ越大两类的可分程度越大12
Nxxx为N维
特征
3应具有某种距离的特点
0ijJ当ij≠时0ijJ当ij时
ijjiJJ
4单调性加入新的特征后判据不减小
12121ijNijNNJxxxJxxxx≤。
但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件只能满足一个或几个条件。特征提取又称为特征变换最常采用的特征变换是线性变换即若D
Rx∈是D维原始特征变换后的d维新特征d
Ry∈为xWyT
其中W是dD维矩阵称作变换阵。特征提取就是根据训练样本求适当的W使得某种特征变换准则最优。
主成分分析方法的出发点是从一组特征中计算出一组按重要性从大到小排序的新特征他们是原有特征的线性组合并且相互之间是不相关的。
记pxxx21为p个原始特征设新特征ξi1p是这些原始特征的线性组合xxTijp
jijiααξ∑1

f为了统一iξ的尺度要求线性组合的模为1即
1iTiαα
写成矩阵形式是xAT
ξ
其中ξ是由新特征iξ组成的向量A是特征变换矩阵。要求解的是最优的正交变换A它使新特征iξ的方差达到极值。
3理论证明或说明
特征选择的基本框图为
一个典型的特征选择算法通常包括四个人基本步骤
1子集产生这是一个搜索过程通过一定的搜索策略产生候选的特征子集。
2子集评价每一个候选的特征子集都根据一定的评价准则得到并与先前的最优特征子集进行比较。
3终止条件算法结束所需要满足的条件它与子集的产生过程和评价准则的选用有关。
4结果验证就是根据一定的先验知识或通过合成现实数据集的测试来证明所选择的特征子集的性能。
f
基于特征提取主成分分析变换矩阵的一般过程
训练数据全集
4实现方法或步骤流程
特征选择顺序前进法
每次从未入选的特征中选择一个特征使得它与已入选的特征组合到一起所得到的可分性判据最大直到特征数增加到M为止。用kX表示在第k步时的特征集合搜索算法如下
1开始时0X从N个r