模式识别特征选择与提取
中国矿业大学计算机科学与技术学院电子信息科学系
班级信科111班学号08113545姓名褚钰博
联系方法QQ或手机390345438email
日期2014年06月10日
摘要
实际问题中常常需要维数约简如人脸识别、图像检索等。而特征选择和特征提取是两种最常用的维数约简方法。特征选择是从某些事物中提取出本质性的功能、应用、优势等而特征提取是对特征空间进行变换将原始特征空间映射到低维空间中。
本文是对主成分分析和线性判别分析。
关键词特征选择特征提取主成分分析线性判别分析
1引言
模式识别的主要任务是利用从样本中提取的特征并将样本划分为相应的模式类别获得好的分类性能。而分类方法与分类器设计都是在d变量统一用斜体维特征空间已经确定的前提下进行的。因此讨论的分类器设计问题是一个选择什么准则、使用什么方法将已确定的d维特征空间划分成决策域的问题。对分类器设计方法的研究固然重要但如何确定合适的特征空间是设计模式识别系统另一个十分重要甚至更为关键的问题。如果所选用的特征空间能使同类物体分布具有紧致性即各类样本能分布在该特征空间中彼此分割开的区域内这就为分类器设计成功提供良好的基础。反之如果不同类别的样本在该特征空间中混杂在一起再好的设计方法也无法提高分类器的准确性。本文要讨论的问题就是特征空间如何设计的问题。
基于主成分分析的特征选择算法的思想是建立在这样的基础上的主成分分析方法将原始特征通过线性变换映射到新的低维空间时获得的主成分是去了新的物理意义难以理解并且主成分是所有原始特征的线性组合。所以将主成分分析与特征选择相结合设计多种相似性度量准则通过找到与主成分相关的关键特征或者删除冗余、不相关以及没有意义的特征将主成分又重新映射到原始空间来理解成主成分的实际意义。
基于线性判别分析的高维特征选择将单个特征的Fisher准则与其他特征选择算法相结合分层消除不相关特征与冗余特征。不相关特征滤波器按照每个特征的Fisher评价值进行特征排序来去除噪音和不相关特征。通过对高维数据特征关联性的分析冗余特征滤波器选用冗余度量方法和基于相关性的快速过滤器算法。分别在不同情境下进行数据分类实验验证其性能。
f2原理分析
对一原始特征来说特征选择的方案很多从N维特征种选择出M个特征共有

MNNCMNM
中选法其中哪一种方案最佳则需要有一个原则来进行指导。
我们进行特征选择和特征提取的最终目的还是要进行识别因此应该是r