第三章非参数判别分类方法
学习指南：学习指南：前一章重点学习的贝叶斯决策具有理论指导的意义，前一章重点学习的贝叶斯决策具有理论指导的意义，同时也指明了根据统计参数分类决策的方向。沿这条路走就要设法获取样本统计分布的资料计参数分类决策的方向。沿这条路走就要设法获取样本统计分布的资料要知道先验概率，类分布概率密度函数等。先验概率，类分布概率密度函数等。然而在样本数不足条件下要获取准确的统计分别也是困难的。这样一来人们考虑走另一条道路，计分别也是困难的。这样一来人们考虑走另一条道路，即根据训练样本集提供的信息，直接进行分类器设计。这种方法绕过统计分布状况的分析，的信息，直接进行分类器设计。这种方法绕过统计分布状况的分析，绕过参数估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。这是当前模式识别中主要使用的方法，并且涉及到人工神统计参数的分类法。这是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论等多方面，是本门课最核心的章节之一。经元网络与统计学习理论等多方面，是本门课最核心的章节之一。非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。这里最重要的概念是分类器设计用一种训练与学习的过程来实现。划分方法。这里最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能力通过训练学习过程来实现，机器自动识别事物的能力通过训练学习过程来实现，其性能通过学习过程来提这是模式识别、人工神经元网络中最核心的内容。高，这是模式识别、人工神经元网络中最核心的内容。学习这一章要进一步体会模式识别中以确定准则函数并实现优化的计算框架。由于决策域的分界面是用数学式子来描述的，如线性函数，由于决策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因此确定分界面方程，这包括选择函数类型与确定最佳参数两个部分定最佳参数两个部分。函数等。因此确定分界面方程，这包括选择函数类型与确定最佳参数两个部分。一般说来选择函数类型是由设计者确定的，一般说来选择函数类型是由设计者确定的，但其参数的确定则是通过一个学习过程来实现的，是一个叠代实现优化的过程。过程来实现的，是一个叠代实现优化的过程。因此本章从最简单的函数类型讲再r