模式识别(2-2)PPT推荐.ppt

模式识别(2-2)PPT推荐.ppt

《模式识别(2-2)PPT推荐.ppt》由会员分享，可在线阅读，更多相关《模式识别(2-2)PPT推荐.ppt（41页珍藏版）》请在冰豆网上搜索。

判别函数与决策面方程是密切相关的，并且都判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。

是由相应决策规则所确定的。

分类器设计分类器设计n例：

在两类别问题中，按最小错误率作决策时，决在两类别问题中，按最小错误率作决策时，决策规则的一种形式是：

策规则的一种形式是：

分类器设计分类器设计nn两类情况：

两类情况：

分类器设计分类器设计nn多类情况：

多类情况：

只有在特征空间中具有相邻关系的决策域的只有在特征空间中具有相邻关系的决策域的边界面才是有意义的决策面。

当边界面才是有意义的决策面。

当i的决策域与的决策域与j的的决策域相邻时，以下关系决定了相应的决策面决策域相邻时，以下关系决定了相应的决策面:

分类器设计分类器设计-决策面：

q当特征空间只是当特征空间只是一维一维时，一个决策面实际上只是一个时，一个决策面实际上只是一个点点。

q在在二维二维特征空间里，决策面是一条特征空间里，决策面是一条曲线曲线。

q三维三维则是一则是一曲面曲面。

q超过三维超过三维的空间，决策面是一个超曲面。

的空间，决策面是一个超曲面。

下图下图（a）表示了一个三类别问题用一维特征空间时的所有表示了一个三类别问题用一维特征空间时的所有决策边界，而图决策边界，而图（b）则表示了相应的二维特征空间中的决则表示了相应的二维特征空间中的决策边界。

策边界。

分类器设计分类器设计n分类器可以用软件或硬件实现。

图分类器可以用软件或硬件实现。

图2.6表示了两类别表示了两类别问题分类器的框图，而图问题分类器的框图，而图2.7则表示了多类别分类器则表示了多类别分类器的结构框图。

两者主要的不同在于多类别情况需有一的结构框图。

两者主要的不同在于多类别情况需有一个求最大值的环节，在图个求最大值的环节，在图2.7中用中用MAX表示，而两类表示，而两类情况则可简化为正负号判别器情况则可简化为正负号判别器（阈值单元阈值单元）。

2.42.4正态分布时的统计决策正态分布时的统计决策n为什么采用正态分布为什么采用正态分布?

q正态分布在物理上是合理的、广泛的。

（特征较多地分布在均值附近，远离均值点较少）q正态分布数学上简便，N（,）只有均值和方差两个参数。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n单变量正态分布：

单变量正态分布：

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n多元正态分布多元正态分布:

（1）概率密度函数形式）概率密度函数形式正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n多元正态分布多元正态分布:

（1）概率密度函数形式）概率密度函数形式正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质是非负矩阵，在此我们只考虑正定阵，即是非负矩阵，在此我们只考虑正定阵，即|0。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n

（2）多元正态分布的重要特性）多元正态分布的重要特性说明：

说明：

q多元正态分布的概率密度函数中的元就是我们前面多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。

说得特征向量的分量数，也就是维数。

q多维向量：

每一个分量都是多维向量：

每一个分量都是一个随机变量，服从正一个随机变量，服从正态分布。

但是一个多维随机向量不仅要求考虑每个态分布。

但是一个多维随机向量不仅要求考虑每个分量单独的分布，还要考虑分量单独的分布，还要考虑两个随机变量之间的关两个随机变量之间的关系系。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n例：

两个二元正态分布两个二元正态分布相同：

期望相同：

期望（1和和2）方差方差1和和2都相同都相同不同：

这两个特征向量在空间的分布却不相同：

不同：

对右图来说，对右图来说，x1和和x2有很大的相关性，而对左图来说，有很大的相关性，而对左图来说，随机变量随机变量x1与与x2之间的相关性很小。

之间的相关性很小。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n对于右图可以看出一个随机变量的x1分量较小时，另一分量x2也必然较小。

而当随机变量的x1较大时，则其相应的x2分量也较大。

n换句话说，如果x1分量小于其均值1,则其相应的分量x2也很可能小于它的均值2。

因此当x1-10时，也常伴有x2-20，这说明它们之间有联系，或称相关性。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n用（x2-2）（x1-1）这两项相乘来看就有倾向化。

对整个随机变量样本集取期望值，就会使E（x2-2）（x1-1）有非零值。

n反过来看左图中的随机变量分布，就没有这种规律。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n一个随机变量x1分量小于其均值,并不对其相应分量x2与均值之间的关系有什么限制。

在此时一个随机变量（x1-1）与（x2-2）的乘积的符号就可正可负，则E（x2-2）（x1-1）就可能接近于零，或等于零。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n协方差矩阵协方差矩阵协方差矩阵衡量相关性。

协方差矩阵衡量相关性。

非对角元素表示了两个分量之间的相关性。

主对角元素则是各分量本身的方差。

协方差矩阵的重要属性：

正定的对称矩阵。

由于它的主对角元素都是各分量的方差，因此一般情况下由于它的主对角元素都是各分量的方差，因此一般情况下都是大于零的值。

都是大于零的值。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质请问请问哪个是左哪个是左哪个是左哪个是左图图，哪个是右，哪个是右，哪个是右，哪个是右图图？

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n如果是一个三维向量，它的协方差矩阵是几乘几的矩阵？

如果是一个三维向量，它的协方差矩阵是几乘几的矩阵？

每个元素又对应什么含义？

33矩阵矩阵正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质设有二有二维随机随机变量的分布如量的分布如图a、b、c所示的三种情况，所示的三种情况，协方差矩方差矩阵表示成表示成试问这试问这三种分布分三种分布分三种分布分三种分布分别对应别对应哪种情况？

哪种情况？

B.a120正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n（3）性质：

性质：

1）与与对分布起决定作用；

对分布起决定作用；

p（x）N（,）,由由n个分量个分量组成，组成，由由n（n+1）/2元素组成。

元素组成。

多维正态分布由多维正态分布由n+n（n+1）/2个参数组成。

个参数组成。

2）等密度点的轨迹是一个超椭球面。

区域中心由）等密度点的轨迹是一个超椭球面。

区域中心由决定，决定，区域形状由区域形状由决定。

决定。

（x）（x）常数常数在二维情况下，上式的解是一个椭圆椭圆轨迹，其长短轴方向由协方差矩阵的特征向量决定，在三维时则是一个椭球面椭球面，超过三维则是超椭球面，主轴方向由协方差矩阵的特征向量决定，各主轴的长度则与相应的特征值成正比。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质nMahalanolbis距离：

距离：

r2（x）（x）按此定义：

多元正态分布等密度点按此定义：

多元正态分布等密度点X的轨迹是到的轨迹是到的的Mahalanolbis距离为常数的超椭球面。

距离为常数的超椭球面。

rr22=1,=1,试求求满足此条件的曲足此条件的曲线。

，故得，故得为一个一个椭圆.将将mahalanolbis距离与欧氏距离作比距离与欧氏距离作比较，前者是一个，前者是一个椭圆，而后者，而后者则是是圆。

正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n（3）性质：

3）多元正态分布的多元正态分布的离散程度离散程度由参数由参数|决定，这与单变决定，这与单变量时由标准差量时由标准差决定是对应一致的。

决定是对应一致的。

4）不相关性等价于独立性不相关性等价于独立性。

在数理统计中一般情况下，两个。

在数理统计中一般情况下，两个随机变量随机变量xi与与xj之间不相关，并不意味着它们之间一定独立。

之间不相关，并不意味着它们之间一定独立。

不相关只表明不相关只表明ExixjExiExj，即两变量乘积的期望，即两变量乘积的期望值等于这两变量期望值之乘积，而只有值等于这两变量期望值之乘积，而只有p（xi,xj）p（xi）p（xj），即两变量的联合密度函数等于两者概率密度函，即两变量的联合密度函数等于两者概率密度函数的乘积，这两个随机变量才是独立的。

但反过来相互独数的乘积，这两个随机变量才是独立的。

但反过来相互独立的随机变量，它们之间是不相关的。

然而对多元正态分立的随机变量，它们之间是不相关的。

然而对多元正态分布的任意两个分量布的任意两个分量xi与与xj而言，如果而言，如果xi与与xj不相关，则它们不相关，则它们之间也一定是独立的，也就是说正态分布中不相关性等价之间也一定是独立的，也就是说正态分布中不相关性等价于独立性。

于独立性。

（证明证明P27）正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质n（3）性质：

55）边缘分布和条件分布的正态性。

）边缘分布和条件分布的正态性。

66）线性变换的正态性）线性变换的正态性y=Ax，A为线性变换矩阵。

若为线性变换矩阵。

若xx为为正态分布，则正态分布，则y也是正态分布。

也是正态分布。

77）线性组合的正态性。

）线性组合的正态性。

正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策判别函数：

决策面方程：

正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策1.第一种情况：

第一种情况：

各个特征统计独立，且同方差情况。

（最简单情况）判别函数判别函数：

各类样本落入以各类样本落入以ii为为中心的同样大小的超中心的同样大小的超球体内。

球体内。

正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策vv如果如果如果如果cc类先验概率相等：

类先验概率相等：

每类样本都以半径相每类样本都以半径相等的超球面形状分布等的超球面形状分布在特征空间内在特征空间内最小距离分类器最小距离分类器正态分布概率模型下的最小错误率贝叶正态分布概率模型下的最小错误率贝叶斯决策斯决策最小距离分类器最小距离分类器若要对样本若要对样本x分类，只要计算分类，只要计算x到各类均值的欧式距离到各类均值的欧式距离平方即