模式识别作业.docx
- 文档编号:24908145
- 上传时间:2023-06-02
- 格式:DOCX
- 页数:23
- 大小:362.01KB
模式识别作业.docx
《模式识别作业.docx》由会员分享,可在线阅读,更多相关《模式识别作业.docx(23页珍藏版)》请在冰豆网上搜索。
模式识别作业
根据最小错误率贝叶斯判别函数和决策面的有关公式,在多元正态概率型(p(x|
)~N(
,
),i=1,…,c),根据判别函数
(x)=lnp(x|
)+lnp(
),可得到多元正态型判别函数为:
(x)=-
-
ln2
-
ln|
|+lnP(
)
而相应的决策面方程为:
决策面方程
通用表达式:
gi(X)-gj(X)=0
策面方程为
(x)=
(x)
由题目说明可知,由于先验概率相等,故公式中最后一项不加考虑,第二项与类别i无关,亦不考虑。
并且当类协方差矩阵相同或不同时对应决策面方程如下:
⒈各类协方差矩阵都相等时决策面方程为wT(x-x0)=0,其中w=∑-1(μi-μj),且当各类先验概率相同时x0=1/2(μi+μj)。
⒉各类协方差不相同时决策面方程为xT(Wi-Wj)x+(wi-wj)Tx+ωi0-ωj0=0。
式中Wi=-1/2∑i-1(d×d矩阵),wi=∑i-1μi(d维列向量),ωi0=-1/2μTi∑i-1μi-1/2ln|∑i|+lnP(ωi)。
而此时的判别函数为gi(x)=xTWix+ωiTx+ωi0
⒊式中∑i为类协方差矩阵,在题中对应aa1(i=1)。
∑i-1为类协方差逆矩阵,在题中对应aa11(i=1)。
xT表示矩阵x的转置矩阵,μi表示i类矩阵的均值矩阵(列向量形式),题中对应ui(i=1)。
一,
1.当两类协方差不相等时:
D1=[1,1;1,0;2,-1;];%向量每一行为一个样本,共三个样本。
disp(D1)%第一列第二列分别为特征值x1、x2
11
10
2-1
D2=[-1,1;-1,0;-2,-1;];
disp(D2)
-11
-10
-2-1
aa1=cov(D1)%cov()求矩阵的协方差矩阵
aa1=
0.3333-0.5000
-0.50001.0000
aa11=inv(aa1)%inv()求矩阵的逆矩阵
aa11=
12.00006.0000
6.00004.0000
a2=cov(D2)
a2=
0.33330.5000
0.50001.0000
a22=inv(a2)
a22=
12.0000-6.0000
-6.00004.0000
u1=mean(D1',2)%求矩阵D1每一列的均值,且以列向量结果形式给出
u1=
1.3333
0
u2=mean(D2',2)
u2=
-1.3333
0
W1=-0.5*aa11
W1=
-6.0000-3.0000
-3.0000-2.0000
W2=-0.5*a22
W2=
-6.00003.0000
3.0000-2.0000
w1=aa11*u1
w1=
16.0000
8.0000
w2=a22*u2
w2=
-16.0000
8.0000
w10=-0.5*u1'*aa11*u1-0.5*log(det(aa1))
w10=
-9.4242
w20=-0.5*u2'*a22*u2-0.5*log(det(a2))
w20=
-9.4242
symsx1x2;%定义变量x1、x2
x=[x1;x2];%定义列向量x
fprintf('决策面方程为:
')
D=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);
pretty(D)%给出函数D的直观表达形式
-6conj(x2)x1-6conj(x1)x2+32x1
value=subs(D,{x1,x2},[20])%把待定样本点[20]带入函数D
value=64
figure%绘制函数D的图形
ezplot(D)
holdon
plot(D1(:
1),D1(:
2),'bo')%绘制样本点所在位置
plot(D2(:
1),D2(:
2),'ks')
plot(2,0,'rp')
绘图结果如下:
可见,将待定样本x=(2,0)T带入决策面方程结果为64>0,所以该样本点被判定为应属于第一类。
而且从图中也可以直观地看出,红色的五角星即为待定样本点,落在第一类决策域中。
2.当两类协方差相同时
a12=aa1+a2%即他们两个协方差矩阵的和来当作他们两个共同的协方差矩阵
a12=
0.66670
02.0000
a1212=inv(a12)%a1212就表示这个相同协方差矩阵的逆矩阵
a1212=
1.50000
00.5000
w=a1212*(u1-u2)
w=
4
0
x0=0.5*(u1+u2)%两类先验概率相等,此时x0=12(u1+u2)
x0=
0
0
symsx1x2;
x=[x1;x2];
D=w'*(x-x0)
D=
4*x1
pretty(D)
4x1
value=subs(D,{x1,x2},[20])
value=
8
figure
ezplot(D)
holdon
plot(D1(:
1),D1(:
2),'bo')
plot(D2(:
1),D2(:
2),'ks')
plot(2,0,'rp')
绘图结果如下:
当两类协方差相同时,待定样本点带入新的决策面方程结果为8>0,故也认为该样本点属于第一类。
从图上也可以明显的看出(此时的两类分界线为一条直线)。
二
1.三类协方差不相等时:
>>D1=[0,0;2,1;1,0;];%给出三类样本矩阵
disp(D1)
00
21
10
>>D2=[-1,1;-2,0;-2,-1;];
>>D3=[0,-2;0,-1;1,-2;];
>>a1=cov(D1)%求协方差矩阵
a1=
1.00000.5000
0.50000.3333
>>a2=cov(D2)
a2=
0.33330.5000
0.50001.0000
>>a3=cov(D3)
a3=
0.3333-0.1667
-0.16670.3333
>>a11=inv(a1)%求协方差矩阵的逆矩阵
a11=
4.0000-6.0000
-6.000012.0000
>>a22=inv(a2)
a22=
12.0000-6.0000
-6.00004.0000
>>a33=inv(a3)
a33=
4.00002.0000
2.00004.0000
>>u1=mean(D1',2)%求均值矩阵
u1=
1.0000
0.3333
>>u2=mean(D2',2)
u2=
-1.6667
0
>>u3=mean(D3',2)
u3=
0.3333
-1.6667
>>W1=-0.5*a11
W1=
-2.00003.0000
3.0000-6.0000
>>W2=-0.5*a22
W2=
-6.00003.0000
3.0000-2.0000
>>W3=-0.5*a33
W3=
-2.0000-1.0000
-1.0000-2.0000
>>w1=a11*u1
w1=
2.0000
-2.0000
>>w2=a22*u2
w2=
-20.0000
10.0000
>>w3=a33*u3
w3=
-2.0000
-6.0000
>>w10=-0.5*u1'*a11*u1-0.5*log(det(a1))
w10=
0.5758
>>w20=-0.5*u2'*a22*u2-0.5*log(det(a2))
w20=
-15.4242
>>w30=-0.5*u3'*a33*u3-0.5*log(det(a3))
w30=
-3.4242
>>symsx1x2real;
>>x=[x1;x2];
>>D12=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);%分界线函数
>>D13=x'*(W1-W3)*x+(w1-w3)'*x+(w10-w30);
>>D23=x'*(W2-W3)*x+(w2-w3)'*x+(w20-w30);
>>fprintf('一二类决策面方程为:
')
一二类决策面方程为:
>>pretty(D12)
(4x1~-5/2251799813685248x2~)x1~
+(-5/2251799813685248x1~-4x2~)x2~+22x1~-12x2~+16
>>fprintf('一三类决策面方程为:
')
一三类决策面方程为:
>>pretty(D13)
(3/4503599627370496x1~+4x2~)x1~+(4x1~-4x2~)x2~+4x1~+4x2~
+4
>>fprintf('二三类决策面方程为:
')
二三类决策面方程为:
>>pretty(D23)
(-4x1~+4x2~)x1~+4x1~x2~-18x1~+16x2~-12
>>DD1=x'*W1*x+w1'*x+w10;%判别函数
>>DD2=x'*W2*x+w2'*x+w20;
>>DD3=x'*W3*x+w3'*x+w30;
>>v1=subs(DD1,{x1,x2},[-2,2])
v1=
-63.4242
>>v2=subs(DD2,{x1,x2},[-22])
v2=
-11.4242
>>v3=subs(DD3,{x1,x2},[-22])
v3=
-19.4242
>>figure
>>holdon
>>h=ezplot(D12);
>>set(h,'color','r')
>>h=ezplot(D13);
>>set(h,'color','b')
>>h=ezplot(D23);
>>set(h,'color','g')
>>plot(D1(:
1),D1(:
2),'ko')
>>plot(D2(:
1),D2(:
2),'ks')
>>plot(D3(:
1),D3(:
2),'kp')
>>plot(-2,2,'rp')
绘图结果如下:
因为把待定样本点分别带入三类判别函数,得到结果:
g
(1)=-63.4242,g
(2)=-11.4242,
g(3)=-19.4242。
因为g
(2)的值最大,所以认为该样本点应该属于第二类。
从图形上看,红线是一二类分界线,蓝线是一三类分界线,绿线是二三类分界线。
由已知样本点所属类知小圆圈是属于第一类,小正方形属于第二类,黑色小五角星属于第三类。
根据所需判定的样本点(即图中红色小五角星)的位置看,它距离第二类的小正方形较近,他们都位于二三类分界线(即图中两条绿线)之间,故也应该判定待定样本点属于第二类。
2.三类协方差相同时
>>D1=[0,0;2,1;1,0;];
>>D2=[-1,1;-2,0;-2,-1;];
>>D3=[0,-2;0,-1;1,-2;];
>>a123=a1+a2+a3%三个矩阵协方差矩阵之和作为它们共同的协方差阵
a123=
1.66670.8333
0.83331.6667
>>a123123=inv(a123)%共同的逆协方差矩阵
a123123=
0.8000-0.4000
-0.40000.8000
>>W1=-0.5*a123123
W1=
-0.40000.2000
0.2000-0.4000
>>W2=-0.5*a123123
W2=
-0.40000.2000
0.2000-0.4000
>>W3=-0.5*a123123
W3=
-0.40000.2000
0.2000-0.4000
>>w1=a123123*u1
w1=
0.6667
-0.1333
>>w2=a123123*u2
w2=
-1.3333
0.6667
>>w3=a123123*u3
w3=
0.9333
-1.4667
>>w10=-0.5*u1'*a123123*u1-0.5*log(det(a123))
w10=
-0.6781
>>w20=-0.5*u2'*a123123*u2-0.5*log(det(a123))
w20=
-1.4781
>>w30=-0.5*u3'*a123123*u3-0.5*log(det(a123))
w30=
-1.7448
>>symsx1x2real;
>>x=[x1;x2];
>>D12=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);
>>D13=x'*(W1-W3)*x+(w1-w3)'*x+(w10-w30);
>>D23=x'*(W2-W3)*x+(w2-w3)'*x+(w20-w30);
>>fprintf('一二类决策面方程为:
')
一二类决策面方程为:
>>pretty(D12)
2x1~-4/5x2~+4/5
>>fprintf('一三类决策面方程为:
')
一三类决策面方程为:
>>pretty(D13)
16
-4/15x1~+4/3x2~+--
15
>>fprintf('二三类决策面方程为:
')
二三类决策面方程为:
>>pretty(D23)
3432
---x1~+--x2~+4/15
1515
>>DD1=x'*W1*x+w1'*x+w10;
>>DD2=x'*W2*x+w2'*x+w20;
>>DD3=x'*W3*x+w3'*x+w30;
>>v1=subs(DD1,{x1,x2},[-2,2])
v1=
-7.0781
>>v2=subs(DD2,{x1,x2},[-22])
v2=
-2.2781
>>v3=subs(DD3,{x1,x2},[-22])
figure
v3=
-11.3448
>>figure
>>holdon
>>h=ezplot(D12);
>>set(h,'color','r')
>>h=ezplot(D13);
>>set(h,'color','b')
>>h=ezplot(D23);
>>set(h,'color','g')
>>plot(D1(:
1),D1(:
2),'ko')
>>plot(D2(:
1),D2(:
2),'ks')
>>plot(D3(:
1),D3(:
2),'kp')
>>plot(-2,2,'rp')
绘图结果如下:
因为将样本点(-2,2)T分别带入三类判别函数,得g
(1)= -7.0781,g
(2)= -2.2781,
g(3)= -11.3448。
显然g
(1)的值最大,应该将该样本判为第二类。
从图形上也可以直观的看出:
红线为一二类分界线,蓝线为一三类分界线,绿线为二三类分界线。
已知的样本小圆圈在第一类决策域,小正方形在第二类决策域,黑色小五角星在第三类决策域。
由图中红色小五角星(即待定样本点)的位置看,距离小正方形较近,故也应判为属于第二类。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 作业