第6章统计决策与贝叶斯推断解析.docx
- 文档编号:24099938
- 上传时间:2023-05-24
- 格式:DOCX
- 页数:16
- 大小:87.89KB
第6章统计决策与贝叶斯推断解析.docx
《第6章统计决策与贝叶斯推断解析.docx》由会员分享,可在线阅读,更多相关《第6章统计决策与贝叶斯推断解析.docx(16页珍藏版)》请在冰豆网上搜索。
第6章统计决策与贝叶斯推断解析
第6章统计决策与贝叶斯推断
理席軌食用热曇彙
在数理统计学中存在两大学派:
♦经典学派.频率学派或抽样学派
♦贝叶斯学派:
贝叶斯统计,其核心是贝叶斯推断
6.1统计决策
统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括,将不确定意义下的决策科学也包括在统计学范围之内,于1939年创立了统计决策理论,该理论弥补了过去统计理论的缺陷。
统计决策的显著特点是:
>统计决策建立在统计分析和统计预测的基础上,是一种定量决策。
>统计决策是在不确定情况下,应用概率来进行决策的计算和分析,是一种概率决策。
依统计决策论的观点,对决策有用的信息
决策问题的分类
—、基念
1.损失函数
描述当未知量处于状态&而采取行动。
时所引起的损失,记为L(0,a)
线性损失函数
L{Oya)==
K{}(0-aYa<0
Kx(a-0\a>0
常琢()和©的选取反映行动低于状超和高
于状樹的相对重要性。
绝对损失函数込(&,a)=|0-。
加权线性损失函数厶(&,a)=<
K^(J}{0-a\a<0
K^0)(a-G\a>0
加权平方损失函数乙⑹a)=A(0)(0-a)2
凸损失函数丄(0,a)=兄(0)C(|O-a\)
2(0)>0且有限,C()是定义雇>0上的单调非附凸函数JC(0)=0.
f0,\3-a\
o-i损失函数:
i1
[1,\&-a\>s
其中£>0
'.基本概念
2、决策函数
由样本空间X到行动空间A的可测映射〃(兀)称为决策函数。
3.风险函数
设〃)是一个决策函数,则损失函数L(0,d(X))关于样本分布F(x/0)的数学期望
R(3,d)=E^[L(^d(X))]
L(6,d(X)yiF(x/e)
称为决策函数〃(・)的风险函数。
风险函数R(0,d)描述在未知量处于状态0而采取决策〃时所蒙受的平均损失。
平均损失愈小,决策函数愈好。
二.常用的决策准则
1.一致最优决策准则
定义设①={〃(•)}表示定义在样本空间〃上取值于行动空间夬的某一决策函数类,若存在一个决策函数化)®,使得对任意d(・)eD,都有
/?
(0,d")S/?
(0,d),V0e@
则称/(•)为决策函数类D的一致最小风险决策函数,或称为一致最优决策函数。
2、最小最大(Minimax)决策准则
定义对于一个统计决策问题,设》={〃(・)}表示定义在样本空间〃上取值于行动空间方的某一决策函数类。
若有决策函数d()“Q,使得
supR(&,d)=inf{supR⑹d)}
6>g®de 则称/为该统计决策问题的最小最大决策函数,相应的风险称为最小最大风险。 3.贝叶斯决策准则 1先验信息与先验分布 无论是在统计决策问题还是在统计推断问题中总会包含未知量。 为了对作统计决策或者作统计推断,样本信息是必不可少的,因为它包念的最新信息。 除此之外,一些非样本信息也可用于统计决策和统计推断。 这些非样本信息主要来源于经验或历史资料。 由于此类经验或历史资料大多存在于(获取样本的)试验之前,故称这些非样本信息另先验信息。 统计学中有两个主要学派: 经典(频率)学派与贝叶斯学派。 经典学派认为是未知参数;贝叶斯学派认为是随机变量,应该用一个概率分布去描述的未知状况。 这个概率分布在抽样之前就已存在,它是关号的先验信息的概率陈述。 这个概率分布就称为先验分布,和9)来表示。 2贝叶斯公式与后验分布 称龙(0兀)为0的后验分布。 3先验风险准则与后验风险准则 定义1: 在给定的统计决策问题中,设/? (e,d)为决策函数〃(•)的风险函数,龙⑹为o的先验分布,则平均风险 3(d)□E&[R(0,d)]=龙(&)d& 0 称为决策d(.)的贝叶斯风险。 若在决策函数类①中存在/(•),使得B(d*)=infB(d) de(D 则称/为决策函数类①在贝叶斯(先验)风险准则下的最优决策函数,简称贝叶斯决策函数或贝叶斯解。 定义2: 在给定的统计决策问题中,设UO,d(X))为决策函数d(X)的损失函数皿(&卜)为&的后验分布,则条件期望风险 W|x)DE^[L(0,d(x))] =jL{6,d(x))7[(P\x)dO © 称为决策函数d()的贝叶斯后验风险。 若在决策函数类①中存在/(•),使得 R(d|x)=infR(d|x),xe% 则称/为决策函数类①在贝叶斯后验风险准则下的最优决策函数,或称其为贝叶斯后验型决策函数。 例6.1—位收藏家拟收购一幅名画,这幅画标价为5000元。 若这幅画是真品,则值10000元;若是贋品,则一文不值。 此外,买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉,其收益情况如下表 的行动画的状恳、、 买 不买 真品 -3000 贋品 -6000 0 现在,这位收藏家需要决定是买还是不买这幅画? (1)如果收藏家有以下三种决策可供选择: 心: 以概率0.5买下这幅画; /: 请一位鉴赏家进行鉴定(已知该鉴赏家以概率0.95识别一幅真画,以概率0.7识别一幅假画),如果鉴赏家鉴定为真品就买下这幅画; 仏: 肯定不买 那么,'什么是这位收藏家的最小最大决策? (2)如果根据卖画者以往的资料得知,q发生的概率为0.75,E发生的概率为0.25,那么这位收藏家是否应买下这幅画呢? (3)在 (2)的条件下,这位收藏家为稳妥起见,聘请一位鉴赏家做鉴定。 已知鉴赏家以概率0.95识别一幅真画,以概率0.7识别一幅假画。 如果鉴赏家说这幅画是真品,那么这位收藏家是否应买下这幅画呢? 表示“不 这是一个决策问题,状态集®={0^02}为真品,02 为贋品,行动集ARag},®表示“买込 军” 'L(O,a) 损失函数用梓阵口脣示为 6000 8000 0 0\ 2 统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”,“不该亏而亏损的钱”或者“不该支付而支付的钱”。 采用收益函数0(0,°)时,损失函数ci)=maxQ(eya)-a) a^A 采用支付函数W(0,d)时,损失函数L(0.a)=W(0,a)-minW(0,a)aeA 解: (1)对d],/? (q,a)=0x0.5+80050.5=4000 R(O2,dJ=6000x0.5+Ox0.5=300C 对d? ,/? (q,d? )=0x0.95+8000x0.05=400R(O2,J2)=6000k0.3+Ox0.7=1800 对,dJ=0X0+80081=8000 务 ■0 L= 6000 800010、 尺(&2‘〃3)=6000xO+Ox1=0max(0,dJ=max(4(XX),3(XX)}=4(XX) (&,〃2)=max{400J800)=1800 mjDL(0,dJ=max{8000,0}=8000 inf supR(O.d) 0e® =min{400Ql80Q800(|=1800 计算结果农叨,收藏家的最小最人决策为d“即如果鉴赏家鉴定为真品就买下这幅画,这-决策的报小瑕大风险为1@00元。 (2)由题意知,&的先齡分布力(0)为: e q &2 71 0.75 0.25 根据先验分布兀⑹,町分别篦出行动6^2的平均损失,亦即,行动①的平均风险,因为这是无数据决策问题,所以 爲[厶(&aJ]=0x0.75+6000x0.25=1500 瑞@勺)]=8000x0.75+0x0.25=6000 对比上述结果町知,采取行动务为上策,即,收藏家应该买下这幅画。 (3)引入随机变量 7' 若鉴赏家识别为真画 若鉴赏家识别为假画 由题意知: P{X=lp1}=0.95 P{X=l|@}=0.3 P[X=^}=0.05 P{X=q@}=0.7 郎J先验分M⑹为力©)=0.75,笊0,)=0.25,由贝叶斯公式可得0的后验分布 心⑴=「0恥"如“9048 f")P{X=10} J=i W1)=〃(①BX=g}Ro0952 E〃©)F{X=10.} f”0)P{X=O0} 7=« ”(如0)=2羽®)尸{X=0©}「0.8235 f”©)尸{X=O0.} 这样样木空间<H={1,()},行动空间駕卩,4}所以决策函数只有以下4个 £M={仁 刀2(乂)={;黑;〔。 d3(x)=ax,\/xeH d4(x)=a2,\/xEH 这样本值."1时,这些决策函数的贝叶斯后验风险分别是: 尺(4卩)=E即[乙(°,呼1))] =0.9048x0+6000x0952=571.2 MJ2|1)=E^[L(aJ2(l))] =8(X)()x0.9048+0x(): 952=7238.4 /? (t/3|l)=E^[L(6>,J3(l))] =0x0.9048+6000x0仍2=571.2 MJ4|1)=E6? 1[L(0,J4(l))] =8000x0.9048+0x0*952=7238.4 在x=0时,这些决策函数的贝叶斯后风险分别足: 尺(4|0)=%』"0,£(()))] =8(X)0x0.1756+0x0.8235=1412|0)=E^()[L(aJ2(0))] =0x().1756+6(XX)x0.8235=4941g|0)却£(0,仏(0))] =0x0.1756+6000x0.8235=4941 /? (J4|0)=E 1„[L(aJ4(0))] =8000x0.1756+0x0.8235=1412 可见在贝叶斯风险准则下,£(•)是最优决策函数,换言之,当鉴定家说这幅画是真品时,这位收藏家应买下这幅画。 下面计算(3)中那些决策函数的贝叶斯风险,先算X的边缘分布: 2 加⑴=£”(0)P{X=11q}=0.7875 >1 2 加 (2)=£兀(0)P{X=010}=0.2125 J=1 从而, B(dJ=ExIX)]=571.2x0.78754-1412x0.2125=749.87 〃(〃2)=6750.202B(dJ=1499.782=6(XX).29 由此可见,在贝叶斯风险准则下的最优决策函数仍是/(•),在两种不同风险准则下得出相同的最优决策函数,其理论依据是定理6.1.1. 定理6/1.1对给定的统计决策问题(含给定的先验分布)和决策函数类©,若贝叶斯风险满足条件 infB(d) 则贝叶斯决策函数/(•)与贝叶斯后验型决策函数厂(・)等价。 6.2贝叶斯推断 在经典统计学中,总体X的分布函数用F(x;&)表示, 其中表示未知参数,©表示参数空间。 F(x;&)改写为F{x\O 经典统计学并不产生彳壬何实质上的影响,仅仅是记号的变更。 / Bayes统计中意义就不同了,其表示条件分布。 定义6・1若函数h{x}和g(x)相比仅差一个常数因子,则称力O)为g(X)的核,记为 Kx)ocg(x) 例如 正态分布V(”,b2)的核是exp{-X-号)-},-oo 均匀分T\iU(a,b)的核是1,a 厂(a,2)分布的核是严一怙",x>0 按照上述观点,对6的后验分布兀(0lx)而言,有 龙(&lx)oc;r(&)p(&lx) pCfiLLxL^ 样本分布p(x\0)=Y[f(xi\O)其中/(兀|&)为总体x的条件概率密,度。 贝叶斯学派认为,&的后验分布龙(&1兀)集先验信息和样本信息于一身,包含了&的所有可供利用的信息,所以有关&的点估计,区间估计和假设检验等统计推断都要基于后验分布来进行。 一.贝叶斯估计 1、点估计 定义设总体X的分布函数为尺*),其中参数〃为具有先验分椰⑹的随机变量,又设X=(X|,…,X”)7为来自总体的样本。 若在决策函数类①中有一个/(•),使得 /? (/)=infB(d) de(D 则称/(X)为&的贝叶斯估计量 贝叶斯估计量就是贝叶斯决策函数(贝叶斯解) 定理若损失函数为乙⑹d)=(&-且E(&-d(X))2V8, 则0的贝叶斯估计为 J(x)=E(6>|x)=J&7u{0\x)d0nE&㈣ ® 其中祕&卜)为0的后验概率密度。 注: 由定理可知,当使用平方损失函数L(0,d)=(0-d)2时,&的贝叶斯估计为E(&卜)(或喺(&)),即&的后验分布的期望,故称这种估计为后验期望估计。 例1设总体X的分布为乂仏口"(从1),其中未知量“为随机变量,且“2(0,1),兀=3宀,…,£)7为来自总体X的样本值,求“的贝叶斯估计。 解: 因为“的后验概率密度的核是 龙(“卜)0C兀(“)p(兀同 n -辽(屛一“卩 0C幺丁•€I 0C“針“一爲)2 可见,在样本x=兀的条件下,“的条件分布为川兀口N(罕,亠) n+1n+1 所以,“的贝叶斯估计为 “砂卜)二花 n+\ 2、区间估计 定义设参数&的后验分布为兀(0卜),对给定的样本X和概率l-a(Ovav1),若存雇区域D满足下列条件: (1)P(OeD\x)=^7r{0\x)dO>\-a D (2)任给qwD,&2@D,总有兀©|x)>兀⑹卜),则称D是&的可信水平为l-Q的最大后验密度可信域。 当〃是一维的且D是一个区间时,称D为&的I最大后验密度可信区间。 条件 (1). (2)表明,D集中了后验概率密度取值 尽可能大的点,因此0的最大后验密度可信区间就是在同一可信概率下长度最短的区间。 例2设X=(X|,X2,・・・,X”)%来自正态分布N(“q2)的样本,其中/已知。 又设“的先验分布为正态分布Wo^o2),其审“o,b: 为已知,求“的可信区间。 解: 因为“的后验概率密度 兀(“卜)5(“)P(彳“) oce"J (“-“卩 oce2b 其中"(竽+绚)/(笃+A),宀(爲+4尸 可见兀(门劝是正态分布"(/,),因此对给定的l-a,查得标准正态分布N(O,1)的上侧分位数俊,使 P{|-1<“%|x}=\-a 于是,“的1-a最大后验可信区间是(a-b/z%,a+/v仅)。 3、贝叶斯假设检验 利用后验分布兀(牛),分别计算假设血与a的后验概率。 e=P(^|x),z=0,1 (Ho: Bw%H\: 納) 当后验概率比%/y>1时接受仏;当%/“v1时拒绝H。 ;当ajcc.«1时,则不宜匆忙做判断,需进一步抽样或搜集更多的先验信息。 例3设从正态总体皿“,1)中随机地抽取了一个容量为10的样本X,算得样本均值元=1・5,又设"的先验分布为正态分布N(0.5,2),现在检验如下假设 //(): //<1;H]: 〃>1 解由例2可知,“的后验分布仍为正态分布,且 “卜「N(a,b2) 直中nx“0、/.n1.10x1.5+0.5x0.5〔. 基干o=(p+铐)/(飞+-y)=————-1.4524 cr~弔/<7~erg10+0.5 庆=(二+-4)-*=—! —«0.30862 cr応10+0.5 因而假设H()与H}的后验概率分别为 1_14524 创=77(// O.JUoo a,=p(//>l|x)=l-0.0713=0.9287 两后验概率之比 勺=00713«0.0768匕0.9287 故拒绝弘,即认为正态均值大于1。 贝叶斯检验的特点: (1)简单易行,无需选择检验统计量,确定抽样分布; (2)无需事先给定显著水平,确定检验问题的扌巨绝域. (3)'容易推广到多重假设检验场合。 二.先验分布的选取 从前面的介绍可以看到,贝叶斯推断是基于后验分布的推断,而根据贝叶斯公式,后验分布又有赖于先验分布的选取,选择不同的分布作为。 的見验分布将会影响&的后验分布,从而将够响到贝叶斯推断的结果,所以先验分布的选取对于贝叶斯推断是至关重要的。 1、贝叶斯假设 贝叶斯学派认为,如果没有以往的任何信息来确定未知量0的先验分布,那么就用均匀分布作为它的先验分布,这种确定先验分布的原则称为贝叶斯假设。 按此原则选取的先验分布也称为无信息先验分布。 2、共辄先验分布 后验分布在贝叶斯推断中起着重要作用,但有时计算后验分布是一件比较复杂的事情。 为了能够简便地计算未知量〃的后验分布,引入共辄先验分布的概念。 定义设总体X的分布函数为F(xp),样本X],…,X”对9的条件分布为P3,…,兀|0),即样本分布〃(x|&),0的先验分布为兀(&),若由龙(。 )和卩(恥)决定的后验分布⑦(0|x)与兀(&)是同一个类型,则称先验分布r(&)为P(X0)的共辄先验分布。 寻找共辄先验分布的步骤: (1)先写出样本分布P(x\O)=L(O)似然, (2)选取与厶⑹具有相同核的分布作为先验分布,这个分布往往就是共辄先验分布.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 统计 决策 贝叶斯 推断 解析