贝叶斯分析.docx
- 文档编号:29138726
- 上传时间:2023-07-20
- 格式:DOCX
- 页数:21
- 大小:115.75KB
贝叶斯分析.docx
《贝叶斯分析.docx》由会员分享,可在线阅读,更多相关《贝叶斯分析.docx(21页珍藏版)》请在冰豆网上搜索。
贝叶斯分析
第四章贝叶斯分析
BayeseanAnalysis
§4.0引言
-、决策问题的表格表示损失矩阵
对无观察(No-data)问题a=S
可用表格(损失矩阵)替代决策树来描述决策问题的后果(损失):
ai
…
aj
…
am
n(J
111
l1j
11m
…
n(i)
li1
lij
…
n(n)
1mi
lnm
n(J
n(i)
…n(n)
ai
lii
lii
lin
aj
lij
am
lmi
lmn
损失矩阵直观、运算方便
、决策原则
就叫决策原则,贝叶斯分析的决策原则是使期望效用极大。
本章在介绍贝叶斯分
析以前先介绍芙他决策原则
三、决策问题的分类:
1.不确定型(非确定型)
自然状态不确定,且各种状态的概率无法估计
2.风险型
自然状态不确定,但各种状态的概率可以估计
四、按状态优于:
l, §4.1不确定型决策问题 一、极小化极大(wald)原则(法则、准则)aia2 minmaxl(i,aj)或maxmin比 例: a1 a2 a3 a4 1 10 8 7 9 2 4 1 9 2 3 13 16 12 14 4 6 9 8 10 各行动最大损失: 13161214 其中损失最小的损失对应于行动a3. 采用该原则者极端保守,是悲观主义者,认为老天总跟自己作对 、极小化极小 minminl(i,aj)或maxmaxUij a1 a2 as a4 1 r10 8 7 9 2 4 1 9 2 3 13 16 12 14 4 6 9 8 10 各行动最小损失: 4172 其中损失最小的是行动a2. 采用该原则者极端冒险,是乐观主义者,认为总能撞大运。 三、Hurwitz准贝U 上两法的折衷,取乐观系数入 min[入min1( 例如入=0.5时 i,aj)+ (1—入〕maxl(i aj)] 入m|nlij: 2 0.5 3.51 (1—入〕m? xlij: 6.5 8 67 两者之和: 8.5 8.5 9.58 其中损失最小的是: 行动 a4 四、等概率准则(Laplace) 用lj来评价行动a」的优劣 i 选minlj JJ i 五、后梅值极小化极大准则(svage-Niehans) 定义后梅值Sj=lj-minlik k 其中mjnlik为自然状态为i时采取不同行动时的最小损失 k 构成后梅值(机会成本)矩阵S={sij}mn,使后梅值极小化极大,即: minmaxsij ji 例: 损失矩阵同上,后梅值矩阵为: 3 1 0 2 3 0 8 1 1 4 0 2 0 3 2 4 各种行动的最大后梅值为: 3 4 8 4 其中行动a1的最大后梅值最小,所以按后梅值极小化极大准则应采取行动1. 六、Krelle准则: 使损失是效用的负数(后果的效用化),再用等概率(Laplace)准则. 七、莫尔诺(Molnor)对理想决策准则的要求(1954) 1.能把方案或行动排居完全序; 2.优劣次序与行动及状态的编号无关; 3.若行动ak按状态优于aj,则应有ak优于aj; 4.无关方案独立性: 已经考虑过的若干行动的优劣不因增加新的行动而改变; 5.在损失矩阵的任一行中各元素加同一常数时,各行动间的优劣次序不变; 6.在损失矩阵中添加一行,这一行与原矩阵中的某行相同,则各行动的优劣次序不变。 §4.2风险型决策问题的决策原则 一、最大可能值准则 令n(k)=maxn(J 选ar使1(k,ar)=min1(k,aj) n(i) a1 a2 a3 1 0.2 7 6.5 6 2 0.5 3 4 5 3 0.3 4 1 0 例: n (2)概率最大,各行动损失为345 •••应选行动ai 二、贝叶斯原则 使期望损失极小: min{l(i,aj)n(i)} i 上例中,各行动的期望损失分别为4.13.63.7,对应于a2的期望损失 3.6最小 •应选a2. 三、贝努利原则 损失函数取后果效用的负值,再用Bayes原则求最优行动. 四、E—V(均值一方差)准则 不存在符合E—V准则的行动,这时可米用f(卩,CT)的值来判断(卩为效益型后果 的期望) f(u,b)= 口-a(口2+c2) f越大越优. 五、不完全信息情况下的决策原则(Hodges-Lehmann原则) 状态概率分布不可靠时,可采用: ©(aj)=入Uji+min⑷i=1,2,…,mj=1,2,…,n i ©越大越优. §4.3贝叶斯定理 一、条件概率 1.A、B为随机试验E中的两个事件 P(A|B)=P(AB)/P(B) 由全概率公式: Ajj=1,2,…,n是样本空间的一个划分, P(B)=P(B|Aj)P(Aj) j 得Bayes公式 P(Ai|B)=P(B|Ai)P(Ai)/P(B) =P(B|Ai)P(Ai)/P(B|Aj)P(Aj) j 2.对E,X两个随机变量 •条件概率密度 f(9|x)=f(x|9)f(9)/f(x) •在主观概率论中 n(9|x)=f(x|9)n(9)/m(x) 其中: n(9)是9的先验概率密度函数 f(x|9)是B出现时,x的条件概率密度,又称似然函数. m(x)是x的边缘密度,或称预测密度. m(x)=f(x|9)n(9)d9 或P(x|i)n(i) i n(9|x)是观察值为x的后验概率密度。 例: A坛中白球30%黑球70% B坛中白球70%黑球30% 两坛外形相同,从中任取一坛,作放回摸球12次,其中白球4次,黑球8次,求 所取为A坛的概率. 解: 设观察值4白8黑事件为X,记取A坛为1,取B坛为2 在未作观察时,先验概率p(i)=p (2)=0.5 则在作观察后,后验概率 P(i|x)=p(x|i)p (1).p(x|i)p (1)+P(X|2)p (2) =034X078X0.5(034X078X0.5+O74X038X0.5) =074..(074X034) =0.2401.0.2482 =0.967 显然,通过试验、观察、可修正先验分布. §4.4贝叶斯分析的正规型与扩展型 一、正规型分析 由Baysean原则: 先验分布为n(9)时,最优的决策规则S是贝叶斯规则,使贝 叶斯风险 r(n,)=infr(n,5(x)) 其中: r(n,S(x))=ER(B冷(x)) =E[Exl(9,S(x)) =l(9,S(x))f(x|9)dxn(9)d9 x (1) 据⑴式,选使r(n,S)达到极小,这就是正规型的贝叶斯分析。 在解实际问题时,求使 (1)式极小的S(x)往往十分困难,尤其在状态和观察值比较复杂时,△集中的策略数目很大,穷举所有的S(x)有困难,且计算量颇大。 实际上可用下法: 二、扩展型贝叶斯分析(ExtensiveFormAnalysis) 在 (1)式中因l(9,S)>-%, f(x|9),n (9)均为有限值。 •••由Fubini定理,积分次序可换 即r(n,S(x))=l(9 x S(x))f(x|9 )dxn(9)d9 x l(9,S (x))f(x|9)n(9 )d9 dx ⑵ 显然,要使 (2)式达到极小, 应当对每个 x€X,选择S, 使 l(9,S (x))f(x|9)n( 9)d 9 (2'为极小 •••S(x)=a•••若对给定的x : 选a,使 l(9,S(x))f(x|9)n(9)d9 为极小 亦即, 使(l(9,a)f(x|9) m(x) n(9)d9 =l(i,a)n(i|x) d9或 l(i,a)p(i|x) ⑶ i 达极小,即可使 (1)式为极小. •结论: 对每个x,选择行动a,使之对给定x时9的后验分布n(9|x)的期望损失 为极小,即可求得贝叶斯规则 这种方法叫贝叶斯分析的扩展型,由此确定的贝叶斯规则叫formalBayesean Rule ——RaiffaSehlaifer,1961年提出。 Note •使3)式达极小的行动可能不只一个,即可能有多个贝叶斯规则; •扩展型比正规型更直观,也容易计算,故更常用; •许多分析人员只承认扩型,理由是: i,冗(9|x)描述了试验后的B的分布,比n(9)更客观,因此,只要损失函数是由效用理论导出的(即考虑了DMer的价值判断、风险偏好),在评价行动a的优劣时就应当用后验期望损失。 ii,r(n,S)是根据n(9)求出的,而用先验分布n(9)来确定行动a并不一定适当。 从根本上讲,这种观点是正确的。 •无论从何种观点来进行贝叶斯分析,从理论上讲,结果是一样的,所以采用何种方法可视具体问题,据计算方便而定。 •已经证明,形式贝叶斯分析对一类非随机性决策规则是成立的,也可以证明它对随机性决策规则同样成立。 使所有x上后验期望损失极小的贝叶斯规则也是随机性规则集△*中的Bayes规则,因此,总可以找到一验期望损失极小的非随机性规则。 三、例(先看无观察问题) 农民选择作物问题,设某地旱年1占60%,正常年景2占40%;a1种植耐旱作 a2种不耐旱作物,后果矩阵为: aia2 1200 260100 决策人的效用函数u(y)二丄(1-e0.02y) 0.865'’ 解: i令: l(y)=1-u(y) ii,作决策树: n iii,在无观察时,R=l,r=l(i,a)n(J 11 r(n,a1)=l(1,ajn(J+l(2,aJn (2) =0.62XO.6+0.19X0.4 =0.448 r(n,a2)=1(i,a2)n(i)+l(2,a2)n (2) =1.0XO.6+0X0.4 =0.6 风险r小者优,二S=ai,是贝叶斯规则,即贝叶斯行动.即应选择耐旱作物 四、例(续上) 设气象预报的准确性是0.8,即p(xi|i)=0.8p(x2|2)=0.8 其中,Xi预报干旱 X2预报正常年景 则m(xi)=p(xi|1)n (1)+p(xi|2)n (2) =0.8X0.6+0.2X0.4=0.56 m(x2)=0.44 n(i|xi)=p(xi|1)n (1)/m(xj =0.8X0.6/0.56=0.86 n(1区)=卩(x211)n (1)/m(X2) =0.2X0.6/0.44=0.27 n(2Ix1)=0.14 n(21X2)=0.73 1.正规型分析 ①策略1: a1=1(x1)a2=1(x2) r(n,1)=I(i,1(Xj))p(Xj|i)n(i) ij 4-7 =l(1,a1)p(X1|1)n (1)+l(1,a2)p(X211)n (1) +l(2,a1)p(x112)n (2)+l(2,a2)p(x2|2)n (2) =0.62X0.8X0.6+1.0X0.2X0.6+0.19X0.2X0.4+0.0X0.8X0.4 =0.4328 ②策略2: ai=2(x2)a2=2(Xi) r(冗,2)=1(i,2(Xj))P(Xj|Jn(i) ij =l(i,ai)p(X2Ii)n(i)+l(1,a2)p(x1I1)n (1) +l(2,ai)p(X2I2)n (2)+1(2,a2)p(Xi|2)n (2) =0.62X0.2X0.6+1.0X0.8X0.6+0.19X0.8X0.4+0.0X0.8X0.4=0.6152 3策略3: a1=3(X1)a1=3(X2) r(n,3)=0.45 4策略4: a2=4(X1)a2=4(X2) r(n,4)=0.6 •••r(n,1) 4-82.扩展型之一: 据(2'): 1(9,S(x))f(x|9)n(9)d9记作r' 1给定x1(预报干旱): 采用air'二l(i,ajp(xi|Jn(i) i =l(i,ai)p(Xi|i)n(i)+l(2,ajp(xi|2)n (2) =0.62X0.8X0.6+0.19X0.2X0.4 =0.3i28 采用a2r'=l(i,a2)p(Xi|1)n (1)+l(2,a2)P(xi|2)n (2) =0.48 •••风险小者优二给定xi应选ai 2给定x2(预报天气正常) 采用air'=I(i,ajp(x2Ii)n(i)+l(2,ai)p(x2|2)n (2) =0.62X0.2X0.6+0.i9X0.8X0.4 =0.i35 采用a2r=I(i,a2)p(xi1i)n(i)+I(2,a2)p(xi12)n (2) =i.0X0.2X0.6+0 =0.i2 二给定X2应选a2 由此得形式Bayes规则: ai=(xja? =(x? ) l(i,a)n 3.扩展型之二: 据(3)式即l(i,a)n(i|x)d9或 i (i|x)(记作r”) ①给定xi, 采用air”=l(i,ai)n(i|xi) i =l(i,ai)n(i|xi)+l(2,ai)n(21xi) =0.62X0.86+0.i9X0.i4 =0.56 采用a2r”=I(i,a2)n(i|xj+1(2,a2)n(2|xJ =1.0X0.86+OX0.14 =0.86 •••给定xi,应选行动ai. ②给定X2 采用air”=l(i,ai)n(jx? ) i =l(i,ai)n(i|x2)+l(2,ai)n(2IX2) =0.62X0.27+0.19X0.73=0.3061 采用a2r”=1(i,a2)n(i|x2) i =l(1,a2)n(11x2)+l(2,a2)n(21x2) =1.0X0.27+0X0.73=0.27 •给定X2应选择行动a2. •形式Bayes规则: a1=(xja2=(X2) §4.5非正常先验与广义贝叶斯规则 一、非正常先验(ImproperPrior) 概率测度的三个条件: i,规范性: P(Q)=1 ii,非负性: 0WP(A)<1 iii,可列可加性 在设定先验分布时,若不满足规范性,则称为非正常先验 、广义贝叶斯规则(General_Bayesean_Rule) 1.定义: 决策问题的损失函数为1(9,a),n(9)为非正常先验分布,对给定的i,使 1,1(9(x))f(x|9)n(9)d9为极小,或者 ii,0vm(x)v—x时,使1(i,a)n(i|x)d9为极小的策略(行动),构成广义贝叶斯规则. 2.Nole: ①在许多重要场合,所有允许的都是GBR 2在无法得到正常先验时,除此别无良策; 3GBR不一定是最好的决策规则 §4.6一种具有部分先验信息的贝叶斯分析法 一、概述 1.思路: 在部分先验信息难以唯一地确定n(9)时,抛开唯一性要求,转而确定与已知先验 信息相符的先验分布的集。 2.符号 i,©和A为有限集: ®={1,2,…,n} A={a1,a2,…,am} 损失矩阵L={lij}nmlij=l(i,aj) ii,根据贝叶斯分析的扩展型 给定x,应从集合A中选一行动ak,使 q(a)=l(i,a)p(xt|i)n(i)为极小,亦即 i ak=argrpifq(a)或q(aQ 则ak为贝叶斯行动. 记P(X1|J为pi(x),n(i)为i Lk=[hk,〔2k,…,lnk]n={1,2,…,n} 则1(i,a)p(xji)n(J=L【[diag{Pi(x)}卫] i ⑷式可表示成L: [diag{Pi(x)}_£] j=1,2,…,m (5') (5”) ⑸式即[(LT-1Lt)diag{pi(x)}]n>0 记(Lt-1Lt)diag{Pi(x)}为Dk(x),式(5'可表示为: Dk(x)n>0 3.(5式的含义 (1)给定x,先验分布为n时,应选ak使5(即5'亦即5”式成立。 ⑵对给定的x,要使ak成为贝叶斯行动,n应满足5(即5'亦即5”式.由 (2)可以定义 k(x)={n|Dk(x)n>0;ii1,i>0} 式中,n是先验分布的所有可能的集, k(x)是n的一个子集,它能i,使对给定x为Bayes行动 ii,满足规范性和非负性 二、分析步骤 1.确定k(x) 2.确定先验信息对先验分布n(0)的约束: Q={卫€叫A0,ii1,i>0} 式中,An>0是先验信息对先验分布n(0)的约束. 3.结论: 当k(x)与Q有非空交集时,ak为Bayes行动. 三、例 已知: i,Q={n€n|i》0.5,2》3,3》10,ii1} ii,由已往的统计资料,三种病患者的白血球计数: f(x|1)=N(3000,10002) f(x|2)=N(3000,10002)f(x|3)=N(3000,10002) iii,观察: x=5000 要求判定: 患者得什么病 1} 解: p(x|1)=p(5000|i) 50501 =e 495021 (x)2 22dx 令x*=x1 1 2.051 x*2 =1-2e 2dx =0.9798-0.9744= : 0.0054 同理可得: p(x| 2)=0.0091 p(x| 3)=0.0000105 011 1 011 00 0 vL=101 丄「=1011 011,••• LT-1l T 1= 11 0 110 1 011 10 1 5410110 0 0 0 diag{p i(x)}=019.1110 D1= 5.4 9.1 0 0101017 5.4 0 017 0 0 D1(5000) •n>Q即5.41 9.12> 0 5.4 0.0173 0 (5000)={工€叫,-1.692>0, 1-0.003153》0, 同理可得2(5000)和3(5000) 、几何意义 1.由 B C 3 E B A 3•从Dk(x)n>0得i,2 2.Q: 由先验信息确定红框内为Q
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 贝叶斯 分析