概率论与数理统计教程第二版茆诗松课件PPT第六章优质PPT.ppt
- 文档编号:15594504
- 上传时间:2022-11-07
- 格式:PPT
- 页数:112
- 大小:2.16MB
概率论与数理统计教程第二版茆诗松课件PPT第六章优质PPT.ppt
《概率论与数理统计教程第二版茆诗松课件PPT第六章优质PPT.ppt》由会员分享,可在线阅读,更多相关《概率论与数理统计教程第二版茆诗松课件PPT第六章优质PPT.ppt(112页珍藏版)》请在冰豆网上搜索。
其一是如何给出估计,即估计的方法问题;
其二是如何对不同的估计进行评价,即估计的好坏判断标准。
第六章参数估计11/7/202211/7/2022第4页6.1点估计的几种方法6.1.1替换原理和矩法估计一、矩法估计替换原理是指用样本矩及其函数去替换相应的总体矩及其函数,譬如:
用样本均值估计总体均值E(X),即;
用样本方差估计总体方差Var(X),即用样本的p分位数估计总体的p分位数,用样本中位数估计总体中位数。
第六章参数估计11/7/202211/7/2022第5页例6.1.1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km),观测数据如下:
29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差和中位数的估计分别为:
28.695,0.9185和28.6。
矩法估计的实质是用经验分布函数去替换总体分布,其理论基础是格里纹科定理。
第六章参数估计11/7/202211/7/2022第6页二、概率函数二、概率函数PP(xx,)已知时未知参数的矩法估计已知时未知参数的矩法估计设总体具有已知的概率函数P(x,1,k),x1,x2,xn是样本,假定总体的k阶原点矩k存在,若1,k能够表示成1,k的函数j=j(1,k),则可给出诸j的矩法估计为其中第六章参数估计11/7/202211/7/2022第7页例6.1.2设总体服从指数分布,由于EX=1/,即=1/EX,故的矩法估计为另外,由于Var(X)=1/2,其反函数为因此,从替换原理来看,的矩法估计也可取为s为样本标准差。
这说明矩估计可能是不唯一的,这是矩法估计的一个缺点,此时通常应该尽量采用低阶矩给出未知参数的估计。
第六章参数估计11/7/202211/7/2022第8页例6.1.3x1,x2,xn是来自(a,b)上的均匀分布U(a,b)的样本,a与b均是未知参数,这里k=2,由于不难推出由此即可得到a,b的矩估计:
第六章参数估计11/7/202211/7/2022第9页似然函数的定义6.1.2极极(最最)大似然估计大似然估计第六章参数估计11/7/202211/7/2022第10页第六章参数估计11/7/202211/7/2022第11页最大似然估计法最大似然估计法第六章参数估计11/7/202211/7/2022第12页似然函数的定义第六章参数估计11/7/202211/7/2022第13页第六章参数估计11/7/202211/7/2022第14页求最大似然估计的步骤:
第六章参数估计11/7/202211/7/2022第15页最大似然估计法也适用于分布中含有最大似然估计法也适用于分布中含有多个多个未知未知对数似然方程组对数似然方程组对数似对数似然方程然方程此时只需令此时只需令参数的情况参数的情况.第六章参数估计11/7/202211/7/2022第16页例6.1.6设一个试验有三种可能结果,其发生概率分别为现做了n次试验,观测到三种结果发生的次数分别为n1,n2,n3(n1+n2+n3=n),则似然函数为其对数似然函数为第六章参数估计11/7/202211/7/2022第17页将之关于求导,并令其为0得到似然方程解之,得由于所以是极大值点。
第六章参数估计11/7/202211/7/2022第18页例6.1.7对正态总体N(,2),=(,2)是二维参数,设有样本x1,x2,xn,则似然函数及其对数分别为第六章参数估计11/7/202211/7/2022第19页将lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组(6.1.9)(6.1.10)第六章参数估计11/7/202211/7/2022第20页解此方程组,由(6.1.9)可得的极大似然估计为将之代入(6.1.10),得出2的极大似然估计利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。
第六章参数估计11/7/202211/7/2022第21页虽然求导函数是求极大似然估计最常用的方法,但并不是在所有场合求导都是有效的。
例6.1.8设x1,x2,xn是来自均匀总体U(0,)的样本,试求的极大似然估计。
第六章参数估计11/7/202211/7/2022第22页解似然函数要使L()达到最大,首先一点是示性函数取值应该为1,其次是1/n尽可能大。
由于1/n是的单调减函数,所以的取值应尽可能小,但示性函数为1决定了不能小于x(n),由此给出的极大似然估计。
第六章参数估计11/7/202211/7/2022第23页极大似然估计有一个简单而有用的性质:
如果是的极大似然估计,则对任一函数g(),其极大似然估计为。
该性质称为极大似然估计的不变性,从而使一些复杂结构的参数的极大似然估计的获得变得容易了。
第六章参数估计11/7/202211/7/2022第24页例6.1.9设x1,x2,xn是来自正态总体N(,2)的样本,则和2的极大似然估计为,于是由不变性可得如下参数的极大似然估计,它们是:
标准差的MLE是;
第六章参数估计11/7/202211/7/2022第25页概率的MLE是;
总体0.90分位数x0.90=+u0.90的MLE是,其中u0.90为标准正态分布的0.90分位数。
第六章参数估计11/7/202211/7/2022第26页6.2点估计的评价标准6.2.1相合性我们知道,点估计是一个统计量,因此它是一个随机变量,在样本量一定的条件下,我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值,根据格里纹科定理,随着样本量的不断增大,经验分布函数逼近真实分布函数,因此完全可以要求估计量随着样本量的不断增大而逼近参数真值,这就是相合性,严格定义如下。
第六章参数估计11/7/202211/7/2022第27页定义6.2.1设为未知参数,是的一个估计量,n是样本容量,若对任何一个0,有(6.2.1)则称为参数的相合估计。
第六章参数估计11/7/202211/7/2022第28页相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时,它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。
通常,不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证.第六章参数估计11/7/202211/7/2022第29页若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。
第六章参数估计11/7/202211/7/2022第30页定理6.2.2若分别是1,k的相合估计,=g(1,k)是1,k的连续函数,则是的相合估计。
在判断估计的相合性时下述两个定理是很有用的。
定理6.2.1设是的一个估计量,若则是的相合估计.第六章参数估计11/7/202211/7/2022第31页例6.2.2设x1,x2,xn是来自均匀总体U(0,)的样本,证明的极大似然估计是相合估计。
证明:
在例6.3.5中我们已经给出的极大似然估计是x(n)。
由次序统计量的分布,我们知道x(n)的分布密度函数为p(y)=nyn-1/n,y1,比有效。
这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。
第六章参数估计11/7/202211/7/2022第39页例6.2.7均匀总体U(0,)中的极大似然估计是x(n),由于,所以x(n)不是的无偏估计,而是的渐近无偏估计。
经过修偏后可以得到的一个无偏估计:
。
且另一方面,由矩法我们可以得到的另一个无偏估计,且由此,当n1时,比有效。
第六章参数估计11/7/202211/7/2022第40页6.2.4均方误差无偏估计不一定比有偏估计更优。
评价一个点估计的好坏一般可以用:
点估计值与参数真值的距离平方的期望,这就是下式给出的均方误差均方误差是评价点估计的最一般的标准。
我们希望估计的均方误差越小越好。
第六章参数估计11/7/202211/7/2022第41页注意到,因此
(1)若是的无偏估计,则,这说明用方差考察无偏估计有效性是合理的。
(2)当不是的无偏估计时,就要看其均方误差。
下面的例子说明:
在均方误差的含义下有些有偏估计优于无偏估计。
第六章参数估计11/7/202211/7/2022第42页例6.2.8对均匀总体U(0,),由的极大似然估计得到的无偏估计是,它的均方误差现我们考虑的形如的估计,其均方差为用求导的方法不难求出当时上述均方误差达到最小,且其均方误差所以在均方误差的标准下,有偏估计所以在均方误差的标准下,有偏估计优于无偏估计优于无偏估计。
第六章参数估计11/7/202211/7/2022第43页6.3最小方差无偏估计最小方差无偏估计6.3.1Rao-Blackwell定理以下定理说明:
好的无偏估计都是充分统计量的函数。
定理6.3.2设总体概率函数是p(x,),x1,x2,xn是其样本,T=T(x1,x2,xn)是的充分统计量,则对的任一无偏估计,令,则也是的无偏估计,且第六章参数估计11/7/202211/7/2022第44页定理6.3.2说明:
如果无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可以得到一个新的无偏估计,该估计的方差比原来的估计的方差要小,从而降低了无偏估计的方差。
换言之,考虑的估计问题只需要在基于充分统计量的函数中进行即可,该说法对所有的统计推断问题都是正确的,这便是所谓的充分性原则。
第六章参数估计11/7/202211/7/2022第45页例6.3.1设x1,x2,xn是来自b(1,p)的样本,则是p的充分统计量。
为估计=p2,可令由于所以是的无偏估计。
这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进:
求关于充分统计量的条件期望,得第六章参数估计11/7/202211/7/2022第46页6.3.2最小方差无偏估计定义6.3.1对参数估计问题,设是的一个无偏估计,如果对另外任意一个的无偏估计,在参数空间上都有则称是的一致最小方差无偏估计,简记为UMVUE。
如果UMVUE存在,则它一定是充分统计量的函数。
第六章参数估计11/7/202211/7/2022第47页定理6.3.3设x=(x1,x2,xn)是来自某总体的一个样本,是的一个无偏估计,如果对任意一个满足E(x)=0的(x),都有则是的UMVUE。
关于UMVUE,有如下一个判断准则。
第六章参数估计11/7/202211/7/2022第48页例6.3.2设x1,x2,xn是来自指数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 概率论 数理统计 教程 第二 版茆诗松 课件 PPT 第六