第七章参数估计Word文档格式.docx
- 文档编号:14948412
- 上传时间:2022-10-26
- 格式:DOCX
- 页数:19
- 大小:423.14KB
第七章参数估计Word文档格式.docx
《第七章参数估计Word文档格式.docx》由会员分享,可在线阅读,更多相关《第七章参数估计Word文档格式.docx(19页珍藏版)》请在冰豆网上搜索。
统计推断的目的,是由样本推断出总体的具体分布,一般来说,要想得到总体的精确分布。
是十分困难的,由第六章知道:
只有在样本容量n充分大时,经验分布函数(以概率1),但在实际问题中,并不容许n很大。
而由第五章的中心极限定理,可以断定在某些条件下的分布为正态分布,也就是说,首先根据样本值,对总体分布的类型作出判断和假设,从而得到总体的分布类型,其中含有一个或几个未知参数;
其次,对另外一些并不关心其分布类型的统计推断问题,只关心总体的某些数字特征,如期望、方差等,通常把这些数字特征也称为参数。
这时,抽样的目的就是为了解出这些未知的参数。
Eg1:
设某总体,试由样本来估计参数。
Eg2:
在上述二例中,参数的取值虽未知,但根据参数的性质和实际问题,可以确定出参数的取值范围,把参数的取值范围称为参数空间,记为
如:
eg1:
=eg2:
=
1.Df.所谓参数估计,是指从样本中提取有关总体的信息,即构造样本的函数——统计量,然后用样本值代入,求出统计量的值,用该值来作为参数的估计。
此时,把统计量称为参数的估计量,把称为参数的估计值。
2.类型:
包括
1)所谓点估计,是指对总体分布中的参数,根据样本及样本值,构造一统计量,若将作为的估计值,则称为的点估计量,简称点估计。
记为=
2)区间估计:
指对总体中的一维参数,构造两个统计量:
使得待估参数以较大的概率落在[,]内,此时,称[,]为的区间估计。
7.2点估计量的求法
0、引言:
关于点估计的一般提法是:
点估计量的求解方法很多,这里主要介绍矩估计法和极大似然估计法,除了这两种方法之外,还有Bayes方法和最小二乘法等。
一、参数的矩估计法:
(K.Pearson提出)
矩估计法是一种古老的估计方法。
大家知道,矩是描写随机变量的最简单的数字特征。
样本来自于总体,从前面可以看到样本矩在一定程度上也反映了总体矩的特征,因而自然想到用样本矩作为总体矩的估计。
Df1:
假设总体的分布函数为,其中为待估参数,是来自的一个样本,假设总体的各阶矩总是存在的,一般说来,它们都是的函数,据基本极限定理,样本矩:
依概率收敛于总体矩;
相应的,样本矩的连续函数也依概率收敛于总体矩的连续函数,因此,可以用样本矩作为相应的总体矩的估计量,而以样本矩的连续函数作为相应的总体矩的连续函数的估计量,把这种估计方法称为矩估计法。
具体作法是:
令,,这是一个包含个未知数的联立方程组。
一般来说,我们可以从中解出的一组解,然后用这个方程组的解分别作为的估计量,这种估计量称为矩估计量,矩估计量的观察值称为矩估计值。
Eg3:
设总体的均值及方差都存在但均未知,且有>
0,又设是来自总体的一个样本,试求,的矩估计量。
解:
因为令
所以得
上述结果表明:
总体均值与方差的矩估计量的表达式不会因总体的分布不同而异;
同时,我们又注意到,总体均值是用样本均值来估计的,而总体方差(即总体的二阶中心矩)却不是用样本方差来估计的,而是用样本二阶中心矩来估计。
那么,能否用来估计呢?
能的话,与哪个更好?
下节课将再作详细讨论。
这样看来,虽然矩估计法计算简单,不管总体服从什么分布,都能求出总体矩的估计量,但它仍然存在着一定的缺陷:
对于一个参数,可能会有多种估计量。
比如下面的例子:
Eg4:
设,未知,是的一个样本,求。
,
所以
由以上可看出,显然是两个不同的统计量,但都是的估计。
这样,就会给应用带来不便,为此,提出了以下的改进的方法:
二、极大似然估计法:
(提出)
1.似然函数
Df2.设总体X的分布密度函数为或分布律为,,其中为待估参数,是来自总体的一个样本,则称的联合分布密度函数(或联合分布律)为样本的似然函数,记为。
即=
2.极大似然估计法
这种方法的基本思想是利用“概率最大的事件最可能出现”这一直观想法,就是对固定样本观察值,在内选择参数,使达到最大值,然后用作为参数的估计值。
即:
选择使得样本出现概率最大的那个作为的估计值。
为此我们引入:
Df3:
若统计量满足条件:
=………………
则称为的极大似然估计量,相应的统计量观察值称为的极大似然估计值。
注:
这里与样本值无关。
这样,将原来求参数的极大似然估计问题转化为求似然函数的最大值问题,据似然函数的特点,常把它变为如下形式:
……………………………………………………
式称为对数似然函数。
由高等数学知:
的最大值点相同,若对可导,则令,求解得:
一般来讲,它就是的极大似然估计。
Eg5:
设,是的一个样本,求参数的极大似然估计量。
设()是样本的一个样本值,总体的分布律为:
,=0,1
则似然函数为
而
令
得的极大似然估计为:
从而的极大似然估计量为:
Eg6:
设,,未知,为的一个样本。
是的一个样本值,求,的极大似然估计量。
所以似然函数为:
取对数:
分别对,求导数:
由
(1),代入
(2)
的极大似然估计量分别为:
的极大似然估计值分别为:
;
Eg7:
设未知,求的极大似然估计。
解:
设为来自总体的一样本,由于
则似然函数为:
有不可导点,则不能用似然方程的方法求极大似然估计,可用直接观察法:
记,有
则对于满足条件:
的任意有
即在时取得最大值
故的极大似然估计为
3.极大似然估计量有如下的性质:
设的函数,,具有单值反函数。
又设是的密度函数(形式已知)中参数的极大似然估计,则是的极大似然估计。
例如,在Eg6中得到的极大似然估计为而具有单值反函数据上述性质有:
标准差的极大似然估计为
三、课后作业:
1、认真阅读P150-163;
2、作业:
P1901,3
3、预习:
估计量的评选标准和区间估计
7.3估计量的评选标准
0、引言
从上一节得到:
对于同一参数,用不同的估计方法求出的估计量可能不相同,用相同的方法也不能得到不同的估计量,也就是说,同一参数可能具有多种估计量,而且,原则上讲,任何统计量都可以作为未知参数的估计量,那么采用哪一个估计量为好呢?
这就涉及到估计量的评价问题,而判断估计量好坏的标准是:
有无系统偏差;
波动性的大小;
伴随样本容量的增大是否是越来越精确,这就是估计的无偏性,有效性和相合性。
一、无偏性
设是未知参数的估计量,则是一个随机变量,对于不同的样本值就会得到不同的估计值,我们总希望估计值在的真实值左右徘徊,而其数学期望恰等于的真实值,这就导致无偏性这个标准。
设()是未知参数的估计量,若存在,且对有=,则称是的无偏估计量,称具有无偏性。
在科学技术中,-称为以作为的估计的系统误差,无偏估计的实际意义就是无系统误差。
Eg1:
设总体的阶中心矩存在,是的一个样本,证明:
不论服从什么分布,是的无偏估计。
证明:
与同分布,
特别,不论服从什么分布,只要存在,总是的无偏估计。
Eg2:
设总体的都存在,且,若均为未知,则的估计量是有偏的。
证明:
若在的两边同乘以,则所得到的估计量就是无偏了
即,
而恰恰就是样本方差
可见,可以作为的估计,而且是无偏估计。
因此,常用作为方差的估计量。
从无偏的角度考虑,比作为的估计好。
在实际应用中,对整个系统(整个实验)而言无系统偏差,就一次实验来讲,可能偏大也可能偏小,实质上并说明不了什么问题,只是平均来说它没有偏差。
所以无偏性只有在大量的重复实验中才能体现出来;
另一方面,我们注意到:
无偏估计只涉及到一阶矩(均值)虽然计算简便,但是往往会出现一个参数的无偏估计有多个,而无法确定哪个估计量好。
例如:
Eg3:
设总体,密度为其中为未知,又是的一样本,则和都是的无偏估计。
,是的无偏估计
而则服从参数为的指数分布,其密度为
即是的无偏估计。
事实上,中的每一个均可作为的无偏估计。
那么,究竟哪个无偏估计更好、更合理,这就看哪个估计量的观察值更接近真实值的附近,即估计量的观察值更密集的分布在真实值的附近。
我们知道,方差是反映随机变量取值的分散程度。
所以无偏估计以方差最小者为最好、最合理。
为此引入了估计量的有效性概念。
二、有效性:
Df2:
设()与()都是的无偏估计量,若有,则称有效。
在eg3中,由于
又,当时,显然有,故较有效。
进一步有:
设是的一个无偏估计量,若对的无偏估计都有:
则称为的最小方差无偏估计。
为了进一步地计算最小方差无偏估计,给出如下定理:
定理:
(Rao-Gramer不等式)设总体X的分布密度为,是的一个样本,为的任一无偏估计,若满足:
1)集合与无关;
2)对一切都存在,且;
3)记,满足,则,
其中称为Fisher信息量。
定理给出无偏估计方差的一个下界——R-C下界,即,若达到R-C下界,则一定是的最小方差无偏估计。
在定理中,条件1),2)称为正则条件,一般分布都满足,常见的分布有不满足(其中为未知),因而不能用定理。
Df4:
设是的任一无偏估计,称为无偏估计的有效率。
Df5:
若存在的无偏估计,使,则称是的有效估计。
可见:
在正态分布中,是的有效估计;
是的最小方差无偏估计,不是有效估计,其效率为:
。
故:
有效估计一定是最小方差无偏估计,反之不然,可见,有效估计要求的更为严格。
三、相合性(一致性)
关于无偏性和有效性是在样本容量固定的条件下提出的,即,我们不仅希望一个估计量是无偏的,而且是有效的,自然希望伴随样本容量的增大,估计值能稳定于待估参数的真值,为此引入相合性概念。
Df6:
设是的估计量,若对,有,则称是的一致性估计量。
Eg:
在任何分布中,是的相合估计;
而都是的相合估计。
不过,一致性只有在n相当大时,才能显示其优越性,而在实际中,往往很难达到,因此,在实际工作中,关于估计量的选择要示具体问题而定。
四、课后作业:
1、认真阅读P163-173;
P1919,10,11
区间估计
7.4区间估计
从点估计中,我们知道:
若只是对某个未知的总体参数的值进行统计推断,那么点估计是一种很有用的形式,即只要得到样本观测值,点估计值能给我们对的值有一个明确的数量概念。
但是仅仅是的一个近似值,它并没有反映出这个近似值的误差范围,这对实际工作都来说是不方便的,而区间估计正好弥补了点估计的这个缺陷。
前面我们知道:
区间估计是指由两个取值于的统计量,组成一个区间,对于一个具体问题得到的样本值之后,便给出了一个具体的区间[,],使参数尽可能地落在该区间内。
事实上,由于,是两个统计量,所以[,]实际上是一个随机区间,它覆盖(即[,])就是一个随机事件,而这个随机事件
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第七 参数估计