时间序列分析部分讲义中国科学研究院 安鸿志.docx
- 文档编号:7292976
- 上传时间:2023-01-22
- 格式:DOCX
- 页数:16
- 大小:40.92KB
时间序列分析部分讲义中国科学研究院 安鸿志.docx
《时间序列分析部分讲义中国科学研究院 安鸿志.docx》由会员分享,可在线阅读,更多相关《时间序列分析部分讲义中国科学研究院 安鸿志.docx(16页珍藏版)》请在冰豆网上搜索。
时间序列分析部分讲义中国科学研究院安鸿志
时间序列分析(J.D.Hamilton)
前言:
3.平稳ARMA过程(p49-78),
6.谱分析(p180-202),
11.向量自回归(p345-409),
21.异方差时间序列模型(p799-823).
3.平稳ARMA过程
3.0概述(认识论,方法论,历史观,发展观)
什么是”回归模型”?
什么是”自回归模型”?
它们有什么联系?
为什么用”回归”一词?
它们的推广模型是什么?
它们的应用背景是什么?
*考虑”父-子身高的关系”
X---父亲的身高,
Y---儿子的身高,
它们有关系吗?
有什么样的关系呢?
不是确定的关系!
又不是没有关系!
在同族中抽取n对父-子的身高,即有n对数据:
(X1,Y1),(X2,Y2),…,(Xn,Yn).
Yka+bXk,1kn.
Yk=a+bXk+ek,1kn.(0.1)
*此为一元线性回归模型.
ek---个体差异,其他因素,等等.
*如果,如果能记录到一个父系的长子身高序列,即
X1,X2,…,Xn,显然,(X1,X2),(X2,X3),…,(Xn-1,Xn)
是(n-1)对父--子身高数据,与(Xk,Yk)相比,这里的
Yk=Xk+1,k=1,2,…,n-1.
依同样论述有
Xk+1=a+bXk+ek,1kn.(0.2)
*此为一元线性自回归模型(自变元Yk是因变元Xk的延迟)
*回归英文翻译Regression(0.2),
具体说来如下:
--男人平均身高.由(0.2)得
Xk+1-=a+bXk+ek-(注意=(b-1)+b)
=a+(b-1)+b(Xk-)+ek.
Wk=(Xk-)---第k代长子身高与平均身高之差,
c=a+(b-1),
于是有
Wk+1=c+bWk+ek.(0.3)
特别人们发现:
0
平均说来,当父亲身高超过平均身高时,
其子身高也会超过平均身高,
但是比父亲身高更靠近平均身高.
有回归平均身高的趋向!
稳定系统!
*回归模型的推广:
(线性模型)
*增加自变元个数:
比如,儿子身高不仅与父亲还与母亲,甚至于祖父母
有关,于是(0.1)式应推广为:
Yk=a+b1X1k+…+bpXpk+ek,1kn.(0.4)
*此为p元线性回归模型.
*向非线性推广:
仍以父-子身高的关系为例,它们的真实关系应是比
(0.1)式更一般的形式:
Yk=(Xk)+ek,1kn.(0.5)
(0.4)式更一般的形式:
Yk=(X1k,…,Xpk)+ek,1kn.(0.6)
近年来,又引出了比(0.6)式更广的模型:
Yk=(X1k,…,Xpk)+s(X1k,…,Xpk)ek,1kn.(0.7)
*此为异方差回归模型.
(0.7)式的更一般的形式:
Yk=(X1k,…,Xpk;ek),1kn.(0.8)
模型越复杂,越近似真实情况,也越难统计分析.
*应用背景:
非常广泛!
主要用于预报,控制,检测,管理.
模型的获得方法有两类.
3.1期望,平稳性,遍历性:
确切说,是对(0.1)至(0.8)式中{ek}的最起码的假定,根据这些假定就可以引出随机过程和各种模型概念,用它们近似描述{ek}(本来是说不清的).而且,对这些起码的假定,也只是以最直观的方式,而非严格的概率论观点,加以介绍.
*期望和随机过程
*随机过程:
{X(t);- *随机序列: {Xk;k=…,-1,0,1,…},其中Xk是随机变量. 特别当Xk=X(kh)时,序列{Xk}是过程{X(t)}的等间隔采样序列. 回忆随机变量X和它的样本的定义,我们有: *样本序列: {…,x-1,x0,x1,…}是序列{Xk}的一个样本序列, 又称为一个实现,又称为一个观测序列,等等. 请注意: 随机变量X的一个样本,就是一个数; 随机向量X的一个样本,就是一个向量数; 随机序列{Xk}的一个样本,是一个无穷数列; 在实际应用中,我们无法记录无穷数列,从而在讨论随机序列{Xk}的样本时,只能考虑一个样本的有限部分,比如 {x1,x2,…,xn}是序列{Xk}的一段观测值序列. 在理论讨论时,为了方便又不得不涉及无穷数列.这些都是学习和掌握时间序列分析时,首先要认清的起点. **序列的分布: 回忆随机变量X的定义便知,它的特征被它的概率分布所确定.同样,随机序列也被它的概率分布所确定.不过,随机序列的分布是无穷个随机变量的概率分布,其复杂性可以想得到.这里为了避免涉及太深的概率论概念,我们仅考虑最简单的特疏情况,即 XkN(k,2k),它有密度 fk(x)=(22k)-1/2exp{(x-k)2/22k} 而且(Xk+1,Xk+2,…,Xk+m)有联合正态分布.于是有: *期望(均值): EXk=xfk(x)dx=k, *方差: Var(Xk)=E(Xk-k)2=(x-k)2fk(x)dx=2k. *自协方差: kj=E[(Xk-k)(Xj-j)]=(x-k)(y-j)fkj(x,y)dxdy =E[(Xj-j)(Xk-k)]=jk. 回忆二元随机变量X和Y的协方差定义便可理解上式. *平稳序列: 一类重要的特疏随机序列. 弱平稳序列: 如果k=;kj=k-j=j-k. 严平稳序列: 如果(Xk+1,Xk+2,…,Xk+m)的分布与k无关! 正态平稳序列: 弱平稳序列严平稳序列! **遍历性: 一个重要性质—-时间序列统计分析的基础. (与大数是律有关) (1/n)k=1nXkEXk=xfk(x)dx=k,当n. (1/n)k=1ng(Xk)Eg(Xk)=g(x)fk(x)dx,当n. 3.2白噪声序列: 什么是? 为什么叫? 有什么用? 它是基楚性的随机序列,具体来说,{…,-1,0,…}是相互独立相同分布的随机变量序列,且均值为零,方差为2.(常用i.i.d.{t}表示) Et=0,Et2=2,Ets=0,(ts) (3.2.1)(3.2.2)(3.2.3) 因为,当ts时 ts=E[(t-Et)(s-Es)]=Ets=EtEs=0=t-s. 为什么叫白噪声序列,在讲谱分析更能看清. 它有什么用呢? 可以说,很多很多的随机序列都是通过白噪声序列的变化生成的! *请看几个例子: 例1.Yt=a+bt+t,(确定函数+白噪声) t=EYt=E(a+bt+t)=a+bt+Et==a+bt, kj=E[(Yk-EYk)(Yj-EYj)]=Ekj=EkEj=0,(jk) kk=E(Yk-EYk)2=Ek2=2. 例2.Yt=t+a1t-1+a2t-2,(白噪声延迟的线性和) 例3.Yt=tt-1,(白噪声白噪声延迟) 例4.Yt=t/(1+t-12).(白噪声+白噪声延迟的函数) ●一个有趣的问题: 是否用白噪声序列能生成所有的 平稳序列? (回答是,不能! ) 3.3移动平均过程(滑动平均序列 —MovingAverage-MA) *移动平均过程定义的由来---概述: 设{k}为白噪声序列,顾名思义,滑动平均序列是: Yt=(t+t-1+…+t-m+1)/m,t=…,-1,0,1,… 推而广之 Yt=(0t+1t-1+…+mt-m+1)/(0+1+…+m), 更广之 Yt=+1t-1+…+mt-m+1+t,(3.3.8) 或 Yt=+i=0it-i.(线性序列)(3.3.13) Yt=+i=-it-i.(线性序列,非现实) *移动平均过程的特征: *均值函数: EYt=+i=0iEt-i=.(ByEt-i=0)(*) *自协方差函数: kj=E[(Yk-)(Yj-)](用上式) =E[i=0ik-ii=0ij-i] =E[i=0s=0isk-ij-s] =i=0s=0isEk-ij-s(ByEk-ij-s=0,ifk-ij-s) =i=0ii+k-jE12(ByE12=2) =2i=0ii+k-j=k-j.(3.3.18)* 可见,(3.3.13)式的{Yt}是平稳序列.特别当{k}为正态白噪声序列时,{Yt}也是正态平稳序列. 还特别指出: 为保证(3.3.18)式可求和,要求 i=0i2.(3.3.14) 或者更强的要求 i=0i.(3.3.15) 由此式可导出 i=0i.(3.3.19) 此式能保证序列{Yt}具有遍历性. *一阶移动平均过程(MA (1)) Yt=+t-1+t,(3.3.1) 相当于(3.3.13)式中的0=1,1=,其它i=0.以此代入(*)和(3.3.13)式则有 EYt=,(3.3.2) 0=2(1+2),1=-1=2,i=0,当i>1时. (3.3.3)(3.3.4)(3.3.5) (3.3.5)式是一阶移动平均过程的基本特征! 它表现为 自协方差函数序列{0,1,2,…}, 在1以后是截尾的,即{0,1,0,0,0,…}. 易见,这一特征与0和1的具体取值并不密切,所以,可用序列的自相关函数表述. *自相关函数: k=k/0,k=0,1,…(3.3.6) 这是因为 k=k/0=k/01/201/2= E[(Yt+k-)(Yt-)]/{E(Yt+k-)2E(Yt-)2}1/2, 它是Yt+k和Yt的相关系数,依平稳性它与t无关,但与k有关,所以称函数,又因是序列自身的关系,所以称自相关函数. *对于(3.3.1)的一阶移动平均过程而言,由(3.3.4)和(3.3.5)知 0=1,1=/(1+2),当k>1,k=0.(3.3.7) 可见,自相关函数在1以后全为零(截尾)是一阶移动平均过程的本质性特征! *以上内容不难推广到 *q阶移动平均过程: (MA(q))(见p58-59) 模型 Yt=+1t-1+…+qt-q+t,(3.3.8) 特征 k=0,k=0,当k>q.(3.3.12) 即,它的自协方差函数在q步以后截尾. 关于0,1,…,q的具体表达式为 0=(1+12+22+…+q2)2,(2=Et2)(3.3.10) j=(j+j+11+j+22+…+qq-j)2,j=1,2,…,q(3.3.12) 注意,以上(3.3.10)和(3.3.10)式,表达了0,1,…,q 和参数1,2,…,q2,2的相互依赖关系! 但是,除非q=1,一般很难求解.况且,它们的解还有不唯一性问题,此问题方在3.7节中解答. 例2(见p59). 3.4自回归过程.(自回归序列—AutoRegression--AR) *一阶自回归过程(AR (1))(相当于概述) *实际背景: *定义: Yt=c+Yt-1+t,(3.4.1) 其中{t}是白噪声序列,而且,t与{Yt-1,Yt-2,…}独立! 所以,在文献中,{t}又被称为新息序列! *求解: 由(3.4.1)式反复迭代有: (不妨叫反复迭代法) Yt=c+Yt-1+t =c+(c+Yt-2+t-1)+t =c+c+2Yt-2+t-1+t =2Yt-2+(c+c)+(t+t-1) =3Yt-3+(c+c+2c)+(t+t-1+2t-2) =… =nYt-n+(c+c+…+n-1c)+(t+t-1+…+n-1t-n+1) (c+c+2c+…)+(t+t-1+2t-2…)(当n) =c/(1-)+k=0kt-k.(3.4.2) *平稳性: 显然,上式成立的充分必要条件是: <1.即(-1,1) 于是有名称: 区间(-1,1)为AR (1)模型的平稳域; (3.4.2)式的解为AR (1)模型的平稳解; ---AR (1)平稳序列; 它也是MA()序列(见(3.3.13)式). *均值函数: 由(3.4.2)式和Et=0,有 Yt=c/(1-)=.(3.4.3) *自相关函数: 在(3.3.18)式,此时 j=j,j=0,1,… 于是AR (1)的自协方差函数为 k=2j/(1-2)=j0,j=0,1,…(3.4.5) AR (1)的自相关函数为 k=k/0=j,j=0,1,…(3.4.6) *模型推演方法: (不用(3.3.18)式) 回顾模型AR (1)(3.4.1)式 Yt=c+Yt-1+t,两边同取均值得 =EYt=Ec+EYt-1+Et=c+=c/(1-). 在(3.4.1)式两边同减上式=c+得 (Yt-)=(Yt-1-)+t. 记Wt=(Yt-),它是{Yt}的中心化序列! 它满足中心化的AR (1)模型 Wt=Wt-1+t.(3.4.1)’ 以Wt-k(k1)同乘上式两边,然后再同取均值得 k=EWtWt-k=EWt-1Wt-k+EtWt-k=k-1,k=1,2,…(3.4.15) 其中用到t与Wt-k独立,和Et=0,即EtWt-k=EtEWt-k=0.由此可得k=k0.将Wt=Wt-1+t两边平方后,再同取均值得 0=EWt2=2EWt-12+Et2+2EWt-1t=20+20=2/(1-2). 记L为(一步)延迟算子(运算),即Lt=t-1,L2Wt=Wt-2,等等.于是,Wt=Wt-1+t可写成 Wt=LWt+t或者Wt-LWt=t或者 (1-L)Wt=t.(3.4.1)’’ 对上式进行形式上的代数运算可得 Wt=(1-L)-1t=k=0kLkt=k=0kt-k. 其中 (1-L)-1=k=0kLk(1-L)k=0kLk=1. 以上推演方法,不仅简便,而且能推广到高阶情况! *高阶推广: Yt=c+1Yt-1+…+pYt-p+t,(3.4.13) =c+1+…+p, Wt=1Wt-1+…+pWt-p+t, 记 . 则Wt=1Wt-1+…+pWt-p+t等价于 Zt=AZt-1+Ut.(*) 于是,以上对模型AR (1)的推演步骤都无困难地推广到以上p元一阶AR模型.唯一的差别就是要用到矩阵运算.例如,类似于(3.4.2)式的解为 Zt=k=0AkUt-k.(*) 此时(3.4.13)式具有平稳解的充分必要条件是: A的本征值的模都小于1, (A)<1.(对比<1,(A)是A的谱半径) 我们所说的模型推演方法暂叙到此. *二阶AR模型: (见p64-66)(概述其难点所在) 模型: Yt=c+1Yt-1+2Yt-2+t, Wt=1Wt-1+2Wt-2+t,(3.4.10) 依前所述,只要求得(3.4.10)式的解,就不难获得AR (2)模型的个项特征量.要获得(3.4.10)式的解,就等价于求 {Wt}的(3.3.13)式中的系数j(0j<).如上所述,我们有两种方法: 一是用(3.4.10)式反复迭法;(仿(3.4.2)式) 一是算子的代数运算法;(求二元一阶AR模型的解) 说实话,都不简单! 为什么? 请看 若用(3.4.10)式反复迭法,则有 Wt=1Wt-1+2Wt-2+t=t+1(1Wt-2+2Wt-3+t-1)+2Wt-2 =t+1t-1+(12+2)Wt-2+12Wt-3=… 以下难于寻找t-2,t-3,…的系数的表示法.(难于寻找规律) 若用算子的代数运算求解(3.4.10)式,此时 Zt= A= 在用(*)式求Zt的表达式时,要求出Ak(k=1,2,…),同样难于寻找规律! 究其根源在于: 此时(3.4.10)式可写为 Wt-1Wt-1-2Wt-2=t,(3.4.10)’ 记(L)=1-1L-2L2,则(3.4.10)式又可写为 (L)Wt=t,(3.4.10)’’ 于是有解 Wt=-1(L)t=j=0jt-j(=Yt-=Yt-c-1 (1)) 其中 -1(L)=i=0iLj(L)=i=0iLj=1 式中的系数j与(x)=0的根有关,而且只有当 (x)=0的根都在单位圆外,即(x)0,对x1.(3.4.18) (3.4.10)式才有平稳解! 而且,一般难于给出j的显示表达式! 对Ak而言也如此! 注意AR (1)时只有一个实根;AR (2)时可能有两个不同的实根,有一个的实的双重根,有两个不同的但是共轭的复根. 对于注重应用者,更关心自协方差函数,请看: 将Wt=1Wt-1+2Wt-2+t两边同乘Wt-k,再求均值可得 EWtWt-k=1EWt-1Wt-k+2EWt-2Wt-k+EtWt-k 注意,对于k1时,EtWt-k=EtEWt-k=0,于是有 k=1k-1+2k-2,k1,或者(3.4.25) k-1k-1-2k-2=0,k1.(3.4.25)’ 当k=0时,将Wt=1Wt-1+2Wt-2+t两边同乘Wt,再求均值得 EWtWt=1EWt-1Wt+2EWt-2Wt+EtWt =11+22+Et(1Wt-1+2Wt-2+t) =11+22+1EtWt-1+2EtWt-2+Et2(ByEtWt-j=0,j1) =11+22+2.(3.4.29) 至此我们得到了(3.4.29)式和(3.4.25)式.人们已注意到,(3.4.25)式也是二阶差分方程,也难得显示解.但是我们不关心它的解,而关心0,1,2和参数1,2,2的相互依赖关系! 至于3,4,…,它们被0,1,2(或1,2,2)唯一确定,而且不被关注.进一步而言,(3.4.29)式和(3.4.25)式中取k=1,2就唯一确定了0,1,2和参数1,2,2的相互依赖关系! 现写下这三个方程: 0=11+22+2, 1=10+21, 2=11+20. 将0同除以上后两式的 1=1+21,(3.4.27) 2=11+2.(3.4.28) 由此不难解出1,2与1,2的关系.其实,我们更关心1,2对1,2的依赖关系! 注意,(3.4.27)和(3.4.28)式联合起来,称为(AR (2)的)Yule-Walker方程. *p阶AR模型: (见p66-68) 模型: Yt=c+1Yt-1+…+pYt-p+t,(3.4.31) 记Wt=Yt-=Yt-c/(1-1-…-p), Wt=1Wt-1+…+pWt-p+t,(3.4.31)’ Wt-1Wt-1-…-pWt-p=t, (L)Wt=t, (L)=1-1L-…-pLp. 平稳条件: (x)=0的根都在单位圆外,即(x)0,对x1.(3.4.32) Y-W方程: t=1t-1+…+pt-p,t=1,2,…(3.4.37) 若记=(1,2,…,p),=(1,2,…,p),再记 R= 则由(3.4.37)式可得 R=.(3.4.37)’ 有解 =R-1.(3.4.37)’’ **偏相关函数: 若将(3.4.37)’中的p用k代替,并记相应的记号为 (k)=(1k,2k,…,kk),(k)=(1,2,…,k)和R(k),则有 (k)=R-1(k)(k),k=1,2,…(3.4.37)* 序列{kk: k=1,2,…}为偏相关函数列. 请注意,k是Wt+k和Wt的相关系数,而kk是在已知Wt+1,Wt+2,…,Wt+k-1条件下,Wt+k和Wt的相关系数.粗略地说,在扣除Wt+1,Wt+2,…,Wt+k-1的影响后,Wt+k和Wt的相关系数. 可以证明,对于平稳AR(p)序列而言,偏相关函数列在p以后都为零,也称截尾,即 {kk: k=1,2,…}={11,22,…,pp,0,0,…}.(*) 3.5自回归滑动平均过程: (ARMA(p,q)) 讨论ARMA(p,q)模型时,用多元化的方法并不方便,常用的方法是延迟算子的方法.具体如下: *ARMA(p,q)模型: Yt=c+1Yt-1+…+pYt-p+1t-1+…+qt-q+t.(3.5.1) Yt-1Yt-1-…-pYt-p=c+t+1t-1+…+qt-q 记 (L)=1-1L-…-pLp; (L)=1+1L+…+qLq; 于是(3.5.1)式可写成 (L)Yt=c+(L)t,(3.5.2) 上式有解 Yt=-1(L)c+-1(L)(L)t, =+(L)t. 其中 =c/(1-1-…-p)(书中有此式,但无编号) =c-1 (1) (L)t=-1(L)(L)t=(k=0kLk)(L)t =k=0kLkt=k=0kt-k=Wt. 于是(3.5.1)(或(3.5.2))有解 Yt=+Wt=+k=0kt-k.(*) 中心化的ARMA模型为 (L)Wt=(L)t,(3.5.2)’ Wt=-1(L)(L)t. 关于ARMA(p,q)模型的特性,能说些什么呢? 它的自相关函数和偏相关函数都不截尾,可以说,正因为都不截尾,就不得不考虑引入ARMA(p,q)模型.当然也不是无条件的,细究起来要读第5章.在此,我们仅介绍以下性质. *(3.5.1)有平稳解的条件: (x)=0的根都在单位圆外,即(x)0,对x1.(3.5.3) *自协方差序列的尾部特征: 将(3.5.2)两边同乘Wt-k(k>q),再取均值得 E[(Wt-1Wt-1-…-pWt-p)Wt-k]=E[(t+1t-1+…+qt-q)Wt-k] 即有 t-1t-1+…+pt-p=0,t=q+1,q+2,…(3.5.5) 很有趣,虽然ARMA(p,q)序列的自协方差序列不截尾,但是它的线性组和序列t-1t-1+…+pt-p确在q步后截尾.由此既可给出此模型的判别依据,又可找到0,1,…,p+q和参数 1,2,…,p,1,2,…,q,2的依赖关系.(见第5章) 3.6自协方差生成函数(谱表示)(移至第6章) 3.7可逆性: *先举两个例子,首先看 Wt=t+(1/2)t-1(*) 其中{t}为正态白噪声,即tN(0,2).于是有 EWt=0,EWt2=2+(1/2)22=(1+(1/4))2=(5/4)2, 1=EWtWt-1=E(t+(1/2)t-1)(t-1+(1/2)t-2)=(1/2)2. 再考查另一模型 Zt=t+2t-1,(**) 其中{t}为正态白噪声,即tN(0,2/4),即, Et2=2=2/4,于是有 EZt=0,EZt2=2+42=52=(5/4)2, 1=EZtZt-1=E(t+2t-1)(t-1+2t-2)=22=(2/4)2=(1/2)2. 可见序列{Wt}和{Zt}有相同的均值,和相同的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 时间序列分析部分讲义中国科学研究院 安鸿志 时间 序列 分析 部分 讲义 中国 科学研究院
![提示](https://static.bdocx.com/images/bang_tan.gif)