信息论基础各章参考答案doc.docx
- 文档编号:7348177
- 上传时间:2023-01-23
- 格式:DOCX
- 页数:16
- 大小:33.99KB
信息论基础各章参考答案doc.docx
《信息论基础各章参考答案doc.docx》由会员分享,可在线阅读,更多相关《信息论基础各章参考答案doc.docx(16页珍藏版)》请在冰豆网上搜索。
信息论基础各章参考答案doc
各章参考答案
2.1.
(1)4.17比特;
(2)5.17比特;
(3)1.17比特;
(4)3.17比特
2.2.
1.42比特
2.3.
(1)225.6比特;
(2)13.2比特
2.4.
(1)24.07比特;
(2)31.02比特
2.5.
(1)根据炳的可加性,一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无秩码天平的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3o从12个硬币中鉴别其中的一个重量不同(不知是否轻或重)所需信息量为log24。
冽31og3=log27>log24o所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的炳。
其中的一个方法如下:
第一次称重:
将天平左右两盘各放4枚硬币,观察其结果:
①平衡②左倾③右倾。
i)若结果为①,则假币在未放入的4枚币,第二次称重:
将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘,根据结果可判断出肃中没有假币;若有,还能判断出轻和重,第三次称重:
将判断出含有假币的三枚硬币中的两枚放到左右两盘中,便可判断出假币。
订)若结果为②或③即将左盘中的3枚取下,将右盘中的3枚放到左盘中,未称的3枚放到右盘中,观察称重缺码,若平衡,说明取下的3枚中含假币,只能判出轻重,若倾斜方的不变,说明在左、右盘中未动的两枚中其中有一枚为假币,若倾斜方向变反,说明从右盘取过的3枚中有假币,便可判出轻重。
(2)第三次称重类似i)的情况,但当两个硬币知其中一个为假,不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在一五个硬币的组里,则鉴别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.
2.6.
(1)log2“=15比特;
(2)
1比特;(3)15个问题
2.7.
证明:
(略)
2.8.
证明:
(略)
/、1
1
1、1
2.9.
P(dibi)=-p(ci\bi)=
12
P(cM——P(sb)<
12,6,
2.10.证明:
(略)
2.11.证明:
(略)
2.12.证明:
(略)
2[3.
(1)H(X)=H(Y)=1,H(Z)=0.544,H(XZ)=1.406,H(YZ)=1.406,H(XKZ)=1.812
(2)H(X/Y)=H(Y/X)=0.810fH(X/Z)=0.862,H(Z/X)=H(Z/Y)=0.405,H(Y/Z)=0.862,H(X/YZ)=H(Y/XZ)=0.405,H(Z/XY)=0
(3)1(X;K)=0.188Z(X;Z)=0.138Z(K;Z)=0.1387(X;Y/Z)=0.457,I(Y;Z/X)=I(X;Z/Y)=0.406
(单位均为比特/符号)
p游(000)=1)=Pg(l°l)=服z(l1°)=7
14.X1Z■,
(2)P加(°°°)=P宓(111)=!
(3)P加(°°°)=〃加(°。
1)=Pm。
1。
)=Pm。
11)T
2.15.(i)H(X)=1.5,H(K)=1,H(Z)=1,H(YZ)=2
(2)I(X;Y)=0.5.i(x;y)=i;
(3)I(X;Y/Z)=0.5,I(X;YZ)=1.5
(单位均为比特/符号)
3
2.16.
(1)4,
(2)1(X;Y)=°・°9比特/符号,
13
(3)16,/(X;K)=0;
(4)第(3)种情况天气预报准确率高,原来的天气预报有意义。
2.17.
(1)提示:
方差为。
,表明随机变量是常数,设/(X;')=k)ga;
(2)/(X;Y)=loga.a=l表明工,)独立;
13
对于(b)有:
m)=s=P(M=a,";牛的
2.18.证明:
(略)
2.19.证明:
(略)
2.20.证明:
(略)
3.1证明:
(略)
3.2
(1)0.811比特/符号,
(2)41.48+1.58m比特(m为0的个数)
(3)81.1比特/信源符号
3.3证明:
(略)
3.4证明:
(略)
-(1-p)(1-p)
H(S〃)=—,口一P)log(l-P)+plogp]=H(p)
3.5
(1)—P1—P
3.6
3.7
邸)=些
(2)1一P
证明:
(1)
(2)
P
P
9
p3=16
16
7
16
9
16_
1一21「
n1-g_一〃
1+2-〃]P="+2
1-2一"
3.8
ttA51216、,1112TT/11116TT/11J
H(——,——,——)+(〃T)——H(—,—,—)+——〃(一,一,一)+——〃(一,一,一)
[^^’7^]M,以
3.9
(1)1一°+,
434343433334324443244
E'l-a+R28'孑矿0,=!
,'=°,1,2,……,〃T
PTT,、l—ary//7\1—I
⑵=7贝心=7叩),:
。
萝-判。
昭
3.io
(1)丑(乂】乂双3)=3.967比特/符号,
H3(X)=1.322比特/符号
(2)H8(X)=1.251比特/符号
(3)Ho=1585比特/符号,Hi=1・414比特/符号,
H?
T.251比特/符号
r=0.2U
3.U
(2)Hg(X)=plog2+H(p),
2
p——
⑶当3时,Hs(X)达到最大值为Iog3,
当P=°时,炳为o,
当P=1时,墙为l°g2;
232
(_|,—2,.3)=(待,打,了)
3.12
(1)777,
P(Q1)=~P(6h)=Ms)=~
⑵H(U/S】)=L5比特/符号,H(t//S2)=l比特/符号,
H(U/S3)=Q;
(3)
时U)=?
比特/信源符号
3.13
(1)有;
(2)
fG,。
,。
,。
,!
】n=2k
Y111
i。
齐,w,°i9Zi
P\n)-333〃=2*+l
(3)25Ilog2+250log3
3.14H(X)=1.44l.ww号
31510g81
3.16
(1)周期:
3;
1111511929
(2)9,9,9,36,36,6,144,144;
(3)0.9477比特/符号
3.17证明:
(略)
3.18过渡状态:
C;遍历状态:
A,B
4.1
(1)H(X)=0.811比特/符号,/70/}9=0.75比特/符号,
H(Y/X)=0.919比特/符号,/(X;y)=0.061比特/符号;
(2)C=0.082比特/符号,
P(0)=P(l)=;
4.20.0817比特/符号
4.3
(1)C=logU+(1-£)£
(1)];
Po=l一
Pi=
£(i)
£
1+(1—£)£(I)
10
⑵|_2—(1_就;
必(I)'
(3)CTogH+2一(I),)
\1。
]八
〃【(I)]
(4)[1_(Ifd)〃」,C=log(l+2「(I)")
4.4
(1)C=0.0488比特/符号;
35
88
511
⑵奇区」;
(3)0.0032比特/符号,
p()=0.496=0.504
4.5⑴Iog2—H0);
3fc
7log2
(2)4
Q31“3(1-£)13.、
n-n(,—,—)
(3)884444时,输入等概率。
4.6。
=1理(1+25勺,Po=(l+21项⑹)「',
Pi=P2=2“)(1+25勺
...睛—出0)—(1-$)〃(£)4.7。
=1。
82[2’心)+2’而)]比特/符号,其中'4.8证明:
可求得n各级联信道转移概率矩阵为:
(2)1+(1-2p)〃1-(1-2p)〃F———
(3)i-(\-2p)nl+(l_2p)"
C=l-H(l—(1—2河)
容景2,
C=1-H(-)=O
当moo时,2
6.5
(1)证明:
(略)
(2)C=logK-H(Z),输入等概率.
6.6
(1)准对称信道:
2
C=(1一2^)log-—+(1-p-£)log(l-p-£)+(p-£)log(p-£)
1一2/
(2)准对称:
c=log2+(1-26:
)log+(1-p-^)log(l-P-£)+(p-£)log(p-£)
1-
7.2
(1)/Z18;
(2)0.00167
7.3⑴M)=18841;
⑵0.99x214338 7.4否;是;N== 5.4设长度为j的码序列个数为N,,则 Nj=2N.T+Nj_\, 解得: +j=l,2,…; 5.5 (1)丑(,)=0.469比特/符号,r=0.531 (2)/=1, =0.469 互=0.645—=0.533A=0.493% (3)2,3,4,oo (4)N=1: 0.469,0.531,TV=2: 0.727,0.273, N=3: 0.880,0.120,N=4: 0.951,0.049, N=oo: l,0 7.10/=1・85,〃=0.9542,R=1.51比特/符号 7.117-100% 7.12 (1)H(S)=0.7853比特/符号; (2)I=2.72,"=0.959; ⑶/=1.81,77=0.915; (4)N=2.02xl()4 7.1324种最优码,8种Huffman码。 7.14 (1)a"",log2,°; 7.14Si: Qi: 。 S: 】。 S2: 。 2: 。 ,。 3: 1; S3: 不编码 1=Hs(X)== 7.157 273o547 7.15 (1)10242048; (2)010******** 5.12(略) 5.132,3,3,1,3,4,5,10,11,6,10 5.14(略) 95 5.1532768 8.21.6Kbps 8.3 (1)200bps; (2)198.56bps 8.4 (1)G(y=0)=0 G(y=l)=lco<\一〃或G(),=l)=0co>\-p pE=2pcoco 9.2G(y=0)=0,G(y=l)=l,pE=2pa), 9.3当一P时,两准则同 64G(b)=。 ]GCWfG(03)=q3 11 Pf (1)0.5比特/符号 (2对每个传送消息,译码后结果是唯一的,所以译码差错率为0 厂! 5 C=log- (1)2; 用1个符号传送2个消息,消息Mi编码为1,消息必2编码为3; 5个消息'=1,234,5 编为: ": 11,肱2: 22,肱3: 33,m: 44,*: 55, Pe=025 采用编码: 初2: 2气%: 31,"43,忆: 55各接收序列不相交,唯一,此时可译,所以译码差错为o。 R=- (1)dmin=3; (2)5; (3)10000T10010 01100->11100 00100-^00111或11100(4)最多能纠1个错 译码原则()000T0101,0001T0110,0010r1001, 0100->1010,1000->0000,0011->0011, 1100^1100,0111^1110,1011^1111,11011111 117 Pe=PE=—— (1)0.26比特; (2)第2枚;(3)'20;(4)16 ] (1)1-P; (2)已给定R 采用如下编码方式: 将信息编成长为m的二元序列,每个二元符号最多发送K次,若其中有一个符号连续接收错误,则判定码字传输错误。 设,i为消息序号,则 盛=1-(1-pS'=l-(l-pW根据或令 来选择Ko通过可得平均传输每个二元符号需要的传送符号数 1K 1一P1Mn=logW 为1—P_ 1Kl_p 为1一P,所以信道编码的平均码 (】—P)/|、n 满足设计要求。 M=2顽>2(P)>2 o, 1 6.11 (1)G(0)=0, G(l)=l,G (2)= 1co<— CD>- 2 1co<— 2; 1,2, (1一刃)P, Y Pe=刃p, ⑵G(0)=0,G⑴=1,G (2)=0或i Pe=3P或(1一即); (3)设重复码,°,1,长度为〃,接收当接收序列中含1个“0”,或“1”就判为“0” 或“I”,Pe=P,当时,Pe»)° 6.12证明: (略) H(Z)=^^ 6.13 (1) (i)1一〃,其中H(p)=—plogp—(1—p)log(l—/? ); (ii) (iii) R=i_P比特/符号 2 P=£_⑵(i)£l2 6.14⑴G(0)=0,G⑴=1; (2)Pe=(i-©)(1-p); (3)G(000)=0? G(v000)=1, 3,Pe=(1-©)(1-P); 9.4与“择多译码”方式不同; 1 9.5〃,Pe=(1-。 )(1-P), 当"Too时,R,Pe都趋于0。 2,+1.1 Pe=ZC'eP'(1-P) 6.15证明: m+i,其中第一次最大,所以 pE<(t+1): 二tp'+'(1-p)'(=e) I\)•4*. 可证明级数e收敛,所以当时,e TO 6.16 (1)不能; (2)10.87秒o Xaxa2 6.17设信源模型为1尸」L0*8°・2」,每秒发出2.5个信源符号,将此信源的输出通过某一个二元无噪信道传输,且每秒只传送两个符号; 解: (1)不能; (2)2.5H(X)=2.5x0.72=1.8<2,采用适当编码可以通过信道无失真传输; (3)采用二次扩展Huffman编码: 。 2。 2: 111,平均码长/=0.78,2.5x0.78=1.95<2,满足传输要求。 ielog- 7.1 (1)A; 2elog— (2)/ log。 /? (X)=log(m-0)h(Y)=log(但一% h(XY)=log[(a2-aM2~b^,7(X;K)=0c 74馈龙(初=脸(狎) 71 /(x;r)=iog-e A(X)=log—/? (/)=log—7.5e,2 71z(x;y)=iog—h(XY)=log(7nib)be2 7.6证明: (略) 7.7 /? (X)=(3+/)loge,”(V)旋扼,(后面两个没有答案) /? (Z)=: log[2^(W+b;)] 7.82o ro/? (X)=logoh(Y)=2log6^h(XY)=(/+2)logg z.y,, /(X;Y)=(l-/)loge,/: 欧拉常数 2+2 /(〃;U)=log— o 7.H/(X;K)=—10gTTU 7.12证明: (略) 1(-y-Qfi)2 3=2(必-亦) 713yj2兀(以2—Oi) ./(x)=一: 一;—ect\1、i/\ 次心)满足"(尤)1")=必, 久(X)=plogQ]+logr(p)+[p-(p-Deslogeo A(X)=—log(2^) (1)2; h(X)=—log(J弟形) (2)2o Imy1】、vii、 C=log2[0;log(l+/»)+/»log(l+e~y(^]dy 8.1 (1)a+b b八b八, ——Iner0——Oncrk)g2 a,a; h Pe= (2)ci+b (1)证明略; 〃12" C=log—— (2) ON段3司 •sdgoIXVI (一)6.X •sdqso寸一(S=sdqs寸寸一(Z=sdqM.OS(I)OCOC ・(箜)Z/OC学W夸 ".寸(£ &6Z 也-ffiw妄云81寸OHU &g* 。 一 98 (蜜)S (蜜) (蜜) (箜)建/J06(蜜)s9.8(蜜)£且200 (羹)20C (Z)+一)宓000彳。 ()N08,岛2社泛目(+一)803 rKkr^L 206 (蜜)曳.8•(蜜)二00。 ZH2Z.6(Z) W2X866.I (一)0一8 4 7? (D)=log—-H(D) 证明: (略) _4 D _1Qmax—=min-1,3, /? (D)=|[log2-H(^=^)J•JJ 9.4解: Omin=°,Dmax=〃Q, R(D)=H(co)-H(—)ao 9.5解: Omin—°,Dmax—0 9.6 解: [(1-D)log(l-D)+(D-0.2)log(D-0.2)-0.8log0.4,0.4 R(D)=Llog5-(D+0.8)log2-H(D),D<0.4 9.7证明: (略) 9.8解: (略) 9.9解: (略) 9.10R(Q)=(1-D)log2; 9.11(略) 9.12证明: (略) 9.13证明: 。 血一°,Omax—3; 当D=Omin时,使用输出符号0,1,2,3; 当。 =Omax时,使用输出符号6, R(D)=21og2-Z)log2(0 D3 /? (O)=-ylog2+-log2(i〈o<3) 9.14解: 风。 )=-脸(如),(°"F)。 9.15证明: (略) 9.16解: (略) 9.17解: (略) 9.18解: (略
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础 各章 参考答案 doc
![提示](https://static.bdocx.com/images/bang_tan.gif)