《信息论、编码与密码学》课后习题答案Word文档下载推荐.doc
- 文档编号:13043454
- 上传时间:2022-10-03
- 格式:DOC
- 页数:48
- 大小:1.94MB
《信息论、编码与密码学》课后习题答案Word文档下载推荐.doc
《《信息论、编码与密码学》课后习题答案Word文档下载推荐.doc》由会员分享,可在线阅读,更多相关《《信息论、编码与密码学》课后习题答案Word文档下载推荐.doc(48页珍藏版)》请在冰豆网上搜索。
不等式的正确性。
1.4证明
1.5有一个信源X,它有无穷多个可能的输出,它们出现的概率为P(Xi)=2i-1,i=1,2,3,….,这个信源的平均自信息H(X)是什么?
解:
因为P(Xi)=2i-1,i=1,2,3,…
所以H(X)=-
=-log2(2+2.22+3.23+…..+n.2n)
=2-(1-n)2n+1
1.6考虑另一个几何分布的随机变量X,满足P(Xi)=P(1-P)i-1i=1,2,3,…..,这个信源的平均自信息H(X)是什么?
解:
因为P(Xi)=P(1-P)i-1,i=1,2,3,
所以H(X)=-
=-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n]
=(1-n)(1-p)n+1-
1.7考虑一个只取整数值的随机变量,满足,其中,。
求熵。
为了方便计算,设,则,;
根据公式计算自信息量为:
;
则熵为:
=?
1.8计算概率分布函数为
的均匀分布随机变量的微分熵。
画出相对于参数的平面图,并对结果进行评论。
根据公式(1-21)可知,微分熵为:
当时,,则
当或时,,则
根据得到的结果可以画出相应的平面图,由图可以看到随着的增加,即的减小,微分熵相应的增加。
0.1
10
1.9考虑一个信源的概率为的DMS。
(1)给出此信源的霍夫曼码。
(2)计算出这些码子的平均码长。
(3)这个码的效率是多少?
1)依题意,由霍夫曼编码的规则,得:
1.00
0.65
0.40
0.20
0.35
0.25
0.20
0.15
0.05
表格如下:
符号
概率
自信息
码字
0.35
1.515
0.25
2.000
01
2.322
000
0.15
2.738
0010
0.05
4.322
0011
2)由平均码长公式,代入数据,得:
3)首先,该信源的熵为:
该码的效率为:
1.10考虑一个信源概率为{0.35,0.20,0.15,0.15,0.10,0.10,0.05,0.05}的DMS。
(1)给出此信源的一种有效定长码。
(2)给出此信源的霍夫曼码。
(3)比较这两种码并给出评论。
1)空
2)依题意,由霍夫曼编码的规则,得:
001
100
0.10
1.000
101
110
1110
1111
3)空
1.11一个DMS只有三个输出符号,它们的概率为{0.5,0.4,0.1}。
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时,给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时,给出此信源的霍夫曼码并确定编码效率。
(1)本题的霍夫曼编码如下图所示:
0.5
0.4
1.0
图1.11霍夫曼编码
则霍夫曼码如下表:
x1
x2
00
x3
该信源的熵为:
平均每个符号的比特数为:
该码的效率为:
(2)把符号每两个分一组,重新应用霍夫曼编码算法,如下表所示:
符号对
x1x1
x1x2
010
x2x1
011
x2x2
0.16
1010
x1x3
x3x1
x2x3
0.04
1011
x3x2
x3x3
0.01
每个组的平均比特数为:
故该码的效率为:
(3)依题意,把符合每三个分成一组,再重新应用霍夫曼编码算法,得:
编码表格如下:
0.1250
2.7090
0.1000
3.3223
0000
0001
0.0800
3.6443
0100
0101
0.0640
3.9662
0.0250
5.3223
10110
10111
11100
0.0200
5.6444
11101
11110
11111
001000
001001
001010
0.0160
5.9664
001011
101000
101001
0.0050
7.6646
1010101
10101000
10101001
0.0040
7.9666
10101100
10101101
10101110
0.0010
9.9668
10101111
1.14确定下列比特流的Lempel-Ziv码:
01001111100101000001010101100110000从码字流恢复原来的序列。
根据Lempel-Ziv算法列出下表:
字典位置
字典内容
定长码字
00000
00001
00010
11
00101
111
01001
0110
00111
0111
00011
1000
00110
1001
01100
00100
10101
1101
10100
01000
10000
第2章信道容量和编码
2.1考虑图2-10所示的二元信道,设发送二元符号的先验概率为P0和P1,其中P0+P1=1,求后验概率和。
P0
P1
1-q
p
q
1-p
2.5
(1)一个电话信道具有带宽3000Hz,且SNR=20dB.求信道容量。
(2)若SNR增加到25dB,求信道容量。
(1)
SNR=20dB=100
信道容量=Wlog2(1+SNR/W)(b/s)
=3000*log2(1+100/3000)
=142(b/s)
(2)SNR=25dB=316
=3000*log2(1+316/3000)
=413(b/s)
2.7假定一个电视每秒钟显示30个画面,每个画面大约有个像素,每个像素需要16比特的彩色显示。
假定SNR为25dB,计算支持电视信号传输所需要的带宽(利用信息容量定理)
根据题意,该电视信号所需的信息容量为:
根据信息容量定理:
,其中为信噪比,据题意
据上式解得带宽
2.8考虑图2-15所示的Z型信道。
(1)求获得信道容量所需要的输入概率。
(2)若将N个这样的信道相级联,证明联合信道可以用一个信道转移概率为的等价Z信道表示。
(3)当时联合信道的容量是什么?
图2-15
(1)w为带宽
信道容量(b/s)
(2)由图可知信道转移概率为P
那么N级级联的信道转移概率
(3)当时
级联信道的信道容量为每一次使用该信道时的最大平均互信息。
其中最大值是在所有可能的输入概率上求得的即:
2.10
(1)证明对有限方差,高斯随机变量具有所有随机变量可能获得的最大微分熵。
(2)证明该熵由公式给出。
(1)由题意可知,高斯随机变量获得的微分熵为:
则有:
即其平均功率为:
对于有限方差的高斯随机变量,即当平均功率受限时,有:
即有:
综上可得,对于平均功率受限的连续随机变量,当服从高斯分布时具有最大微分熵。
(2)随机变量的微分熵为:
(1)
对于高斯分布,我们有:
(2)
其中,m为数学期望。
将
(2)式代入
(1)可得:
(3)
由(3)式可以推出:
(4)
故(4)式
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论、编码与密码学 信息论 编码 密码学 课后 习题 答案