信息论与编码理论习题答案.docx
- 文档编号:23189561
- 上传时间:2023-05-15
- 格式:DOCX
- 页数:16
- 大小:19.50KB
信息论与编码理论习题答案.docx
《信息论与编码理论习题答案.docx》由会员分享,可在线阅读,更多相关《信息论与编码理论习题答案.docx(16页珍藏版)》请在冰豆网上搜索。
信息论与编码理论习题答案
资料范本
本资料为word版本,可以直接编辑和打印,感谢您的下载
信息论与编码理论习题答案
地点:
__________________
时间:
__________________
说明:
本资料适用于约定双方经过谈判,协商而共同承认,共同遵守的责任与义务,仅供参考,文档可直接下载或修改,不需要的部分可直接删除,使用时请详细阅读内容
第二章信息量和熵
2.2八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:
同步信息均相同,不含信息,因此
每个码字的信息量为2=23=6bit
因此,信息速率为61000=6000bit/s
2.3掷一对无偏骰子,告诉你得到的总的点数为:
(a)7;(b)12。
问各得到多少信息量。
解:
(1)可能的组合为{1,6},{2,5},{3,4},{4,3},{5,2},{6,1}
==
得到的信息量===2.585bit
(2)可能的唯一,为{6,6}
=
得到的信息量===5.17bit
2.4经过充分洗牌后的一副扑克(52张),问:
(a)任何一种特定的排列所给出的信息量是多少?
(b)若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?
解:
(a)=
信息量===225.58bit
(b)
==
信息量==13.208bit
2.9随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的点数之和,Z表示3颗骰子的点数之和,试求、、、、。
解:
令第一第二第三颗骰子的结果分别为,,,相互独立,则,,
==6=2.585bit
==
=2(36+18+12+9+)+6
=3.2744bit
=-=-[-]
而=,所以=2-=1.8955bit
或=-=+-
而=,所以=2-=1.8955bit
===2.585bit
=+=1.8955+2.585=4.4805bit
2.10设一个系统传送10个数字,0,1,…,9。
奇数在传送过程中以0.5的概率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。
解:
=-
因为输入等概,由信道条件可知,
即输出等概,则=10
=
=-
=0-
=--
=25+845
==1bit
=-=10-1=5=2.3219bit
2.11令{}为一等概消息集,各消息相应被编成下述二元码字
=0000,=0011,=0101,=0110,
=1001,=1010,=1100,=1111
通过转移概率为p的BSC传送。
求:
(a)接收到的第一个数字0与之间的互信息量。
(b)接收到的前二个数字00与之间的互信息量。
(c)接收到的前三个数字000与之间的互信息量。
(d)接收到的前四个数字0000与之间的互信息量。
解:
即,,,
=+=
===1+bit
==
===bit
==
=3[1+]bit
=
=bit
2.12计算习题2.9中、、、、。
解:
根据题2.9分析
=2(++++
+++)
=3.5993bit
=-=-=1.0143bit
=-=-=0.3249bit
=-=-=1.0143bit
=-=-=0.6894bit
=-=-=0bit
2.14对于任意概率事件集X,Y,Z,证明下述关系式成立
(a)+,给出等号成立的条件
(b)=+
(c)
证明:
(b)=-
=-
=--
=+
(c)=-
=[-]
[-]
=-
=
当=,即X给定条件下,Y与Z相互独立时等号成立
(a)上式(c)左右两边加上,可得
++
于是+
2.28令概率空间,令Y是连续随机变量。
已知条件概率密度为
,求:
(a)Y的概率密度
(b)
(c)若对Y做如下硬判决
求,并对结果进行解释。
解:
(a)由已知,可得
=
=
=+
=
(b)==2.5bit
=
==2bit
=-=0.5bit
(c)由可得到V的分布律
再由可知
bit
=1bit
==0.5bit
2.29令和是同一事件集U上的两个概率分布,相应的熵分别为和。
(a)对于,证明=+是概率分布
(b)是相应于分布的熵,试证明+
证明:
(a)由于和是同一事件集U上的两个概率分布,于是
0,0
=1,=1
又,则
=+0
=+=1
因此,是概率分布。
(b)=
=
(引理2)
=+
第三章信源编码——离散信源无失真编码
3.1试证明长为的元等长码至多有个码字。
证:
=1\*GB3①在元码树上,第一点节点有个,第二级有QUOTED2,每个节点对应一个码字,若最长码有,则函数有==,此时,所有码字对应码树中的所有节点。
=2\*GB3②码长为1的个;码长为2的个,…,码长为的个
∴总共=个
3.2设有一离散无记忆信源。
若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。
(a)在等长编码下,求二元码的最短码长。
(b)求错误概率(误组率)。
解:
(a)不含的序列1个
长为100的序列中含有1个的序列QUOTEC1001=100个
长为100的序列中含有2个的序列=4950个
∴所需提供码的总数M=1+100+4950=5051
于是采用二元等长编码=12.3,故取=13
(b)当长度为100的序列中含有两个或更多QUOTEa1的时出现错误,
因此错误概率为
=-
=
3.3设有一离散无记忆信源,U=,其熵为。
考察其长为的输出序列,当时满足下式
(a)在=0.05,=0.1下求
(b)在=,=下求
(c)令是序列的集合,其中
试求L=时情况(a)(b)下,T中元素个数的上下限。
解:
===0.81bit
QUOTEa1a21434=
==-
=
=0.471
则根据契比雪夫大数定理
(a)===1884
(b)==4.71
(c)由条件可知为典型序列,若设元素个数为,则根据定理
其中,,可知
(i),,
下边界:
上边界:
=
故
(ii),,
=
故
3.4对于有4字母的离散无记忆信源有两个码A和码B,参看题表。
(a)各码是否满足异字头条件?
是否为唯一可译码?
(b)当收到1时得到多少关于字母a的信息?
(c)当收到1时得到多少关于信源的平均信息?
解:
①码A是异头字码,而B为逗点码,都是唯一可译码。
②码Abit
码Bbit
③码AU={}
==1.32bit
码B=0bit
(收到1后,只知道它是码字开头,不能得到关于U的信息。
)
3.5令离散无记忆信源
(a)求最佳二元码,计算平均码长和编码效率。
(b)求最佳三元码,计算平均码长和编码效率。
解:
(a)
=3.234bit
平均码长=3.26=
效率
(b)
平均码长=2.11
=3.344
效率
3.6令离散无记忆信源
(a)求对U的最佳二元码、平均码长和编码效率。
(b)求对U的最佳二元码、平均码长和编码效率。
(c)求对U的最佳二元码、平均码长和编码效率。
解:
(a)
=0.5×1+0.3×2+2×0.2=1.5
bit
(b)∵离散无记忆∴H(UU)=2H(U)=2.97bit
p(aa)=0.25,p(aa)=0.15,p(aa)=0.1,p(aa)=0.15,p(aa)=0.09p(aa)=0.06,p(aa)=0.1,p(aa)=0.06,p(aa)=0.04
==0.99
(c)有关最佳二元类似略
3.7令离散无记忆信源
且0≤P(a)≤P(a)≤….≤P(a)<1。
定义Q=,i>1,而Q1=0,今按下述方法进行二元编码。
消息a的码字为实数Q的二元数字表示序列的截短(例如1/2的二元数字表示序列为1/2→10000…,1/4→0100…),保留的截短序列长度n是大于或等于I(a)的最小整数。
(a)对信源构造码。
(b)证明上述编码法得到的码满足异字头条件,且平均码长满足
H(U)≤≤H(U)+1。
解:
(a)
(b)反证法证明异字头条件
令k 又由可知, 从而得 这与假设是的字头(即)相矛盾,故满足异字头条件。 由已知可得 对不等号两边取概率平均可得 即 3.8扩展源DMC, (a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U的最佳二元码、平均码长和编码效率。 (c)求对U的最佳二元码、平均码长和编码效率。 (d)求对U的最佳二元码、平均码长和编码效率。 解: (a),=1,=1 bit DMC信道 ,, (c) =2.944=0.981 =98.85% (d)略 3.9设离散无记忆信源试求其二元和三元Huffman编码。 解: 3.11设信源有K个等概的字母,其中K=,12。 今用Huffman编码法进行二元编码。 (a)是否存在有长度不为j或j+1的码字,为什么? (b)利用和j表示长为j+1的码字数目。 (c)码的平均长度是多少? 解: Huffman思想: 将概率小的用长码,大的用短码,保证↓,当等概时,趋于等长码。 a)对时,K=2j,则用长度为j码表示;当时,用K=2j+1,用长度为j+1码表示。 平均码长最短,则当12时,则介于两者之间,即只存在j,j+1长的码字。 b)设长为j的码字个数为Nj,长度为j+1的码字数目为Nj+1,根据二元Huffman编码思想(必定占满整个码树),即 从而, c)= 3.12设二元信源的字母概率为,。 若信源输出序列为 1011011110110111 (a)对其进行算术编码并进行计算编码效率。 (b)对其进行LZ编码并计算编码效率。 解: (a) 根据递推公式可得如下表格 其中,F (1)=0,F (1)=,p(0)=,p (1)= 010********* (b)首先对信源序列进行分段: 1011011110110111 然后对其进行编码,编码字典如下所示 bit 3.13设DMS为U=,各a相应编成码字0、10、110和1110。 试证明对足够长的信源输出序列,相应的码序列中0和1出现的概率相等。 解: 设信源序列长为N,则相应码字长为(条件是N要足够长) 相应码序列中0出现的次数 ∴p(0)==p (1)=1-p(0)= 3.14设有一DMS,U= 采用如下表的串长编码法进行编码 (a)求H(U)。 (b)求对于每个中间数字相应的信源数字的平均长度。 (c)求每个中间数字对应的平均长度。 (d)说明码的唯一可译性。 解: (a)bit 由已知可得下表 (b)bit (c)EQEQEQbit (d)异字码头 第四章信道及信道容量 4.1计算由下述转移概率矩阵给定的DMC的容量。 (a) 它是一对称信道,达到C需要输入等概,即= ∴C bit/符号 (b) 它是一对称信道 ∴ bit/符号 (c) 它是分信道和的和信道 由,可知bit/符号 4.3求图中DMC的容量及最佳输入分布 (a)(b) 解: (a)由图知 发送符号1时等概率收到0,1,2, ∴传对与传错概率完全相同,即不携带任何信息量,于是信道简化为二元纯删除信道 bit/符号 (b)由图知 为准对称 ∴当输入等概,即时达到信道容量C 此时 ∴ =bit/符号 N个相同的BSC级联如图。 各信道的转移概率矩阵。 令,且为已知。 (a)求的表达式。 (b)证明时有,且与取值无关,从而证明时的级联信道容量 解: N个信道级联后BSC可表示为 N个级联可以看成N-1个级联后与第N个级联 ∴ 同理可得 从而 (a) (b) 因此与无关。 由于 与无关,因此,C=0。 4.8一PCM语音通信系统,已知信号带宽W=4000Hz,采样频率为2W,且采用8级幅度量化,各级出现的概率为1/2,1/4,1/8,1/16,1/32,1/32,1/32,1/32。 试求所需的信息速率. 解: bit ∴信息速率bit/s 4.9在数字电视编码中,若每帧为500行,每行划分成600个像素,每个像素采用8电平量化,且每秒传送30帧时,试求所需的信息速率。 解: 每个像素信息量为3bit 每秒传输30帧,即个像素 ∴bit/s 4.10带宽为3kHZ,信噪比为30dB的电话系统,若传送时间为3分钟,试估计可能传送话音信息的数目。 解: =30dB==1000 则Rbit/s=29.9Kb/s 又传送时间t=30分钟=180s ∴信息量为29.9180=5.382Mbit 4.12若要以R=的速率通过一个带宽为8kHz、信噪比为31的连续信道传送,可否实现? 解: 根据SHANNON公式 40Kb/s 当连续信道为高斯信道时,C 第五章离散信道编码定理 5.1设有一DMC,其转移概率矩阵为 若=1/2,=1/4,试求两种译码准则下的译码规则,并计算误码率。 解: (1)最大后验概率译码准则 首先计算 ∴译码规则为 ∴ (2)最大似然准则译码 计算 ∴译码规则 ∴ 显然它不是最佳。 第六章线性分组码 6.1设有4个消息和被编成长为5的二元码00000,01101,10111,11010。 试给出码的一致校验关系。 若通过转移概率为p<1/2的BSC传送,试给出最佳译码表及相应的译码错误概率表示式。 解: (1) 从而构造出 (2)根据最小距离译码准则,可得伴随式与错误图样的对应关系如下 0010010010110100 0100100011000010 0110000111100110 1001000000000000 (3) 6.4设二元(6,3)码的生成矩阵为 试给出它的一致校验矩阵为。 解: H=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 理论 习题 答案
![提示](https://static.bdocx.com/images/bang_tan.gif)