《信息论基础》试卷(期末)(B卷).doc
- 文档编号:1636830
- 上传时间:2022-10-23
- 格式:DOC
- 页数:7
- 大小:333KB
《信息论基础》试卷(期末)(B卷).doc
《《信息论基础》试卷(期末)(B卷).doc》由会员分享,可在线阅读,更多相关《《信息论基础》试卷(期末)(B卷).doc(7页珍藏版)》请在冰豆网上搜索。
重庆邮电大学2007/2008学年2学期
《信息论基础》试卷(期末)(B卷)(半开卷)
题号
一
二
三
四
五
六
七
八
总分
得分
评卷人
一、填空题(共20分,每空1分)
1、通信系统中,编码的主要目的有两个,分别是和。
2、离散无记忆信源存在剩余度的原因是。
3、当时,信源熵为最大值。
八进制信源的最大熵为,最小熵为。
4、无失真信源编码的平均码长最小理论极限制为。
5、一个事件发生概率为0.125,则自相关量为。
6、根据信原输出随机序列中随机变量前后之间有无统计依赖性,信原可以分为
和。
7、噪声瞬时值的概率密度函数服从分布,同时功率谱密度为的噪声称为高斯白噪声。
8、当时,信源与信道达到匹配。
9、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正
态分布或时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“”或“”
(1)H(XY)H(Y)+H(X|Y)H(Y)+H(X)
(2)假设信道输入用X表示,信道输出用Y表示。
在有噪无损信道中,H(X/Y)0,
H(Y/X)0,I(X;Y)H(X)。
二、(6分)若连续信源输出的幅度被限定在【1,3】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。
三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(4分)
(2)计算平均码长;(4分)
(3)计算编码信息率;(4分)
(4)计算编码后信息传输率;(2分)
(5)计算编码效率。
(2分)
四、(12分)已知一个平均功率受限的连续信号,通过带宽的高斯白噪声信道,试计算
(1)若信噪比为10,信道容量为多少?
(4分)
(2)若信道容量不变,信噪比降为5,信道带宽为多少?
(4分)
(3)若信道通频带减为时,要保持相同的信道容量,信道上的信号与噪声的平均功率比值应等于多少?
(4分)
五、(16分)某个信息源发出符号的概率为:
假设该信息源发出的符号前后有关联,其依赖关系为:
(1)画出状态转移图(4分)
(2)计算稳态概率(4分)
(3)计算信源的极限熵(4分)
(4)计算稳态下H1,H2及其对应的剩余度。
(4分)
六、(8分)同时掷两个正常的股子,也就是各面呈现的概率都是,计算
(1)“3和4同时出现”事件的自信息量;(2分)
(2)两个点数中至少有一个是1的自信息;(2分)
(3)两个点数中之和为3的自信息;(2分)
(4)两个点数的各种组合(无序对)的熵。
(2分)
七、(22分)设离散无记忆信源的概率空间为,通过二进制对称信道,其概率转移矩阵为,信道输出端的接受符号集为
(1)计算信源熵(4分)
(2)损失熵;(4分)
(3)噪声熵;(4分)
(4)受到消息Y后获得的平均互信息量(4分)
(5)该信道的信道容量(4分)
(6)说明该信道达到信道容量时的输入概率分布。
(2分)
《信息论基础》试卷答案
一、填空题(共20分,每空1分)
1、通信系统中,编码的主要目的有两个,分别是提高有效性和可靠性。
2、离散无记忆信源存在剩余度的原因是分布不等概。
3、当信源各符号无相关性、等概分布时,信源熵为最大值。
八进制信源的最大熵为,最小熵为。
4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr=Hr(S))。
5、一个事件发生概率为0.125,则自相关量为。
6、根据信原输出随机序列中随机变量前后之间有无统计依赖性,信原可以分为有记忆信源和无记忆信源。
7、噪声瞬时值的概率密度函数服从高斯分布,同时功率谱密度为均匀分布的噪声称为高斯白噪声。
8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。
9、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正
态分布或时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“”或“”
(1)
(2)假设信道输入用X表示,信道输出用Y表示。
在有噪无损信道中,H(X/Y)=0,H(Y/X)>0,I(X;Y)=H(X)。
二、(6分)若连续信源输出的幅度被限定在【1,3】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。
解:
该信源的相对熵:
绝对熵为
三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(4分)
(2)计算平均码长;(4分)
(3)计算编码信息率;(4分)
(4)计算编码后信息传输率;(2分)
(5)计算编码效率。
(2分)
解:
(1)霍夫曼编码后的二进制变长码:
S1:
10,S2:
00,S3:
00,S4:
110,S5:
111,
(2)平均码长:
I=0.35*3+0.65*2=2.35码元/符号;
(3)编码信息率:
=*logr=2.35*1=2.35bit/信源符号
(4)编码后信息传输率:
(5)编码效率:
==98%
四、(12分)已知一个平均功率受限的连续信号,通过带宽的高斯白噪声信道,试计算
(1)若信噪比为10,信道容量为多少?
(4分)
(2)若信道容量不变,信噪比降为5,信道带宽为多少?
(4分)
(3)若信道通频带减为时,要保持相同的信道容量,信道上的信号与噪声的平均功率比值应等于多少?
(4分)
解:
(1)根据香农公式:
(2)当,
则
(3)当带宽减为,
=120
五、(16分)某个信息源发出符号的概率为:
假设该信息源发出的符号前后有关联,其依赖关系为:
(5)画出状态转移图(4分)
(6)计算稳态概率(4分)
(7)计算信源的极限熵(4分)
(8)计算稳态下H1,H2及其对应的剩余度。
(4分)
解:
(1)
(2)由
(3)该信源的极限熵:
六、(8分)同时掷两个正常的股子,也就是各面呈现的概率都是,计算
(1)“3和4同时出现”事件的自信息量;(2分)
(2)两个点数中至少有一个是1的自信息;(2分)
(3)两个点数中之和为3的自信息;(2分)
(4)两个点数的各种组合(无序对)的熵。
(2分)
解:
(1)P(3和4同时出现)=
(2)P(1,1or1,jori,1)=
(3)P(1,2or2,1)=
(4)相同点出现的概率为,共6种组合
不同点出现的概率为,共15种组合
其熵为:
事件
七、(22分)设离散无记忆信源的概率空间为,通过二进制对称信道,其概率转移矩阵为,信道输出端的接受符号集为
(1)计算信源熵(4分)
(2)损失熵;(4分)
(3)噪声熵;(4分)
(4)受到消息Y后获得的平均互信息量(4分)
(5)该信道的信道容量(4分)
(6)说明该信道达到信道容量时的输入概率分布。
(2分)
解
(1)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论基础 信息论 基础 试卷 期末