信息论与编码理论习题三.doc
- 文档编号:234208
- 上传时间:2022-10-07
- 格式:DOC
- 页数:7
- 大小:412KB
信息论与编码理论习题三.doc
《信息论与编码理论习题三.doc》由会员分享,可在线阅读,更多相关《信息论与编码理论习题三.doc(7页珍藏版)》请在冰豆网上搜索。
信息论与编码理论习题(三)
一、填空题(每空2分,共32分)。
1.在现代通信系统中,信源编码主要用于解决信息传输中的,信道编码主要用于解决信息传输中的,加密编码主要用于解决信息传输中的
2.离散信源,则信源的熵为。
3.采用m进制编码的码字长度为Ki,码字个数为n,则克劳夫特不等式为,它是判断的充要条件。
4.如果所有码字都配置在二进制码树的叶节点,则该码字为。
5.齐次马尔可夫信源的一步转移概率矩阵为P,稳态分布为W,则W和P满足的方程为。
6.设某信道输入端的熵为H(X),输出端的熵为H(Y),该信道为无噪有损信道,则该信道的容量为。
7.某离散无记忆信源X,其符号个数为n,则当信源符号呈分布情况下,信源熵取最大值。
8.在信息处理中,随着处理级数的增加,输入消息和输出消息之间的平均互信息量趋于。
二.选择题(共10分,每小题2分)
1、有一离散无记忆信源X,其概率空间为,则其无记忆二次扩展信源的熵H(X2)=()
A、1.75比特/符号;B、3.5比特/符号;
C、9比特/符号;D、18比特/符号。
2、信道转移矩阵为,其中两两不相等,则该信道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C,下列说法正确的是:
()
A、互信息量一定不大于C
B、交互熵一定不小于C
C、有效信息量一定不大于C
D、条件熵一定不大于C
4、在串联系统中,有效信息量的值()
A、趋于变大
B、趋于变小
C、不变
D、不确定
5、若BSC信道的差错率为P,则其信道容量为:
()
A、C、
B、D、
三.综合题
1.已知信源
(1)用霍夫曼编码法编成二进制变长码;(6分)
(2)计算平均码长;(4分)
(3)计算编码信息率;(2分)
(4)计算编码后信息传输率;(2分)
(5)计算编码效率。
(2分)
2.一个一阶马尔可夫信源,转移概率为
。
(1)画出状态转移图。
(4分)
(2)计算稳态概率。
(4分)
(3)计算马尔可夫信源的极限熵。
(4分)
(4)计算稳态下,及其对应的剩余度。
(4分)
3.设离散无记忆信源的概率空间为,通过干扰信道,信道输出端的接收符号集为,信道传输概率如下图所示。
(1)计算信源中事件包含的自信息量;
(2)计算信源的信息熵;
(3)计算信道疑义度;
(4)计算噪声熵;
(5)计算收到消息后获得的平均互信息量。
参考答案:
一.填空
(1)有效性,可靠性,安全性
(2)1.75bit/符号(3),唯一可译码存在(4)唯一可译码(5)W=WP(6)MAXH(Y)(7)等概___log(n)(8)减少
三.综合题
1.
(1)
(2)
(3)
(4)
(5)
2.
解:
(1)
(2)由公式
有
得
(3)该马尔可夫信源的极限熵为:
(4)在稳态下:
对应的剩余度为
3.
(1)
(2)
(3)转移概率:
xy
y1
y2
x1
5/6
1/6
x2
3/4
1/4
联合分布:
xy
y1
y2
x1
2/3
12/15
4/5
x1
3/20
1/20
1/5
49/60
11/60
1/5
(4)
(5)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 理论 习题