信息论与编码复习总结Word文档格式.docx
- 文档编号:16305592
- 上传时间:2022-11-22
- 格式:DOCX
- 页数:8
- 大小:430.92KB
信息论与编码复习总结Word文档格式.docx
《信息论与编码复习总结Word文档格式.docx》由会员分享,可在线阅读,更多相关《信息论与编码复习总结Word文档格式.docx(8页珍藏版)》请在冰豆网上搜索。
编码分为信源编码和信道编码,其中信源编码又分为无失真和限失真
三大定理:
无失真信源编码定理(第一极限定理)(可逆)
信道编码定理(第二极限定理)
限失真信源编码定理(第三极限定理)(不可逆)
Shannon(香农)信息论:
在噪声环境下,可靠地、安全地、有效地传送信息理论。
通信系统模型方框图:
信道的种类很多,如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。
也可以从信道的性质或其传送的信号情况来分类,例如:
无干扰信道和有干扰信道、恒参信道和变参信道、离散信道(DiscreteChannel)和连续信道(Continuous Channel)、单用户信道和多用户信道等。
信源的描述:
通过概率空间描述
平稳包含齐次,而齐次不包含平稳(重要,第二章计算题)
定义:
若齐次马尔可夫链对一切i,j存在不依赖于i的极限,则称其具有遍历性,pj称为平稳分布(如下)
设有一齐次马尔可夫链,其状态转移矩阵为P,其稳态分布为wj=p(sj)
自信息量的特性:
p(xi)=1,I(xi)=0;
p(xi)=0,I(xi)=∞;
非负性;
单调递减性;
可加性;
联合概率空间中任一联合事件的联合(自)信息量为:
定义:
对于给定离散概率空间表示的信源,在出现y事件后所提供有关事件x的信息量定义互信息,单位为比特
信道模型:
二进制离散信道BSC;
离散无记忆信道DMC;
波形信道
信源编码器的目的:
是使编码后所需的信息传输率R尽量小。
信源编码:
主要任务就是减少冗余,提高编码效率。
唯一可译码:
(任意有限长的码元序列,只能被唯一地分割成一个个的码字,便称为唯一可译码){0,10,11}为唯一可译码,任意有限长码序列:
100111000。
(分类)即时码和非即时码
变长编码定理:
(解答,重要)?
?
1、平均码长:
2、根据信源各个符号的统计特性,如概率大的符号用短码,概率小的用较长的码,使得编码后平均码长降低,从而提高编码效率。
(统计匹配)
变长码要求编码效率96%时,序列长仅为2.随着L的增加,编码效率可接近1,有效的利用信道
问:
小信号集如何实现统计匹配的变长编码?
答:
基本思想为扩张信源,以实现统计匹配
哈夫曼编码(例题)(重要)哈夫曼码是即时码
例:
信源(u1,u2),对应概率为p1=2/3,p2=1/3,取L=1,2,3,分别进行二进制哈夫曼编码。
⏹L=1,编码u1→0,u2→1,
⏹对应平均码长k1=1
⏹信源熵H=0.9183bit
⏹编码效率=0.9183
⏹L=2,每次取两个消息,组成新的联合信源
⏹消息集 概率 编码
⏹u1u1 4/9 1
⏹u1u2 2/9 01
⏹u2u1 2/9 000
⏹u2u2 1/9 001
⏹平均码长k=0.944
编码效率=0.9725
⏹L=3,三次扩展
⏹消息集概率 编码
⏹u1u1u1 8/27 01
⏹u1u1u2 4/27 000
⏹u1u2u1 4/27 001
⏹u1u2u2 2/27 100
⏹u2u1u1 4/27 110
⏹u2u1u2 2/27 111
⏹u2u2u1 2/27 1010
⏹u2u2u21/27 1011
⏹平均码长k=0.9383
⏹编码效率=0.9787
纠错能力(汉明码)(重要)
卷积码(编码——状态图、网格图):
交织码、级连码(填空)
交织码差错的两种类型:
随机差错(独立差错)、突发差错
⏹主要缺点:
会带来较长的时延,在实时通信中会带来不利影响
⏹改造方法:
卷积交织器,可降低一半的时延
级连码:
既能纠随机独立差错又能纠单个或多个突发差错的码:
交错码、乘积码、级连码
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 复习 总结