信息论与编码复习期末考试要点.ppt

信息论与编码复习期末考试要点.ppt

《信息论与编码复习期末考试要点.ppt》由会员分享，可在线阅读，更多相关《信息论与编码复习期末考试要点.ppt（56页珍藏版）》请在冰豆网上搜索。

信息论与编码信息论与编码信息论与编码信息论与编码2课程内容课程内容信息论的基本问题信息的度量无失真信源编码定理香农第一定理信道编码定理香农第二定理限失真信源编码定理香农第三定理信源编码信道编码绪绪绪绪论论论论第一章第一章41、信息论的奠基人香农及其重要著作；2、信息、消息、信号的区别和联系3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用5信息论的奠基人：

香农重要著作：

1948年香农在贝尔系统技术杂志上发表的通信的数学理论（Amathematicaltheoryofcommunication）。

第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。

通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息-香农

（一）信息论的形成与发展6

（二）信息、消息和信号的区别与联系

（二）信息、消息和信号的区别与联系信息是事物运动状态或存在方式。

信息的基本概念在于它的不确定性不确定性,任何已确定的事物都不含信息。

消息是指包含有信息的语言、文字和图像等信号是消息的物理体现。

信号是信息的载荷子或载体，是物理性的。

7（三）数字通信系统模型（三）数字通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥uuuuxxxxyyyykkkkzzzzvvvvzzzzyyyyxxxx信源与信息熵信源与信息熵信源与信息熵信源与信息熵第二章第二章1、掌握相关概念信源分类（如离散与连续、有记忆和无记忆等）自信息、信源熵、平均互信息等概念及性质2、熟练熵、互信息的相关计算3、掌握马尔科夫信源中状态转移概率、符号转移概率的相关概念以及运算4、了解数据处理定理5、了解连续信源中，最大熵定理1）限峰功率最大熵定理2）限平均功率最大熵定理910一、一、自信息量自信息量设离散信源X，其概率空间为自信息量：

某符号出现后提供给收信者的信息量11特性特性I（xi）的特性：

I（xi）是非负值当p（xi）=1时，I（xi）=0当p（xi）=0时，I（xi）=I（xi）是先验概率p（xi）的单调递减函数，即当p（x1）p（x2）时，I（x1）I（x2）两个独立事件的联合自信息量等于它们分别的自信息量之和。

12二、离散信源熵二、离散信源熵离散信源熵H（X）（平均不确定度/香农熵）单位为比特/符号或比特/符号序列13条件熵条件熵（极限情况条件熵）当X，Y相互独立时，条件熵等于无条件熵14几个概念几个概念联合熵联合熵联合熵H（X,Y）表示X和Y同时发生的不确定度。

15三、互信息三、互信息互信息定义为xi的后验概率与先验概率比值的对数互信息互信息互信息互信息I（xi;yj）：

表示接收到某消息表示接收到某消息表示接收到某消息表示接收到某消息yyjj后获得后获得后获得后获得的关于事件的关于事件的关于事件的关于事件xxii的信息量。

的信息量。

的信息量。

的信息量。

16平均互信息平均互信息平均互信息定义互信息=先验不确定性后验不确定性=不确定性减少的量Y未知,X的不确定度为H（X）Y已知,X的不确定度变为H（X|Y）17i.对称性：

ii.非负性：

iii.极值性：

四、平均互信息的性质四、平均互信息的性质iv.凸函数性

（1）平均互信息量I（X;Y）是输入信源概率分布p（xi）的上凸函数，这一点研究信道容量的理论基础。

（2）平均互信息量I（X;Y）是信道转移概率p（yj|xi）的下凸函数，这一点是研究信源的信息率失真函数的理论基础。

18维拉图维拉图H（X|Y）H（X）H（Y）H（XY）H（Y|X）I（X;Y）平平均均互互信信息息与与各各类类熵熵的的关关系系收、发两端的熵关系收、发两端的熵关系I（X;Y）H（X）H（Y）H（X/Y）损损失失熵熵H（Y/X）噪噪声声熵熵20条件熵条件熵H（X|Y）：

信道疑义度，损失熵信源符号通过有噪信道传输后所引起的信息量的损失。

信源X的熵等于接收到的信息量加上损失掉的信息量。

H（Y|X）：

噪声熵，散布熵它反映了信道中噪声源的不确定性。

输出端信源Y的熵H（Y）等于接收到关于X的信息量I（X;Y）加上H（Y|X）,这完全是由于信道中噪声引起的。

21五、数据处理定理五、数据处理定理数据处理定理说明：

当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。

六、熵的性质六、熵的性质1.非负性H（X）H（p1，p2，pn）0式中等号只有在pi=1时成立。

2.对称性H（p1，p2，pn）=H（p2，p1，pn）3.确定性H（X）H（p1，p2，pn）0只要信源符号中有一个符号出现概率为1,信源熵就等于零。

23熵的性质熵的性质4.极值性（香农辅助定理）对任意两个消息数相同的信源5.最大熵定理（sl）离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即（pi1/M）熵最大。

24熵的性质熵的性质6.条件熵小于无条件熵25七、七、马尔可夫信源马尔可夫信源马尔可夫信源一类相对简单的离散平稳有记忆信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：

信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。

条件概率26马氏链的基本概念马氏链的基本概念令si=（xi1,xi2,xim）xi1,xi2,xim（a1,a2,an）状态集S=s1,s2,sQQ=nm信源输出的随机符号序列为：

x1,x2,xi-1,xi信源所处的随机状态序列为：

s1,s2,si-1,si例：

二元序列为01011100考虑m=2，Q=nm=22=4s1=00s2=01s3=10s4=11变换成对应的状态序列为s2s3s2s4s4s3s127若信源处于某一状态si,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。

系统在任一时刻可处于状态空间S=s1,s2,sQ中的任意一个状态,状态转移时,转移概率矩阵符号条件概率矩阵区区区区别别别别28马尔可夫信源马尔可夫信源一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij（k）在k时趋于一个和初始状态无关的极限概率Wj，它是满足方程组的唯一解；Wj：

马尔可夫链的一个平稳分布，Wj或或p（sj）就是系统此时处于状态sj的概率。

无无论论随随机机点点从从哪哪一一个个状状态态si出出发发，当当转转移移的的步步数数k足足够够大大时时，转转移移到到状状态态sj的的概概率率pij（k）都都近近似似于于一一个个常常数数Wj29例5：

有一个二元二阶马尔可夫信源,其信源符号集为0，1，已知符号条件概率：

p（0|00）=1/2p（1|00）=1/2p（0|01）=1/3p（1|01）=2/3p（0|10）=1/4p（1|10）=3/4p（0|11）=1/5p（1|11）=4/5求：

信源全部状态及状态转移概率画出完整的二阶马尔可夫信源状态转移图。

求平稳分布概率30状态转移概率矩阵符号条件概率矩阵

（1）1/2（0）1/2（0）1/3

（1）2/300011110s2s1s4s3

（1）3/4（0）1/4（0）1/5

（1）4/531稳态分布概率八、连续信源的熵和互信息八、连续信源的熵和互信息32相对熵/连续熵33限峰功率的最大相对熵定理对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。

随机变量X幅度取值限制在a,b，当信源达到最大熵。

34限平均功率最大相对熵定理对于相关矩阵一定的随机矢量X，当它是正态分布（高斯分布）时具有最大相对熵。

即随机变量X的概率密度分布为信源熵最大。

奈特/样值信道与信道容量信道与信道容量信道与信道容量信道与信道容量第三章第三章36熟练掌握信道容量的相关概念信道分类（有记忆和无记忆信道）、信道容量、信源与信道匹配熟练计算信道容量以及达到信道容量时对应的输入概率分布重点：

无干扰离散信道、对称DMC（离散无记忆）信道、准对称信道习题5、637信道容量信道容量信道容量C：

最大的信息传输率3811、无干扰离散信道、无干扰离散信道设信道的输入XXA=a1an,输出YB=b1bm11）无嗓无损）无嗓无损信道输入和输出符号之间有确定的一一对应关系3922）无嗓有损）无嗓有损信道多个输入变成一个输出（nm）噪声熵H（Y|X）0损失熵H（X|Y）04033）有嗓无损有嗓无损信道一个输入对应多个输出（nm）接收到符号Y后,对发送的X符号是完全确定的。

噪声熵H（Y|X）0损失熵H（X|Y）=04122、对称、对称DMCDMC信道信道对称离散信道：

对称性:

每一行都是由同一集q1,q2,qm的诸元素不同排列组成输入对称每一列都是由p1,p2,pn集的诸元素不同排列组成输出对称由输入对称推出由输出对称推出最佳的输入分布以及信道容量具体表达式42对称DMC信道的容量（最佳输入为等概率分布）：

上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1,p2,pm和输出符号集的个数m有关。

强对称信道的信道容量：

433、准、准对称对称DMC信道信道准对称信道转移概率矩阵P是输入对称而输出不对称将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。

它们满定对称性,所以P1所对应的信道为准对称信道。

44准对称信道的信道容量准对称信道的信道容量当输入分布为等概率时：

其中n是输入符号集的个数,（p1,p2,pm）为准对称信道矩阵中的行元素。

设矩阵可划分成r个互不相交的子集。

Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。

45例：

设信道传递矩阵为计算得：

N1=3/4,N2=1/4,M1=3/4,M2=1/4将它分成信息率失真函数信息率失真函数信息率失真函数信息率失真函数第第44章章471、概念、定义：

失真函数、平均失真、允许失真度、试验信道2、信息率失真函数（注意与信道容量的比较）3、信息率失真函数的定义域（即Dmin和Dmax）、R（Dmin）、R（Dmax）及相应的信道转移概率的计算48失真函数d（xi,yj）（信号空间中某类“距离”）：

描述了某个信源符号通过传输后失真的大小平均失真：

描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真失真矩阵:

11、失真函数和、失真函数和平均失真49xi和yj都是随机变量,所以失真函数d（xi,yj）也是随机变量,限失真时的失真值只能用数学期望表示将失真函数的数学期望称为平均失真：

允许失真D：

平均失真的上界5022、试验信道、试验信道若平均失真度不大于我们所允许的失真,即则称此为保真度准则满足条件的所有转移概率分布pij,构成了一个信道集合称为D失真允许的试验信道：

满足保真度准则的试验信道。

5144、信息率失真函数、信息率失真函数R（D）R（D）R（D）：

在限定失真为D的条件下信源输出的最小信息速率。

52R（D）的定义域率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。

由于平均失真度是非负实数d（xi,yj）的数学期望,因此也是非负的实数,即的下界是0。

R（D）=0意味着不需传输任何消息，D越大，直至无穷大都能满足这种情况。

DminDmax为R（D）的定义域。

（确界）53Dmin和R（Dmin）的计算信源的最小平均失真度：

只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。

只有当失真矩阵每一行至少有一个0，每一列至多只有一个0，才能保证R（0）=H（X）。

54Dmax和R（Dmax）选择所有满足R（D）0中D的最小值，定义为R（D）定义域的上限Dmax，即由于I（X,Y）=0