老师整理的信息论知识点Word格式文档下载.docx
- 文档编号:16202295
- 上传时间:2022-11-21
- 格式:DOCX
- 页数:12
- 大小:171.51KB
老师整理的信息论知识点Word格式文档下载.docx
《老师整理的信息论知识点Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《老师整理的信息论知识点Word格式文档下载.docx(12页珍藏版)》请在冰豆网上搜索。
1)定义:
2)性质:
联合熵和条件熵:
各类熵之间的关系:
数据处理定理:
Chp03知识点:
依据不同标准信源的分类:
离散单符号信源:
1)概率空间表示:
2)信息熵:
,表示离散单符号信源的平均不确定性。
离散多符号信源:
用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。
平均符号熵:
极限熵(熵率):
(1)离散平稳信源(各维联合概率分布均与时间起点无关的信源。
)
(2)离散无记忆信源:
信源各消息符号彼此互不相关。
①最简单的二进制信源:
,信源输出符号只有两个:
“0”和“1”。
②离散无记忆信源的N次扩展:
若信源符号有q个,其N次扩展后的信源符号共有qN个。
✧离散无记忆信源X的N次扩展信源XN的熵:
等于信源X的熵的N倍,表明离散无记忆信源X的N次扩展信源每输出1个消息符号(即符号序列)所提供的信息熵是信源X每输出1个消息符号所提供信息熵的N倍。
✧离散无记忆信源X的N次扩展信源XN极限熵(熵率)为:
(3)离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链
1)用分布律描述:
2)转移概率:
即条件概率
。
3)转移概率矩阵:
用
表示n步转移概率矩阵。
且
,,会写出马氏链的一步转移概率矩阵,会画状态转移图,能够求出n步转移概率矩阵。
4)遍历性的概念:
求解马氏信源的遍历性,即找一正整数m,使m步转移概率矩阵
中无零元。
求解马氏遍历信源的信息熵步骤:
(1)根据题意画出状态转移图,判断出是平稳遍历的马尔可夫信源;
(2)根据状态转移图写出一步转移概率矩阵,计算信源的极限分布
即是求解方程组:
(3)根据一步转移概率矩阵和极限概率W计算信源的信息熵:
极限熵H∞等于条件熵Hm+1。
(m阶马尔可夫信源的熵率)
信源的相关性和剩余度:
,
用来衡量信源输出的符号序列中各符号之间的依赖程度。
当剩余度=0时,信源的熵=极大熵H0,表明信源符号之间:
(1)统计独立无记忆;
(2)各符号等概分布。
连续信源:
(1)微分熵:
i.定义:
ii.物理意义:
(2)连续信源的联合熵和条件熵
(3)几种特殊连续信源的熵:
a)均匀分布的连续信源的熵:
b)高斯分布的连续信源的熵:
【概率密度函数:
】
c)指数分布的连续信源的熵:
【概率密度函数:
(4)最大连续熵定理:
a)限峰值功率的最大熵定理(输出幅值受限):
均匀分布
b)限平均功率的最大熵定理(输出平均功率受限):
高斯分布
(5)熵功率及连续信源的剩余度
\
Chp04知识点:
一、一些基本概念:
1.什么是信道?
信道的作用,研究信道的目的。
2.一般信道的数学模型,信道的分类(根据输入输出随即信道的特点,输入输出随机变量个数的多少,输入输出个数,有无干扰,有无记忆,信道的统计特性进行不同的分类)
3.前向概率p(yj/xi)、后向概率/后验概率p(xi/yj)、先验概率p(xi)。
4.几个熵的含义:
✧H(X)---表示信源的不确定性;
✧H(X|Y)---信道疑义度,表示如果有干扰的存在,接收端收到Y后对信源仍然存在的不确定性。
也称为损失熵,表示信源符号通过有噪信道传输后所引起的信息量的损失。
✧H(Y|X)---噪声熵,它反映了信道中噪声源的不确定性。
二、离散信道:
1.单符号离散信道:
a)信道模型的表示:
传递矩阵(有传递(条件、转移)概率p(yj|xi)组成);
b)信道的信息传输率:
R=I(X;
Y)—表示接收到输出符号集Y后所消除的对于信源X的不确定性,也就是获得的关于信源的信息。
它是平均意义上每传送一个符号流经信道的信息量。
关于I(X;
Y)的性质:
I(X;
Y)是信源概率分布p(xi)和信道转移概率p(yj|xi)的二元函数:
那么,当信道特性p(yj/xi)固定后,I(X;
Y)随信源概率分布p(xi)的变化而变化。
调整p(xi),在接收端就能获得不同的信息量。
由平均互信息的性质已知,对于给定的信道转移概率p(yj/xi),I(X;
Y)是输入分布p(xi)的上凸函数,因此总能找到一种概率分布p(xi)(即某一种信源),使信道所能传送的信息率为最大。
那么这个最大的信息传输率即为信道容量。
c)信道容量概念:
在信道中最大的信息传输速率
对于给定的信道,总能找到一个最佳输入分布使得I(X;
Y)得到极大值。
d)信道容量的含义:
信道容量是完全描述信道特性的参量,信道容量是信道传送信息的最大能力的度量,信道实际传送的信息量必然不大于信道容量。
2.几种特殊离散信道的信道容量:
a)具有一一对应关系的无噪信道:
n---输入符号数,m---输出符号数
当信源呈等概率分布时,具有一一对应确定关系的无噪信道达到信道容量C:
b)具有扩展性能的无损信道:
c)具有归并性能的无噪信道:
注意:
在求信道容量时,调整的始终是输入端的概率分布p(xi),尽管信道容量式子中平均互信息I(X;
Y)等于输出端符号熵H(Y),但是在求极大值时调整的仍然是输入端的概率分布p(xi),而不能用输出端的概率分布p(yj)来代替。
也就是一定能找到一种输入分布使输出符号Y达到等概率分布。
d)行对称信道的信道容量:
e)离散对称信道的信道容量:
若一个离散对称信道具有r个输入符号,s个输出符号,则当输入为等概分布时达到信道容量,且
,其中
为信道矩阵中的任一行。
f)均匀信道的信道容量为
g)准对称信道的信道容量:
,其中Nk是n个子矩阵中第k个子矩阵中行元素之和,Mk是第k个子矩阵中列元素之和。
h)二元对称信道的信道容量:
C=1-H(p)p为错误传递概率。
3.一般离散信道的信道容量计算方法:
已知信道的转移矩阵P,求信道容量。
两种方法:
方法一:
依据:
Y)是输入概率分布p(xi)的上凸函数,所以极大值一定存在。
n步骤:
①根据信道转移矩阵P的特点,用某一参数α设为输入分布p(xi);
②由
得出输出分布p(yj)也是关于α的函数;
③将用α表示的p(xi)和p(yj)带入I(X;
Y)=H(Y)-H(Y|X)中,得到I(X;
Y)是关于α的函数。
④求I(X;
Y)对α的偏导数,并令其等于0,解得α即得到输入分布;
⑤将解得的α代入I(X;
Y)式中得到信道容量C。
例子:
见教材P65,[例4.5]
方法二:
公式法:
在第②步信道容量C被求出后,计算并没有结束,必须解出相应的p(xi),并确认所有的p(xi)≥0时,所求的C才存在。
Ø
在对I(X;
Y)求偏导时,仅限制
,并没有限制p(xi)≥0,所以求出的p(xi)有可能为负值,此时C就不存在,必须对p(xi)进行调整,再重新求解C。
4.平均互信息I(X;
Y)达到信道容量的充要条件:
见教材P65。
5.多符号离散信道及信道容量:
a)含义,数学模型:
✧多符号离散信源X=X1X2…XN在N个不同时刻分别通过单符号离散信道{XP(Y/X)Y},则在输出端出现相应的随机序列Y=Y1Y2…YN,这样形成一个新的信道称为多符号离散信道。
✧由于新信道相当于单符号离散信道在N个不同时刻连续运用了N次,所以也称为单符号离散信道{XP(Y/X)Y}的N次扩展。
✧
b)离散多符号信道的平均互信息和信道容量的几个结论:
结论1:
离散无记忆信道的N次扩展信道的平均互信息,不大于N个随机变量X1X2…
XN单独通过信道{XP(Y/X)Y}的平均互信息之和。
结论2:
离散无记忆信道的N次扩展信道,当输入端的N个输入随机变量统计独立时,信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。
结论3:
离散无记忆信道的N次扩展信道,如果信源也是离散无记忆信源的N次扩展信源,则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。
结论4:
用C表示离散无记忆信道容量,用CN表示其扩展信道容量,CN=NC
6.组合信道及信道容量:
a)独立并联信道:
含义:
输入和输出随机序列中的各随机变量取值于不同的符号集,就构成了独立并联信道。
是离散无记忆信道的N次扩展信道的推广。
信道容量:
,并当输入端各随机变量统计独立,且每个输入随机变量Xk(k=1,2,…,N)的概率分布达到各自信道容量Ck(k=1,2,…,N)的最佳分布时,CN达到其最大值:
b)级联信道:
可以看成一个马尔可夫链。
先求各个级联信道的信道矩阵的乘积,得到级联信道的总的信道矩阵。
然后按照离散单符号信道的信道容量方法求即可。
7.连续信道及信道容量:
a)传递特性表示及数学模型;
传递特性用条件转移概率密度函数p(y/x)表示。
b)连续信道的信道容量:
信源X等于某一概率密度函数p0(x)时,信道平均互信息的最大值,即
c)平均功率受限的加性信道的信道容量:
当噪声、输入分布和输出都满足高斯分布时达到信道容量:
8.波形信道的信道容量:
✧设信道的频带限于(0,W);
✧根据采样定理,如果每秒传送2W个采样点,在接收端可无失真地恢复出原始信号;
✧香农公式:
把信道的一次传输看成是一次采样,由于信道每秒传输2W个样点,所以单位时间的信道容量为
✧香农公式含义:
当信道容量一定时,增大信道带宽,可以降低对信噪功率比的要求;
反之,当信道频带较窄时,可以通过提高信噪功率比来补偿。
香农公式给出有噪信道中无失真传输所能达到的极限信息传输率,因此对实际通信系统的设计有非常重要的指导意义。
Chp05知识点
1、信源编码的基本途径、主要任务:
2、信源编码的基础:
香农两大定理。
3、离散无记忆信源的一般模型,理解含义
4、一些码的含义:
二元码、等长码、变长码、非奇异码、奇异码、同价码、码的N次扩展码、唯一可译码、即时码、最佳码。
5、即时码的树图构造法
6、等长编码定理及其物理意义,等长编码效率、等长编码时信源序列长度N需满足的条件。
7、会用Kraft和McMillan不等式判断即时码和唯一可以码的码长满足的条件。
会用唯一可译码的判别准则。
8、香农第一定理及其物理意义,变长码编码效率。
9、变长码编码方法:
香农码、费诺码、霍夫曼编码、算术编码、游程码、词典编码。
Chp06知识点:
一、译码准则
1、最小错误概率译码准则(也称最大后验概率译码准则):
2、最大似然译码准则:
3、最小距离译码准则:
(1)汉明距离:
两个码字之间对应位置上不同码元的个数。
(2)最小距离译码准则:
收到一个码字后,把它译成与它最近的输入码字,这样可以使平均错误率最小。
二、平均错误概率:
方法:
在联合概率矩阵[p(ai)p(bj/ai)]中先求每列除去F(bj)=a*所对应的p(a*bj)以外所有元素之和,然后再对各列求和。
三、信息传输率:
注:
M-信源的个数n-每个信源的符号数
四、编码方法:
编码方法的选择相当于对原来的信道进行N次扩展,码字符号个数及码字的选择。
我们应该选择这样的编码方法:
应尽量设法使选取的M个码字中任意两两不同码字的距离尽量大。
五、理解香农第二定理的含义。
六、纠错码
1、分类:
⏹分组码:
编码的规则仅局限于本码组之内,本码组的监督元仅和本码组的信息元相关。
(n,k)分组码
⏹卷积码:
本码组的监督元不仅和本码组的信息元相关,而且还与本码组相邻的前n-1个码组的信息元相关。
⏹信息码元和校验码元是否可用线性方程组来表示,分为:
⏹线性码:
编码规则可以用线性方程表示;
⏹非线性码:
编码规则不能用线性方程表示;
⏹按纠正差错的类型可分为纠正随机错误的码和纠正突发错误的码;
⏹按码字中每个码元的取值可分为二进制码和多进制码。
2、差错控制方式:
3、线性分组码
(1)构成方式
(2)理解一致监督矩阵和生成矩阵的含义,掌握二者之间的关系,并会利用一致监督矩阵和生成矩阵来构造码字。
(3)线性分组码的纠检错能力:
掌握最小距离与纠错能力、最小距离与检错能力、最小距离与纠检错能力的关系需满足的条件。
(4)掌握用伴随式来对译码出的码字进行纠错的方法。
(5)线性分组码的编、译码方法
✧编码方法:
可由H或G求得(n,k)的所有码字。
✧译码方法:
1)由接收到的R计算伴随式S;
2)根据所得的伴随式可判断是哪位码元发生了错误,可纠正一位随机错误。
4、常见的两种纠错码
掌握汉明码和循环码的编译码方法。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 老师 整理 信息论 知识点
![提示](https://static.bdocx.com/images/bang_tan.gif)