信息论-第四章_精品文档.ppt
- 文档编号:2571102
- 上传时间:2022-11-01
- 格式:PPT
- 页数:55
- 大小:546.50KB
信息论-第四章_精品文档.ppt
《信息论-第四章_精品文档.ppt》由会员分享,可在线阅读,更多相关《信息论-第四章_精品文档.ppt(55页珍藏版)》请在冰豆网上搜索。
2022/11/1,1,第四章:
信道及其容量,4.1信道分类4.2离散无记忆信道4.5信道的组合,2022/11/1,2,4.1信道分类,信道是传输信息的媒质或通道。
(输入信道输出)说明
(1)信道输入是随机过程。
(2)信道响应特性是条件概率P(输出值为y|输入值为x),又称为转移概率。
(3)信道输出是随机过程,输出的概率分布可以由输入的概率分布和信道的响应特性得到。
(全概率公式)(4)根据信道输入、信道响应特性、信道输出的情况,可将信道分类:
离散信道(又称为数字信道);连续信道(又称为模拟信道);特殊的连续信道波形信道;恒参信道和随参信道;无记忆信道和有记忆信道;等等。
2022/11/1,3,4.2离散无记忆信道,定义4.2.1和定义4.2.2(p88-89)如果
(1)信道的输入为随机变量序列X1,X2,X3,,其中每个随机变量Xu的事件集合都是0,1,K-1,
(2)信道的输出为随机变量序列Y1,Y2,Y3,,其中每个随机变量Yu的事件集合都是0,1,J-1,则称该信道为离散信道。
如果更有(3)P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN),则称该信道为离散无记忆信道(DMC)。
如果更有(4)对任意x0,1,K-1,y0,1,J-1,任意两个时刻u和v,还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x),则称该信道为离散无记忆平稳信道或恒参信道。
2022/11/1,4,4.2离散无记忆信道(DMC),关于定义4.2.1和定义4.2.2的注解“离散”的含义是时间离散,事件离散。
即:
信道的输入、输出时刻是离散的,且输入随机变量和输出随机变量都是离散型的随机变量。
“无记忆”的含义是信道响应没有时间延迟,当时的输出只依赖于当时的输入。
“平稳”的含义是信道在不同时刻的响应特性是相同的。
“离散无记忆平稳信道”是最简单的信道,信道在某一时刻u的响应特性P(Yu=y|Xu=x);x0,1,K-1,y0,1,J-1,就能很简单地计算出信道在任意时间段的响应特性。
即在DMC(若无特殊说明就意味着满足平稳条件)下,只需研究单个字母传送。
2022/11/1,5,4.2离散无记忆信道,例4.2.1(p89)二元对称信道BSC是离散无记忆恒参信道。
当N1时,p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1当N=2时,p(00/00)=p(11/11)=p(0/0)p(0/0)=0.9*0.9=0.81P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9=0.09P(11/00)=p(00/11)=0.1*0.1=0.01,2022/11/1,6,4.2离散无记忆信道,一、有关DMC的容量定理(所说的DMC都是离散无记忆平稳信道)设DMC在某个时刻输入随机变量为X,输出随机变量为Y。
信道响应特性为转移概率矩阵p(y|x),x0,1,K-1,y0,1,J-1,它是一个KJ阶矩阵(其中p(y|x)=P(Y=y|X=x))。
X的概率分布为x,q(x),x0,1,K-1。
Y的概率分布为y,w(y),y0,1,J-1。
以下的结论是我们已知的。
2022/11/1,7,4.2离散无记忆信道,
(1)转移概率矩阵的每一行都是一个概率向量。
2022/11/1,8,4.2离散无记忆信道,
(2)对任意y0,1,J-1,由全概率公式有,2022/11/1,9,4.2离散无记忆信道,(3)I(X;Y)是概率向量q(x),x0,1,K-1和转移概率矩阵p(y|x),x0,1,K-1,y0,1,J-1的函数。
2022/11/1,10,4.2离散无记忆信道,(4)设转移概率矩阵p(y|x),x0,1,K-1,y0,1,J-1(是信道的响应特性)确定,希望选择概率向量q(x),x0,1,K-1使I(X;Y)达到最大。
(则见p33定理2.6.2说明平均互信息量的最大值存在,可以取到。
)定义4.2.3(p89)离散无记忆信道的信道容量定义为如下的C。
达到信道容量的输入概率分布x,q(x),x0,1,K-1称为最佳输入分布。
其中,信道容量表示了信道传送信息的最大能力,这个量在信息论研究中有重要意义。
传送的信息量必须小于信道容量C,2022/11/1,11,4.2离散无记忆信道,定理4.2.2(p91)
(1)输入概率分布x,q(x),x0,1,K-1是最佳输入分布的充分必要条件为:
对任何满足q(k)0的k,都取一个相同的值;对任何满足q(k)=0的k,I(X=k;Y)此相同的值。
(2)此时此相同的值恰好就是信道容量C。
(定理4.2.2实际上叙述了定理2.6.2的含义。
),2022/11/1,12,4.2离散无记忆信道,注解给定一个DMC信道的响应特性,也就是说给定一个信道的转移概率矩阵p(y|x),x0,1,K-1,y0,1,J-1,达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件的概率向量q(x),x0,1,K-1。
其信道容量是每个使得q(k)0的k所对应的半平均互信息量I(X=k;Y)。
如果对DMC信道没有任何简化,要计算最佳输入分布并不容易。
但是,通常使用的DMC是很简单的(比如,以下的准对称信道和对称信道),最佳输入分布很容易求出。
2022/11/1,13,4.2离散无记忆信道,二、对称DMC和准对称DMC的信道容量与最佳输入分布的计算定义4.2.45(p108)设DMC的转移概率矩阵为若P的任一行是第一行的置换,则称信道是关于输入为对称的。
若P的任一列是第一列的置换,则称信道是关于输出为对称的。
若信道是关于输入为对称的,又是关于输出为对称的,则称信道为对称信道。
2022/11/1,14,4.2离散无记忆信道,命题1若DMC关于输入为对称的,则对任意k0,1,K-1都成立。
证明p(y|x),y=0J-1与p(y|k),y=0J-1互为置换,所以,2022/11/1,15,4.2离散无记忆信道,命题2若DMC关于输出为对称的,则当输入分布等概时,输出分布等概。
证明此时p(y|x),x=0K-1与p(0|x),x=0K-1互为置换。
设q(x)=1/K,x0,1,K-1。
则,2022/11/1,16,4.2离散无记忆信道,定义4.2.6(p92)若DMC的转移概率矩阵P的列的全体可分成若干个列子集,每个列子集所对应的P的子阵都满足以下两条性质:
(1)任一行是第一行的置换,
(2)任一列是第一列的置换。
则称信道为准对称信道。
(显然,准对称信道关于输入是对称的。
特别若列子集只有一个,即转移概率矩阵P本身的任一行是第一行的置换,任一列是第一列的置换,则称信道为对称信道。
),2022/11/1,17,4.2离散无记忆信道,例4.2.2准对称信道的例子。
(见p92)因为Y0,1,2可划分为两个子集0,2和1,而每个子集对应于矩阵P的列所构成的子阵分别为,2022/11/1,18,4.2离散无记忆信道,几个简单的结论:
(1)准对称信道一定是关于输入为对称的。
(2)对称信道不仅是关于输入为对称的,也是关于输出为对称的。
(3)对称DMC当输入分布等概时,输出分布等概。
(4)准对称DMC当输入分布等概时,输出分布局部等概。
(准对称DMC当输入分布等概时,若j和l属于转移概率矩阵的同一个列子集,则wj=wl。
)(5)对称信道未必有J=K。
2022/11/1,19,4.2离散无记忆信道,定理4.2.3(p92)对于准对称DMC信道,
(1)达到信道容量的最佳输入分布为等概分布;
(2)信道容量为,2022/11/1,20,4.2离散无记忆信道,证明根据定理4.2.2的含义,只需要证明:
当输入分布为等概时,对任意k0,1,K-1,半平均互信息量I(X=k;Y)都取相同的值。
(此时,该相同的半平均互信息量I(X=k;Y)就是准对称信道容量C。
)换句话说,只需要证明:
当输入分布为等概时,对任意k0,1,K-1,I(X=k;Y)与k无关。
设转移概率矩阵P的列的全体被分成S个互不相交的列子集:
0,1,J-1=Y1Y2YS;Y1、Y2、YS互不相交;对任意s1,2,S,列子集Ys所对应的子阵都满足:
任一行是第一行的置换,任一列是第一列的置换。
自然有以下三个结论。
2022/11/1,21,4.2离散无记忆信道,结论一:
准对称信道是关于输入为对称的,所以对任意k0,1,K-1,结论二:
对每个列子集Ys,结论三:
对每个列子集Ys,取定ysYs。
则对任意yYs,,关于输入,输出是对称的,2022/11/1,22,4.2离散无记忆信道,于是,关于行求和。
关于列求和。
2022/11/1,23,4.2离散无记忆信道,于是,2022/11/1,24,4.2离散无记忆信道,定理4.2.3的一个特例是当信道是对称信道时。
这时关于输出为对称的,若当输入分布等概(q(x)=1/K)时,输出分布等概(w(y)=1/J)。
信道容量为,信道容量为为状态转移概率矩阵任一行所对应的半平均互信息量。
2022/11/1,25,4.2离散无记忆信道,一般,信道关于输入是对称时,不一定存在一种分布使输出分布是均匀的,此时信道容量,2022/11/1,26,4.2离散无记忆信道,例4.2.3特殊的对称DMC:
K元对称信道KSC(p93),其中0p1。
称p为错误概率。
特别当K=2时,记为BSC,2022/11/1,27,4.2离散无记忆信道,此时有:
达到信道容量时的最佳输入分布为等概分布;对应的输出分布也是等概分布;信道容量是转移概率矩阵任何一行所对应的半平均互信息量,即,准对称信道的结论定理4.2.3,2022/11/1,28,4.2离散无记忆信道,其中0p1,0q1。
当q=0时,2元对称删除信道就成为BSC。
当p=0时,2元对称删除信道就成为2元纯删除信道。
达到信道容量时的最佳输入分布应为等概分布(1/2,1/2)。
信道容量是转移概率矩阵任何一行所对应的半平均互信息量。
2022/11/1,29,4.2离散无记忆信道,定义4.2.7(p95)特殊的对称DMC:
模K加性噪声信道。
设DMC的输入随机变量为X,X的所有事件为0,1,K-1;DMC的噪声随机变量为Z,Z的所有事件为0,1,K-1;DMC的输出随机变量为Y,Y的所有事件为0,1,K-1;X与Z相互独立;Y=X+Z(modK)。
称此DMC为模K加性噪声信道。
(计算机系统和数字通信系统中有些情况下可用这个信道模型描述)此时,p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK)。
2022/11/1,30,4.2离散无记忆信道,这就是说,如果记P(Z=z)=sz,P(y/x)=P(z)则转移概率矩阵为012K-1,1,2,K1,y,x,0,2022/11/1,31,4.2离散无记忆信道,显然模K加性噪声信道是对称DMC。
信道容量为,状态转移矩阵的每一行都是概率向量,和为1。
2022/11/1,32,4.2离散无记忆信道,三、一般DMC的信道容量与最佳输入分布的计算(p95)(当DMC不是准对称信道时,求解信道容量和最佳输入分布并不容易)若DMC的转移概率矩阵P是可逆方阵(此时K=J)。
则可以先假设最佳输入分布q(x),x0,1,K-1中每个概率q(x)都满足q(x)0。
在这个假设下,求出信道容量C;然后求出最佳输入分布对应的“最佳输出分布”w(y),y0,1,K-1;然后求出最佳输入分布q(x),x0,1,K-1。
2022/11/1,33,4.2离散无记忆信道,此时,,行向量为概率向量,和为1。
定理4.2.2,2022/11/1,34,4.2离散无记忆信道,2022/11/1,35,4.2离散无记忆信道,这是K个未知量0,1,K-1=C+logw(0),C+logw(1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 第四 精品 文档