离散信道及其信道容量PPT课件下载推荐.pptx
- 文档编号:15645927
- 上传时间:2022-11-10
- 格式:PPTX
- 页数:51
- 大小:776.33KB
离散信道及其信道容量PPT课件下载推荐.pptx
《离散信道及其信道容量PPT课件下载推荐.pptx》由会员分享,可在线阅读,更多相关《离散信道及其信道容量PPT课件下载推荐.pptx(51页珍藏版)》请在冰豆网上搜索。
关系:
含义:
I(x;
y)表示由随机事件表示由随机事件y中获得关于事件中获得关于事件x的信息的信息
(1)I(X;
Y)与与I(x;
y)
(2)I(X;
Y)与熵与熵共同点:
统计平均共同点:
统计平均不同点:
提供与获得不同点:
提供与获得信息论与编码基础信息论与编码基础离散信道离散信道平均互信息是互信息的统计平均值。
信息论与编码基础信息论与编码基础离散信道离散信道平均互信息平均互信息信息论与编码基础信息论与编码基础离散信道离散信道平均互信息常用计算公式平均互信息常用计算公式信息论与编码基础信息论与编码基础离散信道离散信道条件互信息与平均条件互信息条件互信息与平均条件互信息给定给定X、Y、Z三个离散概率空间,其连接关系为三个离散概率空间,其连接关系为系统系统1系统系统2XYZ系统系统1YZX信息论与编码基础信息论与编码基础离散信道离散信道小结小结信道信道基本信道基本信道信源信源发送发送的信息量的信息量信道信道损失损失的信息量的信息量输出端输出端获得获得的信息量的信息量H(X)信源熵信源熵H(X|Y)信道疑义度信道疑义度损失熵损失熵I(X;
Y)平均互信息平均互信息信息传输率信息传输率信息论与编码基础信息论与编码基础离散信道离散信道例:
例:
两枚硬币,一枚是正常币(一面是面值,两枚硬币,一枚是正常币(一面是面值,一面是国徽)。
一枚不正常币(两面都是面值)一面是国徽)。
一枚不正常币(两面都是面值)。
随机取一枚,抛掷。
随机取一枚,抛掷2次。
问:
出现面值的次次。
出现面值的次数对于硬币识别提供多少信息量?
数对于硬币识别提供多少信息量?
1、非负性利用詹森不等式信源信源加密加密信道信道解密解密信宿信宿密钥源密钥源全损信道全损信道信息论与编码基础信息论与编码基础离散信道离散信道2、极值性接收者通过信道获得的信息量不可能超过信源本身固有的信息量。
0I(X;
Y)H(X)信息论与编码基础信息论与编码基础离散信道离散信道3、对称性发出X后获得的关于Y的平均信息量信息论与编码基础信息论与编码基础离散信道离散信道4、与各类熵的关系损失熵损失熵噪声熵噪声熵H(X|Y)H(Y|X)I(X;
Y)H(XY)H(X)H(Y)信息论与编码基础信息论与编码基础离散信道离散信道5、的凸函数性信息论与编码基础信息论与编码基础离散信道离散信道例1设二元对称信道的输入概率空间为其信道特性如图,求平均互信息。
定理定理在信道转移概率给定的条件下,平均互信息是输入信源概率分布的型凸函数。
XY0101pp1-p1-p00.51I(X;
Y)1-H(p)00.51H()1信源熵信源熵信息论与编码基础信息论与编码基础离散信道离散信道定理定理在输入信源概率分布给定的条件下,平均互信息是信道转移概率分布的型凸函数。
例例1(续)(续)当p=0时当p=1时当p=1/2时00.51pI(X;
Y)H()信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式二、信道容量二、信道容量信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式二、信道容量二、信道容量信息论与编码基础信息论与编码基础离散信道离散信道平均互信息I(X;
Y)代表了接收到每个输出符号后获得的关于X的平均信息量,又叫做信道的信息传输率。
信息论与编码基础信息论与编码基础离散信道离散信道定义定义一个平稳离散无记忆信道的容量C为输入与输出平均互信息的最大值。
说明:
bit/sig1)信道给定后,p(y|x)就固定,C仅与p(y|x)有关,而与P(x)无关2)Ct是信道最大传输速率。
Ct=C/tbit/s信息论与编码基础信息论与编码基础离散信道离散信道思考思考离散信道的信息传输率达到信道容量时,输入或输出分布必须达到最佳分布,那么:
(1)最佳的输入分布是唯一的吗?
(2)最佳的输出分布是唯一的吗?
信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式信息论与编码基础信息论与编码基础离散信道离散信道信道信道1、无噪无损信道无噪无损信道I(X;
Y)=H(X)-H(X|Y)信息论与编码基础信息论与编码基础离散信道离散信道2、有噪无损信道有噪无损信道I(X;
Y)=H(X)-H(X|Y)信息论与编码基础信息论与编码基础离散信道离散信道3、有损无噪信道有损无噪信道I(X;
Y)=H(Y)-H(Y|X)信息论与编码基础信息论与编码基础离散信道离散信道总结:
总结:
11)若严格区分,凡)若严格区分,凡损失熵损失熵等于等于00的信道称为无损信道;
的信道称为无损信道;
凡凡噪声熵噪声熵等于等于00的信道称为无噪信道。
的信道称为无噪信道。
22)无损信道)无损信道33)无噪信道)无噪信道信息论与编码基础信息论与编码基础离散信道离散信道例例求BEC的信道容量板书信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量?
信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量1、对称信道的定义、对称信道的定义?
信息论与编码基础信息论与编码基础离散信道离散信道强对称信道信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量2.2.对称信道的性质对称信道的性质当当P(x)等概率分布时,输出也是等概率分布的。
等概率分布时,输出也是等概率分布的。
信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量33、对称信道的信道容量、对称信道的信道容量平均互信息:
信道容量:
最佳输入:
信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量33、对称信道的信道容量、对称信道的信道容量例:
均匀信道例例BSC:
C=log2-H(p)=1-H(p)输入对称信道包含对称信道(此时输出也对称);
对称信道包含均匀信道;
均匀信道包含二元对称信道(此时r=2).信息论与编码基础信息论与编码基础离散信道离散信道练习:
有噪声的打字机信道考虑26个键的打字机1)如果每敲击一个键,它就准确地输出相应的字符,那么该容量C是多少?
2)如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概率出现,即敲A可能输出A或B,敲Z可能输出Z或A。
那么此时的容量如何?
信息论与编码基础信息论与编码基础离散信道离散信道
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 离散 信道 及其 信道容量
![提示](https://static.bdocx.com/images/bang_tan.gif)