信息论-第五章.ppt
- 文档编号:2559069
- 上传时间:2022-11-01
- 格式:PPT
- 页数:26
- 大小:413.50KB
信息论-第五章.ppt
《信息论-第五章.ppt》由会员分享,可在线阅读,更多相关《信息论-第五章.ppt(26页珍藏版)》请在冰豆网上搜索。
2022/11/11第五章:
第五章:
信道编码定理5.1离散信道编码问题离散信道编码问题5.23离散信道编码定理离散信道编码定理2022/11/125.1离散信道编码问题离散信道编码问题最简单的检错和纠错单个的字无法检错:
扪?
词汇能够检错:
我扪的我扪的词汇能够纠错:
我扪的我们的,我等的,我辈的,我班的,原因分析:
“扪?
”可以有几万个答案,但“我扪的?
”的答案却很少。
结论:
课文以及词汇的概率分布的稀疏性可以用来检课文以及词汇的概率分布的稀疏性可以用来检错和纠错。
错和纠错。
2022/11/135.1离散信道编码问题离散信道编码问题设信道是一个D元字母输入/D元字母输出的DMC信道,字母表为0,1,D-1。
其信道转移概率矩阵为DD矩阵如下。
这是一个对称信道。
信道传输错误的概率定义为P(输出不等于k|输入为k)=p,k0,1,D-1。
此处p(1-p)。
2022/11/145.1离散信道编码问题离散信道编码问题设信源消息序列经过D元信源编码(等长编码或不等长编码)后变成了如下的随机变量序列X-2X-1X0X1X2,其中每个随机变量Xl的事件全体都是D元字母表0,1,D-1。
将此随机变量序列切割成L维随机向量准备输入信道:
(X1X2XL),(XL+1XL+2X2L),。
2022/11/155.1离散信道编码问题离散信道编码问题如果直接将如果直接将(X1X2XL)输入信道,信道的输出输入信道,信道的输出为为(X1X2XL),则,则当信道传输错误时无法检测到当信道传输错误时无法检测到(即接收方无(即接收方无法确知是否正确接收)。
法确知是否正确接收)。
正确接收的概率为正确接收的概率为P(X1X2XL)=(X1X2XL)=P(X1=X1)P(X2=X2)P(XL=XL)=(1-p)L。
2022/11/165.1离散信道编码问题离散信道编码问题将(X1X2XL)进行变换:
C(X1X2XL)=(U1U2UN),其中(U1U2UN)为N维随机向量,NL,且变换是单射(即(X1X2XL)的不同事件映射到(U1U2UN)的不同事件)。
将(U1U2UN)输入信道;信道的输出为(Y1Y2YN);再根据根据(Y1Y2YN)的值猜测出输入信道的值的值猜测出输入信道的值(U1U2UN),并根据变换式(U1U2UN)=C(X1X2XL)将(U1U2UN)反变换为(X1X2XL)。
如果(X1X2XL)=(X1X2XL),则正确接收。
2022/11/175.1离散信道编码问题离散信道编码问题
(1)(X1X2XL)的事件共有DL个,因此(U1U2UN)的事件共有DL个,占N维向量值的份额为DL/DN=1/DN-L。
因此当信道传输错误时,有可能使输出值(Y1Y2YN)不在这1/DN-L份额之内。
这就是说,信道传输错误有可能被检测到。
(2)如果精心地设计变换C(X1X2XL)=(U1U2UN)和猜测规则(Y1Y2YN)(U1U2UN),则正确接收的概率远远大于(1-p)L。
2022/11/185.1离散信道编码问题离散信道编码问题(3)变换(X1X2XL)(U1U2UN)=C(X1X2XL)称为信道编码信道编码,又称为(N,L)码码。
一个事件的变换值称为该事件的码字码字。
L称为信息长,N称为码长。
(4)过程(Y1Y2YN)(U1U2UN)(X1X2XL)称为纠错译码纠错译码。
当(X1X2XL)=(X1X2XL)时称为正确译码(实际上就是正确接收)。
2022/11/195.1离散信道编码问题离散信道编码问题(5)N比L大得越多,1/DN-L份额越小,码字的分布越稀疏,信道传输错误不在这1/DN-L份额之内的可能性越大,即信道传输错误越容易被检测到。
但N比L大得越多,信道传输的浪费越大。
(6)称R=L/N为编码速率编码速率,也称为信息率。
(似乎与信源编码相互倒置?
)(7)注解:
“(X1X2XL)不进行编码”实际上也是一种编码,称为恒等编码恒等编码。
此时N=L,事件x=(x1x2xL)的码字就是x自身。
2022/11/1105.1离散信道编码问题离散信道编码问题关于译码准则关于译码准则译码准则就是猜测规则译码准则就是猜测规则。
当信道的输出值为y时,将其译为哪个码字u最合理?
最大后验概率准则最大后验概率准则简记b(u|y)=P(U1U2UN)=u|(Y1Y2YN)=y)。
称b(u|y)为后验概率。
最大后验概率准则:
2022/11/1115.1离散信道编码问题离散信道编码问题后验概率的计算:
记q(u)=P(U1U2UN)=u),称q(u)为先验概率先验概率;pN(y|u)=P(Y1Y2YN)=y|(U1U2UN)=u),我们知道p(y|u)是信道响应特性响应特性,而且pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)P(YN=yN|UN=uN)=(p/(D-1)d(1-p)N-d,其中d是(y1y2yN)与(u1u2uN)对应位置值不相同的位数;(以后将称d为Hamming距离)2022/11/1125.1离散信道编码问题离散信道编码问题记w(y)=P(Y1Y2YN)=y)。
我们知道2022/11/1135.1离散信道编码问题离散信道编码问题最大似然概率准则最大似然概率准则(看成转移概率矩阵中的第y列向量中的最大分量)2022/11/114最小距离准则(最小错误准则)最小距离准则(最小错误准则)y与u的Hamming距离距离定义为(y1y2yN)与(u1u2uN)对应位置值不相同的位数,记为d(y,u)。
2022/11/1155.1离散信道编码问题离散信道编码问题命题命题最大似然概率准则等价于最小距离准则最大似然概率准则等价于最小距离准则。
证明pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)P(YN=yN|UN=uN)=(p/(D-1)d(1-p)N-d,其中d是y与u的Hamming距离。
注意到p/(D-1)(1-p)。
所以pN(y|u)达到最大,当且仅当y与u的Hamming距离达到最小。
得证。
2022/11/1165.1离散信道编码问题离散信道编码问题命题命题如果每个码字是等概出现的,则最大后验概率准则等价如果每个码字是等概出现的,则最大后验概率准则等价于最大似然概率准则。
于最大似然概率准则。
证明2022/11/1175.1离散信道编码问题离散信道编码问题对两种译码准则的评述对两种译码准则的评述最大后验概率准则具有很好的直观合理性最大后验概率准则具有很好的直观合理性。
收到y的条件下,最可能发送的是哪个码字,就认为发送的是哪个码字”。
最大似然概率准则(最小距离准则)所具有的直观合理性弱一些。
发送哪个码字的条件下,最可能收到发送哪个码字的条件下,最可能收到y,就认为发送,就认为发送的是哪个码字的是哪个码字。
最大似然概率准则(最小距离准则)的实现比最大后验概率准则的实现更简单实现更简单:
前者只需要看哪个码字与y的Hamming距离最小;后者需要知道各码字的概率分布,然后用贝叶斯公式计算并比较后验概率。
两种准则都可以用在没有编码(直接发送)情况下的纠错译码。
2022/11/1185.1离散信道编码问题离散信道编码问题例例5.1.1BSC信道的转移概率矩阵为取L=1。
如果直接将X1输入信道,信道的输出为X1,则当信道传输错误时无法检测到。
正确接收的概率为P(X1=X1)=1-p。
今取L=1,N=4,二元(4,1)码如下:
00000,11111。
2022/11/1195.1离散信道编码问题离散信道编码问题译码规则如下:
当(Y1Y2Y3Y4)中1的个数为3或4时,(Y1Y2Y3Y4)(1111)1;当(Y1Y2Y3Y4)中1的个数为0或1时,(Y1Y2Y3Y4)(0000)0;当(Y1Y2Y3Y4)中1的个数为2时,(0011)、(1100)、(1001)(0000)0,(0101)、(1010)、(0110)(1111)1。
译码规则显然是最小距离准则。
最小距离准则。
2022/11/1205.1离散信道编码问题离散信道编码问题何时检测到信道传输错误?
当(Y1Y2Y3Y4)不是一个码字时,检测到信道传输错误。
换句话说,(Y1Y2Y3Y4)与原发码字(U1U2U3U4)的Hamming距离1且3时,检测到信道传输错误。
因此,信道传输有错误但能检测出错误的概率为2022/11/1215.1离散信道编码问题离散信道编码问题何时正确译码(正确接收)?
当(Y1Y2Y3Y4)与原发码字(U1U2U3U4)的Hamming距离1时,正确译码;当(Y1Y2Y3Y4)与原发码字(U1U2U3U4)的Hamming距离=2时,一半能正确译码,另一半不能正确译码;当(Y1Y2Y3Y4)与原发码字(U1U2U3U4)的Hamming距离3时,不能正确译码。
正确译码(正确接收)的概率为2022/11/1225.1离散信道编码问题离散信道编码问题2022/11/1235.23离散信道编码定理离散信道编码定理首先需要说明,上述离散信道编码的编码速率(信息率R)本来是设备所确定的。
当信源每秒产生ns个字母,信道编码所使用的设备每秒产生nc个字母,则设备所确定的编码速率就是R=ns/nc。
其次,实际编码速率(实际信息率L/N)必须不小于设备所确定的编码速率:
L/NR。
于是对离散信道编码有了以下两条相互矛盾的要求:
(1)实际编码速率L/N尽可能小以便使正确译码(正确接收)的概率尽可能接近1。
(2)实际编码速率不小于设备所确定的编码速率L/NR。
2022/11/1245.23离散信道编码定理离散信道编码定理设信源序列经过信源编码后变成了如下的序列X-2X-1X0X1X2。
设各随机变量独立同分布。
记H(X)为X0的熵,C为信道容量。
如果设备所确定的编码速率RC/H(X),则不能够同时满足这两条要求。
(如果设备所确定的编码速率R=C/H(X),则情况如何?
很复杂,属于边界情况,没有简单整齐的结论。
)2022/11/1255.23离散信道编码定理离散信道编码定理定理定理5.3.1(p127)(Shannon信道编码定理)如果设备所确定的编码速率RC/H(X),则对任何正整数L(L=1,2,),存在D元(N,L)码和对应的译码方法,使2022/11/126例题例题n例:
信源输入符号分布概率为PX=0.20.50.3,信道的概率转移矩阵为:
求最佳译码规则。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 第五
![提示](https://static.bdocx.com/images/bang_tan.gif)