信息与编码习题答案.docx
- 文档编号:38858
- 上传时间:2022-10-01
- 格式:DOCX
- 页数:36
- 大小:814.76KB
信息与编码习题答案.docx
《信息与编码习题答案.docx》由会员分享,可在线阅读,更多相关《信息与编码习题答案.docx(36页珍藏版)》请在冰豆网上搜索。
信息与编码习题答案
二章-信息量和熵习题解
2.1莫尔斯电报系统中,若采用点长为0.2s,1划长为0.4s,且点和划出现的概率分别为2/3和1/3,试求它的信息速率(bits/s)。
解:
平均每个符号长为:
秒
每个符号的熵为
比特/符号
所以,信息速率为
比特/秒
2.2一个8元编码系统,其码长为3,每个码字的第一个符号都相同(用于同步),若每秒产生1000个码字,试求其信息速率(bits/s)。
解:
同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6比特;
所以,信息速率为
比特/秒
2.3掷一对无偏的骰子,若告诉你得到的总的点数为:
(a)7;(b)12。
试问各得到了多少信息量?
解:
(a)一对骰子总点数为7的概率是
所以,得到的信息量为
比特
(b)一对骰子总点数为12的概率是
所以,得到的信息量为
比特
2.4经过充分洗牌后的一付扑克(含52张牌),试问:
(a)任何一种特定排列所给出的信息量是多少?
(b)若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?
解:
(a)任一特定排列的概率为
所以,给出的信息量为
比特
(b)从中任取13张牌,所给出的点数都不相同的概率为
所以,得到的信息量为
比特.
2.5设有一个非均匀骰子,若其任一面出现的概率与该面上的点数成正比,试求各点出现时所给出的信息量,并求掷一次平均得到的信息量。
解:
易证每次出现i点的概率为
所以
2.6园丁植树一行,若有3棵白杨、4棵白桦和5棵梧桐。
设这12棵树可随机地排列,且每一种排列都是等可能的。
若告诉你没有两棵梧桐树相邻时,你得到了多少关于树的排列的信息?
解:
可能有的排列总数为
没有两棵梧桐树相邻的排列数可如下图求得,
YXYXYXYXYXYXYXY
图中X表示白杨或白桦,它有
种排法,Y表示梧桐树可以栽种的位置,它有
种排法,
所以共有
*
=1960种排法保证没有两棵梧桐树相邻,
因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为
=3.822比特
2.7某校入学考试中有1/4考生被录取,3/4考生未被录取。
被录取的考生中有50%来自本市,而落榜考生中有10%来自本市,所有本市的考生都学过英语,而外地落榜考生中以及被录取的外地考生中都有40%学过英语。
(a)当己知考生来自本市时,给出多少关于考生是否被录取的信息?
(b)当已知考生学过英语时,给出多少有关考生是否被录取的信息?
(c)以x表示是否落榜,y表示是否为本市学生,z表示是否学过英语,x、y和z取值为0或1。
试求H(X),H(Y|X),H(Z|YZ)。
解:
X=0表示未录取,X=1表示录取;
Y=0表示本市,Y=1表示外地;
Z=0表示学过英语,Z=1表示未学过英语,由此得
2.8在A、B两组人中进行民意测验,组A中的人有50%讲真话(T),30%讲假话(F),20%拒绝回答(R)。
而组B中有30%讲真话,50%讲假话和20%拒绝回答。
设选A组进行测验的概率为p,若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量,试求I(p)的最大值。
解:
令
,则
2.9随机掷三颗骰子,以X表示第一颗骰子抛掷的结果,以Y表示第一和第二颗骰子抛掷的点数之和,以Z表示三颗骰子的点数之和。
试求H(Z|Y)、H(X|Y)、H(Z|XY),H(XZ|Y)和H(Z|X)。
解:
令X=X1,Y=X1+X2,Z=X1+X2+X3,
H(X1)=H(X2)=H(X3)=
比特
H(X)=H(X1)=
=2.585比特
H(Y)=H(X2+X3)
=
=3.2744比特
H(Z)=H(X1+X2+X3)
=3.5993比特
所以
H(Z/Y)=H(X3)=2.585比特
H(Z/X)=H(X2+X3)=3.2744比特
H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特
H(Z/XY)=H(Z/Y)=2.585比特
H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特
2.12计算习题2.9中的I(Y;Z),I(X;Z),I(XY;Z),I(Y;Z|X)和I(X;Z|Y)。
解:
I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特
I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特
I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特
I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特
I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=0
2.10设有一个系统传送10个数字:
0,1,…,9。
奇数在传送时以0.5的概率错成另外的奇数,而其它数字总能正确接收。
试求收到一个数字平均得到的信息量。
解:
设系统输出10个数字X等概,接收数字为Y,
显然
,H(Y)=log10
所以I(X;Y)=
比特
2.11令{ul,u2,…,u8}为一等概消息集,各消息相应被编成下述二元码字:
ul=0000,u2=0011,u3=0101,u4=0110
u5=1001,u6=1010,u7=1100,u8=1111
通过转移概率为p的BSC传送。
试求
(a)接收的第一个数字0与ul之间的互信息量。
(b)接收的前二个数字00与ul之间的互信息量。
(c)接收的前三个数字000与ul之间酌互信息量。
(d)接收的前四个数字0000与ul之间的互信息量。
解:
(a)接收前一个数字为0的概率
(b)同理
(c)同理
(d)同理
2.13令X、Y、Z是概率空间,试证明下述关系式成立。
(a)H(YZ|X)≤H(Y|X)+H(Z|X),给出等号成立的条件。
(b)H(YZ|X)=H(Y|X)+H(Z|XY)。
(c)H(Z|XY)≤H(Z|X),给出等号成立的条件。
解:
(b)
(c)
(由第二基本不等式)
或
(由第一基本不等式)
所以
,
等号成立的条件为
对所有
即在给定X条件下Y与Z相互独立。
(a)
等号成立的条件为
对所有
即在给定X条件下Y与Z相互独立。
2.14对于任意概率事件集X、Y、Z,证明下述三角不等式成立。
H(X|Y)+H(Y|Z)≥H(X|Z)
H(X|Y)/H(XY)+H(Y|Z)/H(YZ)≥H(X|Z)/H(XZ)
解:
(a)
(b)
注:
2.15令d(X,Y)=H(X|Y)+H(Y|X)为X和Y的信息距离,令ρ(X,Y)=[H(X|Y)+H(Y|X)]/H(XY)为X和Y的信息距离系数。
试证明有关距离的三个公理:
d(X,X)=0d(X,Y)≥0
d(X,Y)=d(Y,X)
d(X,Y)+d(Y,Z)≥d(X,Z)
解:
(a)
(b)
(c)
2.16定义S(X,Y)=1-ρ(X,Y)=I(X;Y)/H(XY)为X和Y之间的信息相似度,证明:
0≤S(X,Y)≤1
S(X,X)=1
S(X,Y)=0,X和Y独立时。
解:
(a)
又由互信息的非负性,即
,有
,所以
(b)
(c)当且仅当X和Y独立时,I(X;Y)=0,所以,当且仅当X和Y独立时,
。
2.17令X→Y→Z为马尔可夫链,证明:
I(X;Z|Y)=0
I(XY;Z)=I(Y;Z)
I(Y;Z|X)=I(Y|Z)-I(X;Z)
I(Y;Z|X)≤I(Y;Z)
解:
X→Y→Z为马尔可夫链,有p(z/xy)=p(z/y),对所有x,y,z。
2.18若三个随机变量有如下关系:
x+y=z,其中x和y独立。
试证明:
H(X)≤H(Z)
H(Y)≤H(Z)
H(XY)≥H(Z)
I(X;Z)=H(Z)-H(Y)
I(XY;Z)=H(Z)
I(X;YZ)=H(X)
I(Y;Z|X)=H(Y)
I(X;Y|Z)=H(X|Z)=H(Y|Z)
解:
(a)H(X)≤H(Z)
(b)H(Y)≤H(Z)
(c)H(XY)≥H(Z)
(d)I(X;Z)=H(Z)-H(Y)
I(X;Z)=H(Z)-H(Z/X)=H(Z)-H(Y)
(e)I(XY;Z)=H(Z)
(f)I(X;YZ)=H(X)
(g)I(Y;Z|X)=H(Y)
H(Y/XZ)=0
I(Y;Z/X)=H(Y/X)-H(Y/XZ)=H(Y/X)=H(Y)
(h)I(X;Y|Z)=H(X|Z)=H(Y|Z)
I(X;Y/Z)=H(X/Z)-H(X/YZ)=H(Y/Z)-H(Y/XZ)
而H(X/YZ)=0,H(Y/XZ)=0
所以I(X;Y/Z)=H(X/Z)=H(Y/Z)#
2.19证明
是概率矢量
的上凸函数,即对
,0<
<1和矢量P1和P2有
证明:
2.20用拉格朗日乘因子法求解下述泛函的极值。
Hn(pl,p2,…,pn),
。
解:
2.22令U是非负整数集合,事件k∈U的概率为p(k),且
(常数)。
试求使H(U)为最大的分布p(k)。
解:
2.23设X是在[-1,1]上为均匀分布的随机变量。
试求Hc(X),Hc(X2)和Hc(X3)。
解:
(a)
(b)令
(c)
令
2.24.设连续随机变量X和Y的联合概率密度为
试求Hc(X),Hc(Y),Hc(XY)及I(X;Y)。
解:
2.25设X和Y为连续随机变量,且X的概率密度为
条件概率密度为
其中-∞ 试求Hc(X),Hc(Y/X),Hc(X/Y)和I(X;Y)。 解: 2.27设x为[0,∞]上分布的连续随机变量,且满足 =S, 求实现最大微分熵的分布及相应的熵值。 解: 2.28令概率空间 ,令Y是连续随机变量。 已知条件概率率密度为 试求: (a)Y的概率密度ω(y) (b)I(X;Y) (c)若对Y作如下的硬判决: 求I(X;Y),并对结果进行解释。 解: (a)由已知, (b) (c)由 可求得V的分布为 再由 及 可求得V的条件分布为 第三章离散信源无失真编码 3.1解: 长为n码字的数目为Dn,因此长为N的D元不等长码至多有: 3.2解: 3.3解: 3.4解: 3.5解: (a)二元Huffman编码 (b)三元Huffman编码 注意: K=10为偶数,需要添一个概率为零的虚假符号 3.6解: 二元Huffman编码 (a)二元Huffman编码 (b) (c) 3.10傅P186【5.11】 3.11解: 3.12解: 对 3.13解: (a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。 比特 (b)因为信源是二元无记忆信源,所以有
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 编码 习题 答案