最新信息论基础与编码课后题答案第三章.docx
- 文档编号:5421871
- 上传时间:2022-12-16
- 格式:DOCX
- 页数:12
- 大小:175.59KB
最新信息论基础与编码课后题答案第三章.docx
《最新信息论基础与编码课后题答案第三章.docx》由会员分享,可在线阅读,更多相关《最新信息论基础与编码课后题答案第三章.docx(12页珍藏版)》请在冰豆网上搜索。
最新信息论基础与编码课后题答案第三章
3-1设有一离散无记忆信源,其概率空间为
X_X1
P(x)|t_0.6
'I,信源发出符号通过
干扰信道,接收符号为Y二{%,丫2},信道传递矩阵为
1-4_
求
-J
1-63-4
(1)信源X中事件xi和X2分别含有的自信息量;
(2)收到消息yj(j=1,2)后,获得的关于Xi(i=1,2)的信息量;
(3)信源X和信宿Y的信息熵;
(4)信道疑义度H(X/Y)和噪声熵H(Y/X);
(5)接收到消息Y后获得的平均互信息量l(X;Y)。
解:
(1)I(xj=0.737bit,I(x2)=1.322bit
(2)I(禺;%)=0.474bit,I(%;y2)1.263bit,I(X2;yj=—1.263bit
I(x2;y2)=0.907bit
(3)H(X)=H(060.4)-0.971bit/symbol
H(Y)二H(0.6,0.4)二0.971bit/symbol
(4)H(XY)二H(0.5,0.1,0.1,0.3)=1.685bit/symbol
H(X/Y)=1.685-0.971=0.714bit/symbol
H(Y/X)=0.714bit/symbol
(5)I(X;Y)=0.971-0.714=0.257bit/symbol
3-2设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。
该信道的正
确传输概率为0.5,错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明:
信道传输矩阵为:
I(X;Y)。
解:
l(X;Y)=H(X)+H(Y)-H(XY)
H(X)=1bit/符号,H(Y)=0.93bit/符号,H(XY)=1.34bit/符号,I(X;Y)=0.59bit/符号。
3-4设二元对称信道的传递矩阵为:
其中pp=1O
解:
(1)
G=log2-H(p-;,P~,2;)-(1-2;)log(1-2;)-2;log4;
-1■(p-)log(p-;)■(p-)log(p_;)'2;log2;-(1_2;)log(1-2;)-2;log4;
=1-'2;■(p-;)log(p_;)*(p-)log(p-;)-'(1-'2;)log(1-'2;)
(2)
C2=log2-H(p-;,p-;,2;)-(1-2;)log(1-2;)-2;log2;
=1(p一;)log(p一;)(p一;)log(p-;)2;log2;一(1一2;)log(1一2;)一2;Iog2;
=1(p-;)log(p-;)(p-;)log(p-;)_(1-2;)log(1-2;)
两者的信道容量比较:
C2二G•2;
3-6求题图3-6中信道的信道容量及最佳的输入概率分布。
1
并求当•;:
=0和时的信道容
2
量C。
1
题图3-6
解:
由图知信道转移矩阵为:
100
P=01-g£,此信道非对称信道,也非准对称信道,不能利用其公式计算。
0E1-3
此信道也不能采用先假设一种输入分布,利用信道容量解的充要性来计算。
但此信道矩阵是
非奇异矩阵,又r=S,则可利用方程组求解:
33
、P(bj/a)\「P(bj/ajlogP(bj/aJ,i=1,2,3,所以
jtjm
[E=0
(1一;)2亠13=(1-;)log(1-;);log;
;:
2
(1)3=(1-;)log(1-;log;
解得:
-^0,:
3=(1-;)log(1-;);log;,所以
C=log'2j=log[121_H(〉],
j
p(bj=2=2“,p(b2)=22"=2上(,p(d)=23上=2上(,
3
根据P(bj)=vP(ai)P(bj/ai),j=1,2,3,得最佳输入分布为:
p(aj=p(bj=2Q,p(a2)=p®)=p^)=pd)=2刊;)工,
当;=0时,此信道为一一对应信道,
1
C=Iog3,p(aj=p(a?
)=p(a3)=3;
当;=0.5时,
11
C^og2,p(a^^-,p(a2^p(a3^4o
P.980.021一一
3-7有一个二元对称信道,其信道矩阵为、。
设该信道以1500个二元符号
[0.020.98一
每秒的速率传输输入符号。
现有一消息序列共有14000个二元符号,并设在这个消息中,
P(0)=P
(1)=1/2。
问从信息传输的角度来考虑,10秒内能否将这消息序列无失真地传送
完?
解:
信道容量:
C=0.859(bit/符号),Ct=15000.859=1288(bit/s),10秒内最大
信息传输能力=12880bits,消息序列含有信息量=14000bits,
12880<14000,所以10秒内不能将这消息序列无失真地传送完。
3-8有一离散信道,其信道转移概率如题图3-8所示,试求:
(1)信道容量C;
0
1
1-1…2
1_1..2
(2)右-.-2=0,求信道容量。
题图3-8
1-Z.
解:
(1)C=-(1-;1)log■;2log辽*(1-1…2)log(1-“-;2)
2
(2)若;2=0,则C=1-
3-9设离散信道矩阵为:
D3366
P=,
11111
.6363」
求信道容量C。
解:
C=0.041(bit/符号)。
3-10若有一离散非对称信道,其信道转移概率如题图3-10所示。
试求:
(1)信道容量C1;
题图3-10
(2)若将两个同样信道串接,求串接后的转移概率;
(3)求串接后信道的信道容量C2。
(2)串接后的转移概率矩阵
_3
(3)串接后信道的信道容量C2=0.0033bit/符号。
3-11设有一离散级联信道如题图3-11所示。
试求:
(1)X与Y间的信道容量C1;
(2)Y与Z间的信道容量C2;
(3)X与Z间的信道容量C3及其输入分布P(x)。
答案:
(1)G=1-H(;)
°」
丄],
11
p(Y)十.-
8842
1111
P(Z)二[;订匚.;],
8824
I(X;Y)=H(Y)-H(Y/X)=1.5
l(X;Z)=H(Z)-H(Z/X)=1.5
比特/符号
比特/符号
(2)C2=0.75(bit/符号)
Pl
"亠"1
"3
0
9(1Y)
—E
1—;
1
4
4
4
4
r®
1一呂
3
1
3
3“
、1
L
0
1
—Z
_(1—
—
-
4
•
4
4
4」
(3)X、Z间信道转移概率矩阵为
它是准对称信道,当输入等概率分布时达到信道容量。
p(X)={0.5,0.5}
以比较。
解:
串接后信道矩阵为
01
0
P二PP二
可见,l(X;Z)=I(X;Y)
3-13若X,丫,Z是三个随机变量,试证明:
(1)IX;YZ=I(X;Y)l(X;Z/Y)=l(X;Z)l(X;Y/Z);
(2)IX;Y/Z]=I(Y;X/Z)=H(X/Z)-H(X/YZ);
(3)IX;Y/Z-0,当且仅当(X,Y,Z)是马氏链时等式成立。
3-14若三个离散随机变量有如下关系:
X+Y=Z,其中X和Y相互独立,试证明:
(1)l(X;Z)二H(Z)-H(Y);
(2)l(XY;Z)二H(Z);
(3)IX;YZ二H(X);
(4)IY;Z/X二H(Y);
(5)IX;Y/Zi=H(X/Z)=H(Y/Z)。
3-15把n个二元对称信道串接起来,每个二元对称信道的错误传递概率为p。
证明这n
1
个串接信道可以等效于一个二元对称信道,其错误传递概率为—[1一(1一2p)n]。
并证明:
2
liml(X0;Xn)=:
O,设p=0或1,信道的串接如题图3-15所示。
n_j:
题图3-15
证明:
当n=1时,只=¥一pp[当n=2时,
:
p1-P」
概率为:
12
—[1-(1-2p)2]。
当考虑三个二元对称信道串接,得
2
1313
2【1+(1—2p)3]尹一(1—2p)3]i
1313
;[1—(1—2p)3]:
[1+(1—2p)3]
22」
用数学归纳法可证明:
3-16有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1和a2之间。
此信源
连至某信道,信道接收端接收脉冲的幅度y处在b1和b2之间。
已知随机变量X和Y的联合
概率密度函数
1P(xy)=
(a2-ai)(b2-bj
试计算H(X),H(Y),H(XY)和I(X;Y)。
答案:
b2a2
11p(x)一p(xy)dy,p(y)-p(xy)dx-
b比―a1a1b2一b1
H(X)=log®-印),H(Y)=Iog(b2-bj,H(XY)=log®-ajlog©-bj
l(X;Y)=0。
X与Y统计独立。
3-17设某连续信道,其特性如下:
/X、2
(y-2)
32
而信道输入变量X的概率密度函数为:
p(x)二
exp[
试计算:
(1)信源的熵H(X);
(2)平均互信息I(X;Y)。
答案:
(1)X是正态分布的,均值为零,方差为22。
H(X)」log2二*Jog4「:
e:
2
22
(2)
l(X;Y)二H(Y)-H(Y/X)」log4「e2」og3y2
22
=2log
=0.208比特
3-18设加性高斯白噪声信道中,信道带宽为3kHz,又设{(信号功率+噪声功率)/噪
声功率}=10dB。
(1)
(2)试计算该信道传送的最大信息率(单位时间);
(3)若功率信噪比降为5dB,要达到相同的最大信息传输率,信道带宽应是多少?
解:
(1)
中+P)P+P
10lg=10dB,即:
=10,又已知信道带宽为3KHz,由香农公式得:
IPn丿Pn
C=Wlog1+—=9.966x103(bit/s),此即为信道传送的最大信息率。
中P— (2)若期亠5=dB,即」=用,此时要达到相同的最大信息传输率,设带宽为w, fn丿R ''P3 由香农公式得: C=Wlog1+—=9.966x103(bit/s), 计算得: W=4.844(kHz)。 3-19设电话信号的信息率为56kbit/s,在一个噪声功率谱为N。 =510一6mW/Hz、 限频F、限输入功率P的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P是多 少W? 若F—;•「: ,则P是多少W? 解: (1)P-0.328W CtN0_4 (2)P—=1.9410Wloge 3-20在图片传输中,每帧约有2.25106个像素,为了能很好地重现图像,需分16个亮度电平,并假设亮度电平等概率分布。 试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。 68 解: R=302.2510log16=2.710比特/秒 SNR=103=1000,C=Wlog(11000)=2.7108,W=2.7107Hz
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 信息论 基础 编码 课后 答案 第三
![提示](https://static.bdocx.com/images/bang_tan.gif)