信息论试题.docx
- 文档编号:984744
- 上传时间:2022-10-14
- 格式:DOCX
- 页数:10
- 大小:93.60KB
信息论试题.docx
《信息论试题.docx》由会员分享,可在线阅读,更多相关《信息论试题.docx(10页珍藏版)》请在冰豆网上搜索。
信息论试题
题号
-一-
-二二
三
四
五
六
七
八
九
总分
得分
评卷人
一、填空题(共15分,每空1分)
1、当时,信源与信道达到匹配。
2、若高斯白噪声的平均功率为6W,则噪声熵为
如果一个平均功率为9W的连续信源的熵等于该噪声熵,则该连续信源的熵功率
为。
3、信源符号的相关程度越大,信源的符号熵越,信源的剩余度
越。
4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。
根据信源符号
的统计特性,对概率的符号用短码,对概率的符号
用长码,从而减少平均码长,提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为,
此时编码效率为。
4、在下面空格中选择填入数学符号“,,,”或“”
(2)HXYHYHX|YHYHX
X!
x2x3x4
9、有一信源X,其概率分布为
1111,若对该信源进行100次扩展,
2488
则每扩展符号的平均信息量是
11、当时,信源熵为最大值。
8进制信源的最大熵
为。
、判断题(正确打",错误打X)(共5分,每小题1分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
()
2)即时码可以在一个码字后面添上一些码元构成另一个码
字。
()
3)连续信源的熵可正、可负、可为
零,
4)平均互信息始终是非负
的。
()
5)信道容量C只与信道的统计特性有关,而与输入信源的概率分布无关。
三、(10分)计算机终端发出A、B、CDE五种符号,出现概率分别为1/16,1/16,
1/8,1/4,1/2。
通过一条带宽为18kHz的信道传输数据,假设信道输出信噪比为2047,
试计算:
1)香农信道容量;
2)无误码传输的最高符号速率。
四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1和a2之间。
此信源连至信道,信道接收端接收脉冲的幅度y处在b1和b2之间。
已知随机变量X和Y
的联合概率密度函数
1
p(xy)
@2印)血bj
试计算h(X),h(Y),h(XY)和I(X;Y)
五、(10分)设某信道的传递矩阵为
0.80.10.1P
0.10.10.8
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
六、(10分)设随机变量X和Y的联合概率分布如下所示:
(X;Y)
七、(20分)一个离散无记忆信源
P(x)
1/161/16
1/161/161/41/2
1)求H(X)和冗余度;(4分)
2)编成Fano码,计算编码效率;(8分)
3)编成Huffman码,计算编码效率。
(8分)
八、(10分)设一个离散无记忆信源的概率空间为
X
P(x)
x2
0.20.8
,它们通过干扰
0.90.1
信道,信道矩阵为P。
信道输出符号集为Yy1,y2,试计算:
0.30.712
(1)信源X的信息熵;(2分)
(2)收到信息y2后,获得的关于捲的信息量;(2分)
3)共熵H(XY);(2分)
(4)信道疑义度H(X|Y);(2分)
(5)收到消息丫后获得的关于信源X的平均信息量。
(2分)
九、(10分)有一个二元马尔可夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。
试计算
(1)达到稳定后状态的极限概率。
(2)该马尔可夫信源的极限熵H
《信息论基础》试卷答案
《信息论基础》试卷答案
一、填空题(共15分,每空1分)
1,当(R=C或信道剩余度为0)时,信源与信道达到匹配。
2,若高斯白噪声的平均功率为6W则噪声熵为(1/21og12e=3。
337bit/自由度)
如果一个平均功率为9W的连续信源的熵等于该噪声熵,则该连续信源的熵功率为
(6W
3,信源符号的相关程度越大,信源的符号熵越(小),信源的剩余度越(大)
4,离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。
根据信源符号的统计特性,对概率(大)的符号用短码,对概率(小)的符号用长码,从而减少平均码长,提咼编码效率。
8,香农第一编码定理指出平均码长的理论极限值为(信源熵H(S)/logr或FR(S)),
此时编码效率为
(1)
9,在下面空格中选择填入数学符号“=,<,>,,”
H2(X)=H(XiX2)/2H3(x)=H(XiXX3)/3
H(XY)=H(Y)+H(X/Y)H(Y)+H(X)
XXiX2X3X4
10,有一信源x,其概率分布为p1/21/41/81/8,若对该信源进行100次扩展,
其每扩展符号的平均信息量是(175bit/扩展符号)
11当(概率为独立等概)时,信源熵为最大值,8进制信源的最大熵为(3bit/符号)
二、判断题(本大题共5小题,每小题1分,共5分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大()
2)即时码可以在一个码字后面添上一些码元构成另一个码字()
3)连续信源的熵可正可负可零()
4)平均互信息始终是非负的()
5)信道容量C只与信道的统计特性有关,而与输入信源概率分布无关()
三、(10分)计算机终端发出五种符号,出现概率分别为1/16,1/16,1/8,1/4,12通
过一条带宽为18KHZ的信道传输数据,假设信道输出信噪比为2047,试计算:
1)香农信道容量;
2)无误码传输的最高符号速率。
S
(1)CtBlog2118log22048198kbit/s
N
⑵Rb
max
Ct
Hx,
11
111
15
Hx
H
16,16
8,4,2
8
198k
5
Rb
max
1.056
10Baud
158
四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1,a2之间。
此信源连至信道,信道接收端接收脉冲的幅度y处在b1,b2之间。
已知随机变量x和y
的联合概率密度函数p(x,y)1/(a2a1)(b2b1)
试计算h(x),h(y)h(xy)和l(x;y)
由p(x,y)得p(x)
ax82
a23i
0,其他
1
b,xb,
pyb2bi
0,其他
可见,p(xy)p(x)p(y),x和y相互独立,且均服从均匀分布,
h(x)log(a,ajbit/自由度
h(y)log(b,b)bit/自由度
h(xy)h(x)h(y)log(a,3)4bj
I(x,y)0
五、(10分)设某信道的传递矩阵为
0.80.10.1p
0.10.10.8
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布,该信道为准对称信
道,
(1)两个对称信道矩阵为
0.8叩0.80」和0.1
0.10.80.10.80.1
2=+=,N2=;
M仁,M2=
•••Clog2H(0.8,0.1,0.1)0.9log0.90.1log0.20.447bit/符号
2)
z
0
1
pz
2/3
1/3
H(z)=H(2/3,1/3)=符号
4)
xz
P(xz)
00
2/3
01
0
10
0
11
1/3
H(xz)=H(2/3,1/3)bit/每对符号
H(x|z)=H(xz)-H(z)=O
5)
I(x,y)=H(x)+H(y)-H(xy)
=符号
七(20)一个离散无记忆信源
1)求H(x)和冗余度;(4分)
2)编成Fano码,计算编码效率;(8分)
3)编成Huffman码,计算编码效率。
(8分)
1)H(x)=H(1/16,1/16,1/16,1/16,1/4,1/2)=2bit
H(x)
v122.6%
log6
2)
100%
(1)信源X的信息熵;(2分)
(2)收到信息y2后,获得关于x1的信息量;(2分)
(3)共熵H(XY);(2分)
(4)信道疑义度H(X|Y);(2分)
(5)收到消息Y后获得的关于信源X的平均信息量。
(2分)
P(xy)
y1
y2
x1
X
X
x2
X
X
(1)H(x)=H,=符号
(2)l(x1;y2)=l(x1)-l(x1|y2)=log1/,58/=
(3)H(xy)=H,,,=每对符号
(4)H(x|y)=H(xy)-H(y)=(y)
H(y)=H,=
H(x|y)=符号
(5)I(X:
Y)=H(x)+H(y)-H(xy)=H(x)-H(x|y)
=符号
其状态转移概率如图所示,括号中的数表
九(10分)有一个二元马尔科夫信源,
示转移时发出的符号。
试计算
(1)达到稳定后状态的极限概率
(2)该马尔科夫信源的极限熵H
■—■
0.5
(1)
s0
'si,
11
0.5(0)
0.5
(1)
0.5(0)
s2
)
0.5
(1)
0.5(0)
s0
s1
s2
s0
0
0.5
0.5
(1)p
s1
0.5
0.5
0
s2
0
0.5
0.5
P(sO)=(s1)(p(s0)+p(s1)+p(s2))=p(s1)(p(s0)+p(s2))=p(s2)P(s0)+p(s1)+p(s2)=1
得p(s0)=;
P(s1)=;
P(s2)=;
⑵
H=1/4H,+1/2H,+1/4H,
1/4+1/2+1/4=1bit/符号
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 试题