信息论与编码期末考试题全套.docx
- 文档编号:1466242
- 上传时间:2022-10-22
- 格式:DOCX
- 页数:26
- 大小:1.48MB
信息论与编码期末考试题全套.docx
《信息论与编码期末考试题全套.docx》由会员分享,可在线阅读,更多相关《信息论与编码期末考试题全套.docx(26页珍藏版)》请在冰豆网上搜索。
信息论与编码期末考试题全套
(一)
一、判断题共10小题,满分20分.
1.当随机变量和相互独立时,条件熵等于信源熵.()
2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.()
3.一般情况下,用变长编码得到的平均码长比定长编码大得多.()
4.只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.()
5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()
6.连续信源和离散信源的熵都具有非负性.()
7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确
定性就越小,获得的信息量就越小.
8.汉明码是一种线性分组码.()
9.率失真函数的最小值是.()
10.必然事件和不可能事件的自信息量都是.()
二、填空题共6小题,满分20分.
1、码的检、纠错能力取决于.
2、信源编码的目的是;信道编码的目的是.
3、把信息组原封不动地搬到码字前位的码就叫做 .
4、香农信息论中的三大极限定理是、、.
5、设信道的输入与输出随机序列分别为和,则成立的
条件 .
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.
7、某二元信源,其失真矩阵,则该信源的= .
三、本题共4小题,满分50分.
1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.
(1)计算接收端的平均不确定度;
(2)计算由于噪声产生的不确定度;
(3)计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.
(1)求信源平稳后的概率分布;
(2)求此信源的熵;
(3)近似地认为此信源为无记忆时,符号的概率分布为平
稳分布.求近似信源的熵并与进行比较.
3、设码符号为,信源空间为试构造一种三元紧致码.
4、设二元线性分组码的生成矩阵为.
(1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;
(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则
试着对其译码.
(二)
一、填空题(共15分,每空1分)
1、信源编码的主要目的是,信道编码的主要目的是。
2、信源的剩余度主要来自两个方面,一是,二是。
3、三进制信源的最小熵为,最大熵为。
4、无失真信源编码的平均码长最小理论极限制为。
5、当时,信源与信道达到匹配。
6、根据信道特性是否随时间变化,信道可以分为和。
7、根据是否允许失真,信源编码可分为和。
8、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“”或“”
(1)当X和Y相互独立时,H(XY)H(X)+H(X/Y)H(Y)+H(X)。
(2)
(3)假设信道输入用X表示,信道输出用Y表示。
在无噪有损信道中,H(X/Y)0,
H(Y/X)0,I(X;Y)H(X)。
二、(6分)若连续信源输出的幅度被限定在【2,6】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。
三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(6分)
(2)计算平均码长;(4分)
(3)计算编码信息率;(2分)
(4)计算编码后信息传输率;(2分)
(5)计算编码效率。
(2分)
四、(10分)某信源输出A、B、C、D、E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5。
计算:
(1)信息传输速率。
(5分)
(2)将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输,噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
(5分)
五、(16分)一个一阶马尔可夫信源,转移概率为。
(1)画出状态转移图。
(4分)
(2)计算稳态概率。
(4分)
(3)计算马尔可夫信源的极限熵。
(4分)
(4)计算稳态下,及其对应的剩余度。
(4分)
六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
七、(16分)设X、Y是两个相互独立的二元随机变量,其取0或1的概率相等。
定义另一个二元随机变量Z=XY(一般乘积)。
试计算
(1)
(2)
(3)
(4);
八、(10分)设离散无记忆信源的概率空间为,通过干扰信道,信道输出端的接收符号集为,信道传输概率如下图所示。
(1)计算信源中事件包含的自信息量;
(2)计算信源的信息熵;
(3)计算信道疑义度;
(4)计算噪声熵;
(5)计算收到消息后获得的平均互信息量。
《信息论基础》参考答案
一、填空题(共15分,每空1分)
1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0,最大熵为bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr=Hr(S))。
5、当R=C或(信道剩余度为0)时,信源与信道达到匹配。
6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正态分布或时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“”或“”
(1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)=H(Y)+H(X)。
(2)
(3)假设信道输入用X表示,信道输出用Y表示。
在无噪有损信道中,H(X/Y)>0,H(Y/X)=0,I(X;Y) 二、(6分)若连续信源输出的幅度被限定在【2,6】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。 =2bit/自由度 该信源的绝对熵为无穷大。 三、(16分)已知信源 (1)用霍夫曼编码法编成二进制变长码;(6分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分) (4)计算编码后信息传输率;(2分) (5)计算编码效率。 (2分) (1) 编码结果为: (2) (3) (4)其中, (5) 评分: 其他正确的编码方案: 1,要求为即时码2,平均码长最短 四、(10分)某信源输出A、B、C、D、E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。 如果符号的码元宽度为0.5。 计算: (1)信息传输速率。 (5分) (2)将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输,噪声的单边功率谱密度为。 试计算正确传输这些数据最少需要的发送功率P。 (5分) 解: (1) (2) 五、(16分)一个一阶马尔可夫信源,转移概率为 。 (1)画出状态转移图。 (4分) (2)计算稳态概率。 (4分) (3)计算马尔可夫信源的极限熵。 (4分) (4)计算稳态下,及其对应的剩余度。 (4分) 解: (1) (2)由公式 有 得 (3)该马尔可夫信源的极限熵为: (4)在稳态下: 对应的剩余度为 六、设有扰信道的传输情况分别如图所示。 试求这种信道的信道容量。 解: 信道传输矩阵如下 可以看出这是一个对称信道,L=4,那么信道容量为 七、(16分)设X、Y是两个相互独立的二元随机变量,其取0或1的概率相等。 定义另一个二元随机变量Z=XY(一般乘积)。 试计算 (1) (2) (3) (4); 解: (1) Z 0 1 P(Z) 3/4 1/4 (2) (3) (4) 八、(10分)设离散无记忆信源的概率空间为,通过干扰信道,信道输出端的接收符号集为,信道传输概率如下图所示。 (6)计算信源中事件包含的自信息量; (7)计算信源的信息熵; (8)计算信道疑义度; (9)计算噪声熵; (10)计算收到消息后获得的平均互信息量。 解: (1) (2) (3)转移概率: xy y1 y2 x1 5/6 1/6 x2 3/4 1/4 联合分布: xy y1 y2 x1 2/3 12/15 4/5 x1 3/20 1/20 1/5 49/60 11/60 1/5 (4) (5) (三) 一、选择题(共10分,每小题2分) 1、有一离散无记忆信源X,其概率空间为,则其无记忆二次扩展信源的熵H(X2)=() A、1.75比特/符号;B、3.5比特/符号; C、9比特/符号;D、18比特/符号。 2、信道转移矩阵为,其中两两不相等,则该信道为 A、一一对应的无噪信道 B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为C,下列说法正确的是: () A、互信息量一定不大于C B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C 4、在串联系统中,有效信息量的值() A、趋于变大 B、趋于变小 C、不变 D、不确定 5、若BSC信道的差错率为P,则其信道容量为: () A、 B、 C、 D、 二、填空题(20分,每空2分) 1、(7,4)线性分组码中,接受端收到分组R的位数为____,伴随式S可能的值有____种,差错图案e的长度为,系统生成矩阵Gs为____行的矩阵,系统校验矩阵Hs为____行的矩阵,Gs和Hs满足的关系式是。 2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为。 3、香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式。 3、设有一个信道,其信道矩阵为,则它是信道(填对称,准对称),其信道容量是比特/信道符号。 三、(20分),通过一个干扰信道,接受符号集为,信道转移矩阵为 试求 (1)H(X),H(Y),H(XY);(7分) (2)H(Y|X),H(X|Y);(5分) (3)I(Y;X)。 (3分) (4)该信道的容量C(3分) (5)当平均互信息量达到信道容量时,接收端Y的熵H(Y)。 (2分) 计算结果保留小数点后2位,单位为比特/符号。 四、(9分)简述平均互信息量的物理意义,并写出对应公式。 五、(10分)假设英文字母表(n=26),密钥k=abc,当明文m=familycome时,使用Vigenere密码算法后得到的密文c=? 请写出具体的步骤。 六、(10分)设有离散无记忆信源,其概率分布如下: 对其进行费诺编码,写出编码过程,求出信源熵、平均码长和编码效率。 七、信道编码(21分) 现有生成矩阵 1.求对应的系统校验矩阵Hs。 (2分) 2求该码字集合的最小码字距离d、最大检错能力、最大纠错能力tmax。 (3分) 2.填写下面的es表(8分) e s 二、现有接收序列为,求纠错译码输出。 (4分) 三、5.画出该码的编码电路(4分) (四) 四、简答题(共20分,每题10
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 期末 考试题 全套