《信息论》教学大纲Word文件下载.docx
- 文档编号:19371539
- 上传时间:2023-01-05
- 格式:DOCX
- 页数:11
- 大小:18.78KB
《信息论》教学大纲Word文件下载.docx
《《信息论》教学大纲Word文件下载.docx》由会员分享,可在线阅读,更多相关《《信息论》教学大纲Word文件下载.docx(11页珍藏版)》请在冰豆网上搜索。
,离散平稳信源
3
马尔可夫信源
信源剩余度与自然语言的熵,离散信道及其信道容量,信道的数学模型及分类
5
平均互信息及平均条件互信息,平均互信息的特性
6
信道容量及其一般计算方法,离散无记忆扩展信道及其信道容量,独立并联信道及其信道容量
7
串联信道的互信息和数据处理定理,信源与信道的匹配,无失真信源编码,编码器,等长码
8
渐近等分割性和E典型序列,等长信源编码定理,变长码
9
变长编码定理,霍夫曼码和其他编码方法
10
霍夫曼码和其他编码方法
11
错误概率和译码规则,错误概率与编码方法,联合E典型序列
12
有噪信道编码定理,联合信源信道编码定理,纠错码的基本思想
13
线性码
14
汉明码,循环码
15
失真度和平均失真度,信息率失真函数及性质
,信息率失真函数的参量表述及其计算
16
二元信源和离散对称信源的R(D)函数,连续信源的信息率失真函数,保真度准则下信源编码定理,联合有失真信源信道编码逆定理
17
网络信息论,保密系统的基本信息理论
18
复习考试
第一章
绪论
一、学习目的
通过本章的学习,要求学生掌握信息的概念;
掌握信息、消息、信号之间的异同;
掌握概率信息的概念;
掌握信息论的研究对象和目的;
一般掌握信息论的研究内容;
了解信息论的发展过程。
绪论计划2学时。
二、课程内容
第一节
信息的概念
信息的概念,掌握信息、消息、信号之间的异同,掌握概率信息的概念。
第二节
信息论研究的对象、目的和内容
通信系统模型,信息论学科的研究对象、目的和内容
第三节
信息论发展简史与现状
信息论学科发展的历史、现状和动向。
三、重点、难点提示和教学手段
本章重点:
信息的概念;
信息论学科的研究对象、目的和内容;
难点为信息的概念。
理论教学。
第二章
离散信源及其信息测度
通过本章的学习,要求学生掌握用概率空间描述信源的方法;
掌握离散无记忆信源的定义、自信息、信息熵及信息熵的基本性质;
一般掌握熵的唯一性定理;
掌握离散无记忆的扩展信源的概念及其信息熵;
牢固掌握离散平稳信源的概念,二维平稳信源的联合熵、条件熵,离散平稳信源的极限熵;
掌握马尔可夫信源的概念及其信息熵;
掌握信源剩余度的概念;
了解自然语言信源的信息熵;
了解意义信息和加权熵。
本章计划12学时。
信源的数学模型及分类
信源的数学模型-概率空间,根据概率空间的统计特性对信源进行分类。
离散信源的信息熵
离散信源的自信息、平均自信息(信息熵)
信息熵的基本性质
离散信源熵函数的基本性质:
对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性和上凸性。
*第四节
离散信源的唯一性定理
第五节
离散无记忆的扩展信源
离散无记忆的扩展信源的数学模型,及信息熵。
第六节
离散平稳信源
离散平稳信源的数学定义,二维平稳信源及其信息熵,离散平稳信源的极限熵。
第七节
马尔可夫链,马尔可夫信源的定义及信息熵。
第八节
信源剩余度与自然语言信源的熵
信源剩余度,自然语言信源的信息熵。
*第九节
意义信息和加权熵
信源的数学模型;
各类离散信源的信息熵。
难点:
马尔可夫信源的信息熵
理论教学为主,习题辅导为辅
四、思考与练习
根据课程的实际情况,具体形式由教师自行掌握。
第三章
离散信道及其信道容量
通过本章学习,要求学生掌握离散信道的数学模型;
掌握信道疑义度、平均互信息和条件平均互信息的概念;
掌握平均互信息的性质;
掌握几种离散信道容量的计算;
一般掌握信道容量的迭代计算;
掌握离散无记忆扩展信道的概念及信道容量的计算;
掌握独立并联信道的信道容量;
掌握串联信道的互信息;
掌握信息不增性原理和数据处理定理;
掌握信道剩余度的概念。
信道的数学模型及分类
信道的分类,离散信道的数学模型,单符号离散信道的数学模型。
平均互信息及平均条件互信息
信道疑义度,平均互信息,平均条件互信息。
平均互信息的特性
平均互信息的特性:
非负性、极值性、扩展性、交互性、凸状性。
第四节
信道容量及其一般计算方法
离散无噪信道的信道容量,对称离散信道的信道容量,准对称信道的信道容量,及一般离散信道的信道容量的计算方法。
*第五节
信道容量的迭代算法
信道容量的迭代算法,信道容量的迭代算法的收敛性。
离散无记忆扩展信道及其信道容量
离散无记忆扩展信道的数学模型及其信道容量。
独立并联信道及其信道容量
独立并联信道的数学模型及其信道容量。
串联信道的互信息和数据处理定理
串联信道的互信息和数据处理定理。
第九节
信源与信道的匹配
掌握信道剩余度的概念,信源与信道的匹配。
本章重点、难点:
离散信道的数学模型;
信道容量;
数据处理定理。
根据课程的实际情况,具体形式由教师自行掌握
第四章
无失真信源编码
通过本章学习,要求学生牢固掌握编码的概念;
掌握等长码和等长信源编码定理;
一般掌握渐近等分割性;
掌握编码效率的概念;
掌握唯一可译变长码和即时码的概念、即时码的构造、克拉夫特不等式、唯一可译变长码的判断;
掌握无失真变长信源编码定理;
掌握平均码长、紧致码和码的剩余度的概念;
掌握霍夫曼码的编码方法、霍夫曼码的紧致性;
一般掌握费诺码、香农码的编码方法;
了解一些实用的无失真信源编码方法。
本章计划14学时。
第一节编码器
编码的实质,编码器的概念,及码的分类。
等长码
掌握等长唯一可以码存在的条件。
渐近等分割性和
典型序列
渐近等分割性定理,
典型序列的概念。
等长信源编码定理
等长信源编码定理的内容及其证明,编码效率的概念。
变长码
惟一可译码与即时码,即时码的树图构造法,克拉夫特不等式,惟一可译码的判别法。
变长信源编码定理
平均码长的概念,变长信源编码定理(即香农第一定理)内容、证明、物理意义,香农编码。
霍夫曼码,r元霍夫曼码,霍夫曼码的最佳性,费诺码,香农—费诺—埃利斯码。
几种实用的无失真信源编码方法
MH编码,算术编码,LZ码。
等长码;
等长信源编码定理;
变长码;
变长码的编码方法;
变长信源编码定理;
霍夫曼码和其他编码方法。
等长及变长编码定理的证明。
根据课程的实际情况,列出要求学生思考、理解、辨析、练习等若干问题。
具体形式由教师自行掌握。
第五章
有噪信道编码
通过本章学习,要求学生牢固掌握错误概率的概念;
牢固掌握错误错误概率准则、最大似然译码准则,以及如何根据这些准则进行译码;
牢固掌握费诺不等式;
牢固掌握错误概率和编码方法的关系;
一般掌握联合渐近等分割性;
掌握有噪信道编码定理;
掌握联合信源信道编码定理;
掌握纠错码的概念及方法;
了解线性码、汉明码、循环码等。
本章计划16学时。
错误概率和译码规则
影响错误概率的因素,译码规则的选择准则,最小错误概率译码,最大似然译码准则,费诺不等式。
错误概率与编码方法
错误概率受编码方法的影响,Hamming距离,最小距离译码准则。
联合
联合渐近等分割性,联合
有噪信道编码定理
有噪信道编码定理(即香农第二定理)。
联合信源信道编码定理
联合信源信道编码定理。
纠错码的基本思想和汉明码
纠错码的基本概念和主要数学问题,线性码,循环码,Hamming码。
有噪信道编码定理,线性码,Hamming码。
本章难点:
有噪信道编码定理的理解,线性码的编码和译码,Hamming码。
第七章
保真度准则下的信源编码
通过本章学习,要求学生牢固掌握失真度、平均失真度、保真度准则的概念;
掌握信息率失真函数的概念及其性质;
一般掌握信息率失真函数的参量表述;
一般掌握信息率失真函数的计算;
掌握二元对称信源的信息率失真函数;
掌握离散对称信源的信息率失真函数;
一般掌握信息率失真函数的迭代计算;
一般掌握连续信源的信息率失真函数的概念;
了解连续信源信息率失真函数的参量表述和计算;
掌握保真度准则下的信源编码定理(失真
典型序列、定理证明方法只要求了解);
掌握联合有失真信源信道编码定理;
了解有失真信源编码定理的实际意义。
本章计划8学时。
失真度和平均失真度
单符号的失真度,失真矩阵,平均失真度,保真度准则。
信息率失真函数及其性质
信息率失真函数R(D),性质:
定义域,凸性,单调性和连续性。
信息率失真函数的参量表述及其计算
信息率失真函数的参量表述及其计算。
二元信源和离散对称信源的R(D)函数
二元对称信源的R(D)函数,离散对称信源的R(D)函数。
保真度准则下的信源编码定理
保真度准则下的信源编码定理及其逆定理。
联合有失真信源信道编码定理
联合有失真信源信道编码定理。
有失真信源编码定理的实用,意义
有失真信源编码定理的实用意义。
失真度;
信息率失真函数;
保真度准则下的信源编码定理。
第八章
网络信息论
通过本章,要求学生掌握多变量联合典型序列;
会计算多址信道容量区域;
理解相关信源编码。
本章计划2学时。
网络通信模型
网络信道的分类,及相应的模型。
多变量联合典型序列
多变量联合典型序列的概念及相关定理。
相关信源编码
边信息的概念,相关信源编码定理及其逆定理。
多址接入信道
离散多址接入信道,多址接入高斯噪声信道。
相关信源和多址接入信道
相关信源和多址接入信道的对偶性,相关信源的多址接入信道。
本章为选讲内容,教师可根据实际情况选讲部分内容
第九章
保密系统的基本信息理论
通过本章学生,要求学生一般掌握保密学的基本概念和保密系统的数学模型;
了解单表密码、移位代换密码、乘数密码、固定周期位移置换、多表代换密码;
了解完全保密性、理论保密性和实际保密性的概念。
保密学的基本概念
本节介绍保密学中的一些基本的概念。
保密系统的数学模型
本节介绍保密系统的数学模型,保密系统的安全性标准。
古典密码体制
单表密码,移位代换密码,数乘密码,固定周期的位置置换,多表代换密码。
完全保密性
本节用信息论的观点分析保密系统的安全性问题。
理论保密性
本节讨论在唯密文破译条件下,破译一种密码体制时理论上的破译者必须处理的密文量至少需多少。
实际保密性
保密系统的实际保密性。
信息论在保密学中的应用;
香农对保密学问题的基本观点。
阅读书目
[1]
Rober
G.
Gallager
主编,《InformationTheoryandReliableCommunication》,MassachusettsInstituteofTechnology出版社,1968年.
[2]RobertJ.
McEliece,
《TheTheoryofInformationandCoding》
,电子工业出版社,2003年.
[3]
姜单,《信息论与编码》,中国科学技术大学出版社,2001年.
[4]
曹雪虹,《信息论与编码》,北京邮电大学出版社
2004.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 教学大纲
![提示](https://static.bdocx.com/images/bang_tan.gif)