信息论与编码知识梳理及课后答案PPT推荐.ppt
- 文档编号:14341970
- 上传时间:2022-10-22
- 格式:PPT
- 页数:67
- 大小:1.06MB
信息论与编码知识梳理及课后答案PPT推荐.ppt
《信息论与编码知识梳理及课后答案PPT推荐.ppt》由会员分享,可在线阅读,更多相关《信息论与编码知识梳理及课后答案PPT推荐.ppt(67页珍藏版)》请在冰豆网上搜索。
从计算机角度讲,计算科学的本质就是数据变换。
计算科学与数学的关系很密切,数学是计算科学的主要基础,数学与电子科学构成了我们今天计算机系统的基础,也构成了计算科学的基础。
但是,与数学相比,电子技术基础地位的重要性不及数学。
本课程将介绍信息科学的基础理论和基本方法,课程将基于一个通信系统的抽象数学模型进行展开,课程的数学基础为概率论。
整个课程可分为基础理论和编码理论两部分组成,信道:
在物理线路上划分的逻辑通道。
学习注意事项:
本课程以概率论为基础,数学推导较多,学习时主要把注意力集中到概念的理解上,不过分追求数学细节的推导。
学习时一定要从始至终注意基本概念的理解,不断加深概念的把握。
学习时注意理解各个概念的“用处”,结合其他课程理解它的意义,而不要把它完全当作数学课来学习,提倡独立思考,注重思考在学习中的重要性。
1.1信息的一般概念,第章绪论,组成客观世界的三大基本要素:
物质能量信息,一位美国科学家说过:
“没有物质的世界是虚无的世界;
没有能源的世界是死寂的世界;
没有信息的世界是混乱的世界。
”,1.1信息的一般概念,三要素中物质是基础,是实体。
能量是物质运动的形式,E=mc2,物质可转换成能量,而能量又是改造客观世界的主要动力。
花朵开放时的色彩是一种信息,它可以引来昆虫为其授粉;
成熟的水果会产生香味,诱来动物,动物食后为其传播种子,果香也是一种信息;
药有苦味,让人难以吞咽,药味是一种信息;
听老师讲课可以得到许多知识,知识也是信息。
可以说我们生活在信息的海洋之中,没有信息就没有世界,当然也就没有我们人类社会。
人类利用信息利用信息的历史非常悠久,而且随着人类社会的发展而发展。
到了现代,信息的利用已经非常重要,以至于我们当今生活的社会被称作信息社会。
可见信息的重要。
色彩,视觉,果香,嗅觉,苦药,味觉,知识,听觉,总之,信息处处存在,人的眼、耳、鼻、舌、身都能感知信息。
冷热,触觉,那么信息究竟是什么呢?
1928年,美国数学家哈特莱(Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。
他认为“信息是选择的自由度”。
把信息理解为选择通信符号的方式.,事隔20年,另一位美国数学家香农(C.E.Shannon)在贝尔系统电话杂志发表了题为通信的数学理论的长篇论文。
他创立了信息论,但是却没有给出信息的确切定义他认为“信息就是一种消息”。
美国数学家、控制论的主要奠基人维纳(Wiener)在1950年出版的控制论与社会,一书中写到:
“信息既不是物质又不是能量,信息就是信息”。
这句话起初受到批评和嘲笑。
揭示了信息的特质:
即信息是独立于物质和能量之外存在于客观世界的第三要素。
信息存在于自然界,也存在于人类社会,其本质是运动和变化。
可以说哪里有事物的运动和变化,哪里就会产生信息。
人类交换信息的形式丰富多彩,使用的信息载体非常广泛。
概括起来,有语言、文字和电磁波。
信息必须依附于一定的物质形式存在,这种运载信息的物质,称为信息载体。
信息至今无确切定义,但信息有以下主要特征:
信息来源于物质,又不是物质本身;
它从物质的运动中产生出来,又可以脱离源物质而相对独立地存在。
信息来源于精神世界,但又不局限于精神领域。
1,2,信息与能量息息相关,但又与能量有本质的区别。
信息具有知识的本性,但又比知识的内涵更广泛。
信息可以被认识主体获取和利用。
3,4,5,根据上述特征和信息的基本定义,可以导出信息的一些重要性质:
信息在信息化程度越来越高的社会中将起到越来越重要的作用,是比物质和能量更为宝贵的资源,全面掌握信息的概念,正确、及时、有效地利用信息,能够为人类创造更多的财富。
可压缩性:
精炼、归纳,可共享性:
与实物不同,可共享,就狭义而言,在通信中对信息的表达分为三个层次:
信号、消息、信息。
信号:
是信息的物理表达层,是三个层次中最具体的层次。
它是一个物理量,是一个载荷信息的实体,可测量、可描述、可显示。
如电信号、光信号等。
消息:
(或称为符号)是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象。
信息:
信息是信号与消息的更高表达层次。
三个层次中,信号最具体,信息最抽象。
它们三者之间的关系是哲学上的内涵与外延的关系。
信息是消息的内核,消息是信息的载体.,1.2信息的分类,全信息,同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。
认识论层次的信息定义:
信息是认识主体(生物或机器)所感知的或所表述的相应事物的运动状态及其变化方式(包括状态及其变化方式的形式、含义和效用)。
其中认识主体所感知的东西是外部世界向认识主体输入的信息,而认识主体所表述的东西则是其向外部世界输出的信息,语法信息,仅考虑外在形式部分的信息。
语义信息,仅考虑内在含义部分的信息。
语用信息,仅考虑效用价值部分的信息。
按照信息的性质,1,按照信息的地位,按照信息的作用,2,3,按照信息的逻辑意义,按照信息的传递方向,4,5,在众多的分类原则和方法中,最重要的就是按照信息性质的分类。
即:
按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。
其中最基本也是最抽象的类型是语法信息。
也是迄今为止在理论上研究得最多的类型。
香农研究的就是语法信息。
语法信息考虑的是事物运动状态和变化方式的外在形式。
当然,按照事物运动的方式,还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。
香农信息论主要讨论的是语法信息中的概率信息,本书也以概率信息为主要研究对象。
1.3信息论的起源、发展及研究内容,信息论自诞生到现在不过50多年,在人类科学史上是相当短暂的。
但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。
信息作为一种资源,如何开发、利用、共享,是人们普遍关心的问题。
起源,在人类历史的长河中,信息传输和传播手段经历了五次重大变革:
1,2,3,4,5,1924年,奈奎斯特(HarryNyquist)(1889-1976)解释了信号带宽和信息速率之间的关系。
20世纪30年代,新的调制方式,如调频、调相、单边带调制、脉冲编码调制和增量调制的出现,使人们对信息能量、带宽和干扰的关系有了进一步的认识。
1936年,阿姆斯特朗(EdwinArmstrong)指出增大带宽可以使抗干扰能力加强,并根据这一思想提出了宽频移的频率调制方法。
1939年,达得利(HomerDudley)发明了带通声码器,指出通信所需带宽至少同待传送消息的带宽应该一样。
声码器是最早的语音数据压缩系统。
这一时期还诞生了无线电广播和电视广播。
1928年,哈特莱(Hartley)首先提出了用对数度量信息的概念。
Shannon:
Hartley的工作给Shannon很大的启示,他在19411944年对通信和密码进行深入研究,用概率论和数理统计的方法系统地讨论了通信的基本问题,得出了几个重要而带有普遍意义的结论:
阐明通信系统传递的对象:
信息;
提出了信息熵的概念:
信息度量;
指出通信系统的中心问题:
有效而可靠传递信息;
指明了解决问题的方法:
编码。
1,2,3,4,香农理论的核心是:
在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输,并得出了信源编码定理和信道编码定理。
以上这些成果1948年以“通信的数学理论”(Amathematicaltheoryofcommunication)为题公开发表,标志着信息论的正式诞生。
维纳(Wiener)在研究火控系统和人体神经系统时,提出了在干扰作用下的信息最佳滤波理论,成为信息论的一个重要分支。
50年代,信息论在学术界引起了巨大反响。
1951年,美国无线电工程师协会(IRE)成立了信息论组,并于1955年正式出版了信息论汇刊。
1959年,香农发表了“保真度准则下的离散信源编码定理”(Codingtheoremsforadiscretesourcewithafidelitycriterion)系统地提出了信息率失真理论(rate-distortiontheory)。
为信源压缩编码的研究奠定了理论基础。
60年代,信道编码技术有了较大发展,使它成为信息论的又一重要分支。
1961年,香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。
70年代以后,多用户信息论成为中心研究课题之一。
后来,随着通信规模的不断扩大,人们逐渐意识到信息安全是通信系统正常运行的必要条件。
于是,把密码学也归类为信息论的分支。
如今信息安全已是网络通信和电子商务系统中不可缺少的重要环节。
密码编码学是信息安全技术的核心,密码编码学的主要任务是寻求产生安全性高的有效密码算法和协议,以满足对消息进行加密或认证的要求。
密码分析学的主要任务是破译密码或伪造认证信息,实现窃取机密信息或进行诈骗破坏活动。
这两个分支既相互对立又相互依存,正是由于这种对立统一关系,才推动了密码学自身的发展。
香农在1949年发表的保密通信的信息理论论文中,首先用信息论的观点对信息保密问题作了全面的论述。
人们对信息的认识越来越深入,先后提出了加权熵、动态熵等概念,建立在模糊数学基础之上的模糊信息的研究也取得了一定的进展。
信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用,还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自然科学的各个方面,甚至渗透到语言学、美学等领域。
从60年代开始,一些社会学家在研究社会问题和社会现象时,先后提出了后工业社会和信息社会的概念,信息论开始向经济学和社会科学领域渗透。
1977年,美国经济学家马克波拉特发表了长达九卷的信息经济报告,用信息论的基本概念研究经济现象和社会现象,将信息论的研究从自然科学领域正式移植到经济学和社会科学领域。
信息论迅速发展成为涉及范围极广的广义信息论即信息科学。
信息论的研究对象是广义通信系统。
不仅电子的、光学的信号传递系统,任何系统,只要能够抽象成通信系统模型,都可以用信息论研究,如神经传导系统、市场销售系统等等。
关于信息论的研究内容,一般有以下三种层次:
信息论基础(狭义信息论)一般信息论广义信息论,信息论内容,主要研究信息的测度、信道容量、信息率失真函数,与这三个概念相对应的香农三定理以及信源和信道编码。
信息论基础,亦称香农信息论或狭义信息论。
1,概括:
信息的测度信道容量信源和信道编码理论,主要是研究信息传输和处理问题。
除了香农基本理论之外,还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 知识 梳理 课后 答案
![提示](https://static.bdocx.com/images/bang_tan.gif)