大学物理-热学.ppt
- 文档编号:2679038
- 上传时间:2022-11-06
- 格式:PPT
- 页数:15
- 大小:300.50KB
大学物理-热学.ppt
《大学物理-热学.ppt》由会员分享,可在线阅读,更多相关《大学物理-热学.ppt(15页珍藏版)》请在冰豆网上搜索。
*熵与信息简介1*熵与信息简介熵与信息简介一一.信息、信息价值评估信息、信息价值评估1.信息信息早年:
早年:
信息信息消息消息现代:
现代:
信息信息五官所感受的一切五官所感受的一切2.信息价值评估信息价值评估质的差别质的差别人类所有的文化知识人类所有的文化知识量的不同量的不同例如,有名的短诗与无味的小说的比较。
例如,有名的短诗与无味的小说的比较。
2对信息价值在质的方面的评估有困难:
对信息价值在质的方面的评估有困难:
超出自然科学的范围超出自然科学的范围尚无为大家接受的客观准则尚无为大家接受的客观准则目前采用电报局的办法:
目前采用电报局的办法:
只计字数只计字数不问内容不问内容当代当代“信息论信息论”的出发点:
的出发点:
只在信息只在信息量量的问题上下功夫的问题上下功夫3二二.信息量与信息熵信息量与信息熵1.信息量信息量信息需要载体(信息需要载体(语言文字、音符、图表语言文字、音符、图表),),比较不同载体传递的信息量很困难。
比较不同载体传递的信息量很困难。
1948年信息论的创始人年信息论的创始人香农香农(Shannon)从概率的角度从概率的角度给出信息的定义:
给出信息的定义:
(1)信息的获得意味着在各种可能性中)信息的获得意味着在各种可能性中概概率分布的集中率分布的集中4若只知某人住某楼(若只知某人住某楼(50间房),则在每间间房),则在每间房找到他的概率为多少房找到他的概率为多少?
若又知某人住三楼(若又知某人住三楼(10间房),间房),若又知某人住若又知某人住301室,则在室,则在301找到他的概找到他的概在三楼的每间房找到他的概率为多少在三楼的每间房找到他的概率为多少?
在其它楼层找到他的概率为多少在其它楼层找到他的概率为多少?
则则率为多少率为多少?
在其它房找到他的概率为多少在其它房找到他的概率为多少?
例如,在不同信息下,要去某楼找某人:
例如,在不同信息下,要去某楼找某人:
5缺乏信息缺乏信息(情况不明)(情况不明)获得了信息获得了信息(情况进一步明了)(情况进一步明了)概率分布分散概率分布分散概率分布集中概率分布集中
(2)信息量的度量)信息量的度量1比特(比特(bit)。
)。
“黑和白黑和白”、“有和无有和无”、“二进制的二进制的0和和1”中作出判断。
中作出判断。
在没有信息的情况下,在没有信息的情况下,规定从两种可能性中作出判断所需信息量为规定从两种可能性中作出判断所需信息量为例如要在例如要在“是和否是和否”、的概率均为的概率均为1/2,以上每种可能性出现以上每种可能性出现要作出判断需要作出判断需1bit信息量。
信息量。
6从从4种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为2bit。
例如甲持一张扑克牌让乙猜是什么花色的例如甲持一张扑克牌让乙猜是什么花色的?
对乙的提问甲只能回答对乙的提问甲只能回答“是是”和和“否否”,“是黑桃吗?
是黑桃吗?
”正确问法:
正确问法:
“是桃吗?
是桃吗?
”所以,从所以,从4种可能性中作出判断所需要的种可能性中作出判断所需要的“是黑的吗?
是黑的吗?
”信息量为信息量为2bit。
(为何不能这样问?
)(为何不能这样问?
)提问次数最少而能猜中的问法应该如何?
提问次数最少而能猜中的问法应该如何?
错误问法:
错误问法:
那么乙那么乙7从从8种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为3bit。
从从16种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为4bit。
从从N种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为:
K=1/ln2=1.4427或或作出判断所需作出判断所需bit数越大,数越大,所缺信息量越多。
所缺信息量越多。
8例题例题1.13个外观相同的金币,其中一个是假的,其余均相个外观相同的金币,其中一个是假的,其余均相同,用一台无砝码天平,称几次可辩伪同,用一台无砝码天平,称几次可辩伪?
可能情况可能情况26最大信息熵最大信息熵每称一次可能情况每称一次可能情况3每称一次最大信息熵每称一次最大信息熵需称次数需称次数解:
解:
9例题例题2.遗传密码问题遗传密码问题可能情况(氨基酸数)可能情况(氨基酸数)20字符数(碱基数)字符数(碱基数)4核酸:
遗传信息的携带者和传递者核酸:
遗传信息的携带者和传递者用用4种碱基编码种碱基编码20种氨基酸,每个密码的最少字符数种氨基酸,每个密码的最少字符数?
用用4个字符排列的遗传语言个字符排列的遗传语言脱氧核糖核酸脱氧核糖核酸DNA核糖核酸核糖核酸RNA102.信息熵信息熵(概率都相等),(概率都相等),这时作出完全的判断所需要的比特数为:
这时作出完全的判断所需要的比特数为:
香农香农称此称此S为信息熵,为信息熵,它意味着信息量的缺损。
它意味着信息量的缺损。
(1)在对)在对N种可能性完全无知的情况下,种可能性完全无知的情况下,只能假定每种可能性出现的概率只能假定每种可能性出现的概率P都为都为1/N即即P=1/N,记作记作11
(2)各可能性概率不等情况信息熵定义为:
)各可能性概率不等情况信息熵定义为:
0若若Pi=1/N,则过渡到各可能性等概率的情况。
则过渡到各可能性等概率的情况。
“明天有雨明天有雨”,这给了,这给了1bit的信息的信息“明天有明天有80概率下雨概率下雨”,P1=0.8(有雨);有雨);P2=0.2(无雨)无雨)信息熵信息熵例如天气预报:
例如天气预报:
i=1,2:
有两种可能,有两种可能,12这比全部确定所需信息(这比全部确定所需信息(1bit)少少0.722bit。
该天气预报所含信息量:
该天气预报所含信息量:
I=1S=0.278bit“明天有明天有90概率下雨概率下雨”,可算出:
,可算出:
S=0.469,I=1S=0.531bit所以所以信息熵信息熵S的减少意味着信息量的减少意味着信息量I的增加。
的增加。
在一个过程中,在一个过程中,信息量的增量信息量的增量I=S信息可转化为负熵信息可转化为负熵信息的负熵原理信息的负熵原理133.信息熵公式和玻尔兹曼熵公式信息熵公式和玻尔兹曼熵公式信息熵信息熵(K=1/ln2=1.4427)或或信息熵单位:
信息熵单位:
bit玻氏熵玻氏熵(k=1.3810-23J/K)玻氏熵单位:
玻氏熵单位:
J/K两者相比:
两者相比:
1bit=kln2(J/K)K=k14“1bit=kln2(J/K)”的物理意义的物理意义:
的熵必定减少的熵必定减少kln2=0.95710-23(J/K),),这至少要消耗这至少要消耗kTln2=0.693kT(J)的能量。
的能量。
例如例如T=300K,则则信息量存储增加信息量存储增加1bit,参考书:
参考书:
新概念物理教程新概念物理教程热学热学赵凯华,罗蔚茵赵凯华,罗蔚茵要使计算机里信息量存储增加要使计算机里信息量存储增加1bit,则它则它要消耗能量要消耗能量为为2.8710-21J。
完完15
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大学物理 热学