信息熵及其性质和应用_精品文档.doc
- 文档编号:1519969
- 上传时间:2022-10-22
- 格式:DOC
- 页数:12
- 大小:284.18KB
信息熵及其性质和应用_精品文档.doc
《信息熵及其性质和应用_精品文档.doc》由会员分享,可在线阅读,更多相关《信息熵及其性质和应用_精品文档.doc(12页珍藏版)》请在冰豆网上搜索。
青岛农业大学
本科生课程论文
论文题目 信息熵及其性质和应用
学生专业班级 信息与计算科学09级2班
学生学号姓名 20093992
指导教师 吴慧
完成时间 2012年06月25日
2012年06 月25 日
课程论文任务书
学生姓名指导教师吴慧
论文题目信息熵及其性质和应用
论文内容(需明确列出研究的问题):
研究信息熵的目的就是为了更深入的了解信息熵,更好的了解信息熵的作用,更好地使用它解决现实生活中的问题。
文中介绍了信息熵的定义和性质及其应用。
使我们对信息熵有跟深入的了解。
资料、数据、技术水平等方面的要求:
论文要符合一般学术论文的写作规范,具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密,有独立的观点和见解。
内容要理论联系实际,计算数据要求准确,涉及到他人的观点、统计数据或计算公式等要标明出处,结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期06月15日完成论文日期06月25日
教研室意见(签字)
院长意见(签字)
信息熵及其性质和应用
信息与计算科学专业
指导教师吴慧
摘要:
信息熵是随机变量不确定性的度量,文中从信息熵的定义出发,结合信息熵的性质,介绍了目前信息熵在具体问题中的应用。
信息是一个十分通俗而又广泛的名词,它是人类认识世界、改造世界的知识源泉。
人类社会发展的速度,在一定程度上取决于人类对信息利用的水平,所以对信息的度量就很有必要。
香农提出信息的一种度量,熵的定义形式,它是随机变量不确定性的度量,文中主要介绍熵的性质及其应用。
关键词;信息熵性质应用
InformationentropyanditspropertiesandApplication
StudentmajoringinInformationandComputingScienceSpecialtydongqiang
TutorWuHui
Abstract:
informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwi
delynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.
Keywords:
informationentropypropertiesapplication
引言:
作为一种通俗的解释,熵是一种不规则性的测量尺度.这一种解释起源于香农在通讯理论的研究中,为确定信息量而提出的一种熵测度.对于离散概率分布p=(p1,p…,pn),香农熵定义为H(X)=E[I()]=log在p1+p2+p3+…pk=1的条件下,为使H(X)最大,显然是pi=1/k(i=1,2,…,k),即在等概率分布情况下H(X)达到最大值,换句话说,熵的值与不规则度(如果以等概率分布作为不规则性的极端表现)是一致的.这是熵作为一个概率测度的理论基础.物理学的发展为熵理论提供了更为现实的应用背景,热力学的第二法则既是所谓熵增大的法则,对孤立的系统,系统的热力学状态只能假定在熵增大的方向上起变化,Boltzmann原理把熵引入了热力学的研究领域,他所提供的著名关系式S=klogw(w是系统状态的概率)是后来Planck的量变论及爱因斯坦的光量子理论开展的基础.人们对熵的认识和应用很长一段时间内都局限于理论物理领域,直到本世纪中叶,一些人开始注意到熵对系统不确定性度量的一般性,试图在行为科学和社会科学中更广泛地引用熵,对一些复杂现象加以刻划。
信息熵(entropy)的概念
设一个离散型随机变量和它的概率分布为
任意随机事件的自信息量定义为该事件发生概率的对数的负值,即I()
=-log。
自信息量I()是指某一信源X发出某一消息信号所含有的信息量,发出的消息不同,它们所含的信息量也就不同,因此自信息量是一个随机变量,它不能用来作为整个信源的信息测度。
香农将平均自信息量定义为信息熵,简称为熵。
即H(X)=E[I()]=log。
二、信息熵的性质
1、对称性:
设某一概率系统中n个事件的概率分布为,当对事件位置的顺序进行任意置换后,得到新的概率分布为,并有以下关系成立:
H()=H()它表示概率系统中事件的顺序虽不同,但概率系统的熵值是不变的,即概率系统的熵与事件的顺序无关。
2、非负性:
因为每个p<1,所以它们的以不小于1的数为底的对数是不大于零的。
3、确定性:
设信息系统中,任一事件产生的概率为1,则其他事件产生的概率为0。
这是一种确定的系统,对于这样的系统有:
H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,0,…,0)=0若信源中只要有一个事件是必然事件,则其余事件为不可能事件。
此时,信源中每个事件对熵的贡献都为0,因而熵总为零。
4、扩展性:
若集合X有n个事件,另一集合Y中有n+1个事件,但集合X和Y的差别只是多了一个概率近于零的事件,则两个集合的熵值是一样的。
即一个事件的概率和集合中其它事件相比很小时,它对于集合的熵值的贡献就可以忽略不计。
式子表达如下:
5、可加性与强可加性:
(涉及到了两个变量!
)
H(XY)为两个随机变量的联合熵。
可加性:
H(XY)等于X的无条件熵,加上已知X时
Y的条件概率的熵的平均值,即条件熵
对于X与Y独立的情况有:
(强可加性)
6、递增性:
(子集再划分,第n个分为m个)
按照定义证明:
例题:
计算
7、极值性:
可利用两个引理证明;(以后再利用Jensen证明。
)
引理1:
对于x>0
引理2:
其中:
8、上凸性:
是P的上凸函数 即对于和两个概率矢量,有:
函数f的图象
几何解释:
f(EP)总在Ef(P)上边
9、1证明离散平稳信源有,试说明等式成立的条件。
解:
=
根据信源的平稳性,有=,因此有
等式成立的条件是
9、2证明离散信源有,并说明等式成立
的条件。
证明
而
=
即
代入上述不等式,有
等号成立的条件是:
9、3在连续信源中,根据差熵、条件差熵和联合差熵的定义,证明
(1)h(X|Y)£h(X),当且仅当X和Y统计独立时等号成立;
(2)当且仅当X1X2L彼此统计
独立时等式成立。
证明:
(1)
等号成立当且仅当p(x|y)=p(x),即p(x,y)=p(x)p(y),因此仅当X和Y统计
独立时等号成立。
(2)根据条件概率密度的相关公式,有
根据
(1)的结论,条件差熵小于差熵,因此有
等号成立当且仅当
即
9、4N维连续型随机序列,有概率密度以及以及
。
证明:
当随机序列的分量各自达到正态
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 及其 性质 应用 精品 文档