第三章熵与分布.docx

第三章熵与分布.docx

《第三章熵与分布.docx》由会员分享，可在线阅读，更多相关《第三章熵与分布.docx（15页珍藏版）》请在冰豆网上搜索。

第三章熵与分布

第三章熵与分布

第一章我们把统计物理中常用的分布函数的概念作了交待。

继之又在第二章对气象现象中观测、统计出来的分布函数的形态作了较多的介绍。

至此应当说我们用分布函数的概念把一批气象现象作了一种较统一的综合。

它改变了提出问题的方式，也为让一个适当的理论出台来解释这些现象作好了前期准备工作。

从这一章开始我们要进一步引用熵的概念和原理，并且把它与分布问题联系起来。

我们想通过事例说明熵原理也是制约大气运动的一个普遍原理。

抓住这个强有力的理论会加深对气象现象的理解、丰富气象理论园地。

这一章的中心是交待熵的概念、算法以及它与分布问题的关系。

而把熵原理及其在气象学中的应用放在以后各章。

§1熵概念沿革

当今的科学被分成上千个学科，每个学科都有自己一套专用名词，而外行人对它知之甚少。

可是在科学史上却有少数的专用名词，其知名度则远远超出孕育它出生的那个村庄。

霍顿（G．Holton）说“某些概念之所以重要是由于它们反复出现在许多描述和定律中，而且往往波及离最初表述很远的领域内”。

大家熟悉的“能量”这个概念就具有上述特征。

现在我们要指出“熵”是又一个知名度日益提高并昇华到哲学殿堂的概念。

在某些人看来熵的科学地位应当高于莎士比亚在文学中的地位。

上世纪中叶，人们在发现热力学第一定律（能量守衡定律）之后不久又在研究热机效率的理论时发现在卡诺热机完成一个循环时，它不仅遵守能量守衡定律，而且工作物质吸收的热量Q与当时绝对温度T的比值之和（∑Q/T）为零（Q，T都不为零）。

鉴于以上物理量有这一优点，克劳修斯（R．CIausius）就把可逆过程中工作物质吸收的热与温度T之比称为entropie，与德文的能量“energie”相接近。

1923年胡刚复教授从其定义式出发为汉文另创了—个字“熵”来称呼它。

日本则直用其英文的译音ェントロピ称之。

克劳修斯发现这样定义的物理量——熵还有一个重要性质，即其改变量的大小仅与研究对象的起始状态和终止状态有关，而与其经历的热力学路径无关；这也就是告诉人们熵是又一个新发现的状态函数。

它意味着系统的状态一旦确定，其熵值（选用一定参考点后）就不变化了。

克劳修斯还进而分析了不可逆过程中的熵的变化，他得出参与不可逆过程的各部分的熵值变化之和总是大于刀∑Q/T。

1865年他把热力学第二定律视为孤立系统中熵仅能加大或不变的“熵增加原理"。

1870年玻耳兹曼（L．Boltzmann）在分子运动论的基础上研究分子处于不同能级状态的个数Ω的特性。

他发现Ω的对数值应当与熵成正比例。

这一发现就为熵提供了微观的物理图象。

使我们加深了对熵的理解。

熵是分子运动的无序程度（玻耳兹曼）和混乱程度（吉布斯，J．W．Gibbs）的提法逐步在科技界流行。

热力学熵的研究不仅推进了热机效率的研究，经过亥姆霍兹（H．Helmhotz）、吉布斯、麦克斯韦等人的努力，熵与其他的热力学函数的关系，熵如何用于判知化学反应的进行方向与程度等方面都取得了重大进展。

这样，熵已跨出热学领域而进入理论化学园地。

普朗克和爱因斯坦（A．Einstein）都利用熵原理作过出色的工作，它们扩大了熵的物理阵地，量子论的创始人之一--薜定谔（E．Schr6dinger）于1945年把熵又引入生物学。

20纪，信息论诞生了。

其创始人申农（C．E．Shannon）把通讯过程中信息源的讯号的不确定性称为熵（把消除了多少不确定性称为信息）。

据说这是接受了数学家冯·诺曼的建议。

由于通讯技术的迅猛发展，信息论很快成为一股研究热潮。

而熵概念的应用领域又获得了史无前例的扩展。

信息论针对通讯需要定义两个等概率状态对应的熵为一比特（Bit）的计值办法不仅在通讯中十分方便，而且在后来兴起的电子计算机技术中也以它作为计量存储量的基本单位。

可以看到，申农的工作使“熵”闯入了距其出生地非常遥远的概率论、通讯、计算机领域。

20世纪后半叶以电子计算机技术为代表的信息革命的兴起推进了与信息密切相关的熵概念的大扩展。

今天，议论熵正逐步成为一种时尚。

熵在今天早已不单独属于哪一个专门学科了。

50年代杰尼斯（E．T．Jaynes）用信息论中阐述的熵极大原理反回去论证由玻耳兹曼等人在上世纪导出的统计物理学中的正则分布。

这项工作一则把统计物理中的重要成果纳入信息熵的体系中，也说明了脱离了“热”的熵的一般原理的强大力量。

60年代最大熵谱的提出则是又一个应用实例。

气象学一直受惠于各种基础科学和技术科学。

流体力学，数学，计算机、气象卫星的应用都是其例。

我们认为熵概念与熵理论在气象学中的巧妙应用会把气象学再推进一步。

§2热力学熵

17世纪蒸汽机发明后，如何提高它的效率成了重要问题；卡诺对此的研究采用了分析理想热力过程的独到思路。

他给出的理想化的热机有一个高温热源向工作介质提供热量，介质把吸收的热量Q1的一部分变成了对外界作的功W，在把余下的热量Q2排向另一低温热汇以后工作介质又可再从高温处吸取热能。

显然功W与热量Q1，的比值也就是热机效率η

η=W/Q1（3．1）

卡诺的理想热机中的工作介质经过4个热力过程就又回到初始状态。

这就构成了一个完整的热力学循环。

4个过程中包括两个等温过程（吸热、放热）和两个绝热过程（压缩、膨胀）。

而这些过程的理想化含有一个重要含义：

它们可以沿着一个正方向进行，也可以反过来，即沿着相反的方向进行。

这就是所谓“可逆过程”。

从概念上讲只有无限缓慢的过程，才可能是可逆过程。

如以理想气体为工作介质，不难证明卡诺的理想热机的效率为

（3.2）

T1、T1、分别为高温热源和低温热汇的绝对温度。

根据能量守衡定律，显然循环一次对外作的净功W应为

W=Q1-Q2（3.3），

联立以上各式有

（3.4）

如果定义放出的热应当取负值，则上式要改成

（3.5）

此式说明可逆的卡诺循环过程完成后，工作介质吞吐的热与当时绝对温度比值的合计值是不变化的（功或热的合计值就是变的）。

克劳休斯基于Q/T的这一优良品质（在可逆的卡诺过程中）专门为它取了个名字，即现在称呼的熵（英文Entropy）。

它一般是用符号S表示。

如果一定的工作介质在进行着卡诺循环，其一个微小的元过程中在绝对温度T了下吸收了热量δQ，则我们就把熵的变化记为

dS=δQ/T（3.6）

因而一个完整的卡诺过程的熵值不变，就表示为

（3.7）

如果不是完成一个卡诺循环，而仅是分析某一段可逆的热力学过程，那么工作介质（分析的物质系统）的熵值的变化应为[见图（3.1]

（3.8）

这里的A，B分别表示两个热力学状态。

而熵的变化是可逆过程中初、终热力学状态的熵值的差。

这体现了它与过程的无关性，又显示了可以从可逆过程中吸收的热量δQ与当时温度的比值去计算这个变化量的大小。

图3.1介质的热力学状态从A-B

在很多计算中，人们关心的是上述变化量是多少。

而对于熵的绝热值究竟是多少并不计较。

不过在热力学中有一个热力学第三定律，它明确指出一切物质的温度达到绝对零度时，它的熵值就变成零了。

熵有了这个绝对标度再与其他物态方程联系起来就可以定出在各种温度压力下每摩尔化学物质的熵值。

从（3．6）式可以看出热力学熵的单位应当是焦尔/开（JK-1）。

它是针对一定的工作介质而言的。

有时针对每单位质量或每摩尔的工作介质的熵作分析，熵的单位变成了焦尔/克·开（J/g-1K-1）或焦尔/摩尔开（Jmol-1K-1）。

前者有时称为比熵，后者称为摩尔熵（我们常以小写的s表示）。

热力学熵的另一个重要特征是它在不可逆过程中要自行加大。

这时（3.6）式要改写成

dS>δQ/T（3.9）

这些涉及热力学第二定律的问题将在第五章讨论。

热力学熵在气象上的一个应用就是位温。

这放在下一章再介绍。

§3玻耳兹曼熵

把热理解为微观尺度的分子运动是19世纪物理学的一个进步。

与此对应，对热力学的熵是否也能提供一种微观的解释?

奥地利学者玻耳兹曼在19世纪70年代对此作了研究。

他发现熵的性质与物质系统处于平衡态时所对应的微观能量配置状态的可能实现办法的多少是有关的。

上述实现办法越多，熵也越大。

定量地讲如以Ω表示实现办法的个数，那么熵与Ω的对数值成正比。

这可写成

S=klnΩ（3.10）；

上式中S仍为该物质系统的热力学熵。

k是玻耳兹曼常数。

这个式子把一个纯热力学量——熵与微观状态的个数Ω联系了起来。

方程式右侧现在常被称为玻耳兹曼熵，或统计力学熵。

常数k的值是1.38×10-23J/K。

它是用气体常数R被1mol的分子个数去除而得到的。

在第五章我们再对（3.10）作解释。

§4信息熵

一枚硬币落在桌子上，事先能知道哪一面朝上吗?

不能。

一个骰子掷出去之前，能预知哪个点向上吗?

也不能。

这些实验在进行前我们是不知其结局的。

但对比以上两个实验的可能结局，可以看出两个实验的结局的不确定程度是有差别的。

预言硬币的正面向上会有50％的准确率，而预言“3”点向上的准确率仅有1/6。

这启示我们如果定量研究结局的不确定程度就应当它把与可能结局的个数，甚或每个结局的出现概率联系起来。

1928年统计学家哈特利（R．V．L．Hartley）就把等可能结局的个数n的对数值称为信息量。

现代信息论（关于通讯的数学理论）的创始人申农则把它称为不确定性（程度）。

文献中多以H表示某一实验结局的不确定程度。

这样就有

H=Clogn（3.11）

这里的常数C可以取任何值。

申农把前述随机事件结局的不确定性称为信息熵。

从（3．11）式看结局的可能个数n越大，不确定程度越大。

显然掷骰子的结局个数（6）比掷硬币的两个可能结局要多，所以前者的信息熵（10g6）就比后者大。

如果让你从一个袋子中，任意取一个球出来，而袋子里共有100个标号不同的球，那么这一实验进行前具有的不确定性就比掷骰子或掷硬币更大。

此时信息熵H=logl00。

如果共有n个等可能结局，那么每个结局的出现概率P就是1/n。

所以（3.11）式也可以写成

H=-Clogp（3.12）

这样信息熵就与概率问题初步联系起来。

信息熵计量的是随机实验的结局的不确定性。

自然界中存在着大量的随机事件，这些随机事件的出现概率如果并不相等，那么（3.12）式还难以应用。

把（3.12）式推广为各随机事件出现概率不尽相等时熵的计算式是申农的重要贡献。

他给的普遍形态下的熵的公式是

（3.13）

如果某一随机实验共有n个可能结局。

我们可以说集合A共有n个元素A={A1，A2，…，An}而每个元素都有一个出现概率（在随机抽样实验时）pi，（i=1，2，…，n），那么这种随机实验的结局的不确定性就由上式算出。

表3.1集合A中各元素出现的概率

元素名称

A1

A2

A3

…

An

出现概率

p1

p3

p3

…

Pn

值得补充的是上述求和由于是针对集合内的所有元素，所以其概率p的合计值应当等于l。

这就是概率论中讲的归一性。

对此可写成

（3.14）

例如某地的各种天气的出现概率如表3.2中给出的值，则依（3.13）式的熵公式可求得其熵值为0.66。

表3.2某地各种天气的出现概率

天气

晴

多云

阴天

小雨

中雨

大

雨

暴

雨

合计

概率

.36

.25

.21

.11

.04

.023

.007

1

在上述计算中我们人为地把常数C取为1。

此时求得的熵称为哈特利。

故某地的天气熵为0.66哈特利。

如果公式中对数的底不是10而是其他的值，根据对数换底公式这相当于改变常数C的值。

在科技文献中则常常用不同名称称呼不同对数底的熵值。

其名称还有比特、字节、纳特这几个。

它们的对数底、英文名、换算关系我们列于表3.3中。

表3.3几种信息熵的单位

中文名

英文名

缩写

对数底

换算关系

注

比特

Bite

bit

2

1bit=0.125B=0.301030Hartley

（1）

字节

Byte

B

256

1B=8Bite

（2）

哈特利

Hartley

Hartley

10

1Hartley=3.321928bit

（3）

奈特，纳特

Naturalunite

nat

e

1nat=1.44695Bit=0.434294Hartley

（4）

（1）计算机、通讯一般信息计算。

每秒传送的比特称为波特baud

（2）计算机存储量。

KB,MB,GB是它的1千、百万、10亿倍

（3）一般信息熵计算

（4）一般信息熵计算，尤其是连续型变量，统计物理

在概率论中，随机实验的结局如能用数值来表示，则称此变量为随机变量。

所以有时以p（xi）来代替（3．13）式中的pi。

这样熵公式（3.13）变成了下式。

（3.15）

符号H（X）表示H是随机变量X的熵。

p（xi）表示x取值为xi这种事件出现的概率。

有时也把它称为关于x的概率分布。

申农等人揭示了熵函数的一系列性质[3，4]’限于篇幅，这里不一一介绍了。

当把熵函数写成（3.15）式时其随机变量x可以是一般的标量，也可以是一个矢量。

当其为矢量时概率分布就由相应的矢量中各分量的联合概率分布所代替。

这种熵有时称为复合熵。

当随机变量y与随机变量x有关系时，除了有x，y的联合概率分布p（xi，yj）以外，还有当y已知时的x的概率分布，即所谓条件概率分布。

这常用p（X∣Y）表示之。

可用下面的（3.16）式计算对应的条件熵H（X∣Y）

（3.16）

此处的m代表y共有m个取值。

当x与y无关时H（XIY）=H（X），而在其他场合它都小于H（X），故有

（3.17）

以上介绍的随机变量的熵公式都是针对变量是离散值（可数的，不连续的）的场合来说的。

如果随机变量是连续型的变量，在多数场合可以仿（3.15）式把熵的公式写成

（3．18）

此式中f（x）是x的概率密度分布函数。

它在上下限之内（a，b）对x的积分也应当等于1（归一性）。

即也应有

（3．19）

对于连续型变量，由于有时也有条件概率密度分布函数f（x∣y）存在，所以有对应的条件熵H（X∣Y）存在。

这可写成

（3．20）

上述积分都应从x（或y）的下限积到上限。

对于连续变量的条件熵，它的最大值为无条件熵。

即（3.17）式对它也适用。

对于熵还有一种更为精练的提法，这就是把熵视为随机变量（如x）的函数-logp（x）的数学期望值（平均值）。

我们知道随机变量x的数学期望值E（x）实际上是

由于x确定以后p（x）的值也确定了，随之logp（x）的值也确定了，所以我们可以把p（x）或logp（x）看成x的函数。

考虑到x的函数Φ（x）的数学期望值应写成

所以熵公式（3.15）、（3.18）可写为

（3.21）

这表明熵是随机变量的一个特定的函数[-logp（x）]的平均值。

这种提法也帮助我们理解熵的含义。

对于条件熵，我们也能写出类似的表达式（从略）。

如果连续型随机变量x遵守正态分布，即

（3.22）

式中σ和a分别为其标准差和平均值。

即

（3.23）

（3.24）

则x的熵可以依（3.18）式求得为

nat（3.25）

这里e=2.71828。

所以当已知某变量遵守正态（高斯）分布时，只要知道它的标准差值（均方差）是多少，即可求出它的熵。

而其平均值对此并不起作用。

连续型随机变量x如果经过一次函数变换变成了另一个连续型的变量y，那么y的熵值H（y）可由下式求得[5]：

（3.26）

如果已知某地的风速（x）的概率密度分布函数为f（x），当求单位质量空气的动能的熵值时即可利用动能为（1/2）x2的关系代入上式求动能的熵[见（4.3）节]。

特别地，当y与x为线性关系时，即有

y=ax+b（3.27）

关系时（a,b为常数）（3.26）式简化为

（3.28）

这个式子在单位变换中是经常用到的。

这一点显示出连续变量的计量单位变了，求得的熵也要变。

由此引申出“负熵”问题，“连续变量”的绝对熵问题将移到负熵一节再讨论。

§5熵与分布

利用公式（3.15）或（3．18）我们可以在已知具体的概率分布函数时把它对应的信息熵值是多少计算出来。

换句话说：

每一个概率分布都对应着唯一的一个信息熵值

上述结论对我们以后的讨论是十分重要的。

上述说法也可以简述为熵是概率分布这个函数的函数。

这里熵的值不是像一般函数关系那样由另一个变量的值决定，而是由一个函数决定。

函数形式变了，熵值也变了。

数学上把其取值由另一个函数所决定的关系称为泛函。

即函数的函数。

所以也可以说熵是概率分布的泛函。

一个随机变量的平均值的大小显然是与该变量取各种值的概率分布有关。

所以平均值也是概率分布的泛函。

在第一章介绍了一些似乎与概率分布无关的分布问题。

但是一经分析发现它们对应的相对分布函数实际上是与一个概率密度分布函数对应（等价）的。

这样，我们又可以进一步说：

每一个分布函数都对应着唯一的一个信息熵值。

依此思路不难看到第一、二章介绍的众多的分布函数都与熵有着联系。

正是这种联系为把熵的原理引入气象分布的成因分析找到了途径。

§6物理场的熵

熵这个概念在热力学中都是针对具体物质而言的。

这一节则沿着熵与分布对应的思路把熵与物理场联系起来。

我们想指明：

一切的物理场都对应一个熵值

实际上只要看到每个物理场中必然存在着一个分布函数，利用上一节指出的每个分布函数都对应着一个熵，就可以把这个熵定义为物理场的熵。

一般地说，如果某一特定的空间（三维，也可以仅是一、二维）中的每一个点就某物理量（如气压、温度、电位……）而言在某一瞬间仅有唯一的值。

而且不同的几何点上这个值不尽相同，就把这个空间称为是个物理场。

温度在大气中的分布、区域天气图上的等压线分布、某地的测风、探空纪录，反应炉内各处的某化学成分的分布、土壤中不同部位的细菌个数、电核四周的电场分布都可以归入物理场的概念内。

所谓特定的空间，一般地说，它的体积（面积、长度）都是指有限值。

按第一章第二节的作法，把这个空间分成充分多的N块，每块要足够小，使研究的物理量仅有唯一值，这样不难求出物理量取各种值者各占了多少。

其作法与一章二节介绍的完全一样，我们就得到了关于物理场的分布函数。

把这个函数变成概率分布函数就可以依信息熵的公式[即（3.15）或（3.18）]求出一个熵值。

这个熵就与物理量在物理场中的分布有关。

把它称为物理场的熵是很自然的。

而一旦我们把上述熵称为物理场的熵，也就把熵概念从实在物质扩大到物理场了。

与热力学熵相比，这向前跨出了一步。

文献[6]在1986年首先提出了物理场熵一词。

而众多气象要素场的分布都是形成这种认识的实例。

（3.15）或（3.18）式中都含有一个待定系数C。

我们也曾从对数的底取不同值（如2，10，e）的角度讲过C值的调节作用。

但是应当指出仅这么讲是不够的。

参数C隐含的意义尚未全部揭示出来。

在热力学中人们说熵是个广延量。

如果1克物质的熵为x，那么m克物质的熵就是mx。

在信息论中不讲广延性。

但是如果每一个讯号的不确定性（不肯定性）为x（即熵为x）则m个讯号的信息熵也是mx。

图3．2夹角为α的扇区的物理场的

熵为圆区熵值的α/2π倍

（图中圆为等温线）

把以上思路用到物理场熵上对我们是有启示的。

为了体现熵的广延性，我们可以把常数C写成与物理场的体积相当的量，这样两个物理场如果某物理量在其中都遵守同样的概率分布（如都是正态分布），那么体积大的物理场的熵就依体积比值而有更大的熵值。

换言之，物理场熵片的公式宜由（3.15）、（3.18）式改成（离散和连续）

（3.29）

V这里代表物理场的体积（有时是面积或长度）。

而C’则代表与体积无关的常数。

在气象学中的一些物理场，我们可以说成某参量（如温度）在空间中的分布，也可以看成某参量（如温度）在大气物质中的分布。

当我们把大气分成相等的N块时是分成体积相等的N块还是分成大气质量相等的N块?

大家知道这两种分法并不等价（密度差别太大）。

由于我们实质上还是研究大气物质，所以具体计算中我们都按质量来计算。

即求得的分布函数是对大气质量而言的不是对体积而言的。

如果分布函数是对质量而言的，（3.29）式中的V应当改由物质系统的质量值m来代替。

也可以说（3.29）式中的V泛指体积、面积、长度或质量。

这由分布函数是在哪个对象上求得的去决定。

（3.29）式中的C’是供进一步调协、对比用的参数。

如不涉及与其他类型的熵（如热力学熵）的对比，可以令C’=1。

否则它取什么值，采用什么量纲都尚值得进一步研究决定。

物理场的熵是一个值，这决不是说物理场内每一个点有一个场熵值，它测度了整个场的状态的丰富（复杂或混乱）程度。

如场内某物理量的值在每个点都相同，则可以算出它的熵为零——状态最简单。

§7“负熵”

在近十年来的文献中不仅“熵”字出现的频率加大了，而且“负熵”一词也被广为使用。

笔者认为不作具体计算，泛泛地说那里负熵增多等等，实际已经在很大程度上引起了学术思想的混乱。

用模糊不清的概念去推论事物只能把问题弄得更混乱而不能推进科学进步。

在这里我们就负熵问题谈几点看法。

7．1概率分布计算中引出的负熵

对离散变量的任何概率分布都保证求得的熵值永为正（或零）。

从其公式（3.13）、（3.15）看，式中的概率p介于0和1之间，这使其对数值必然≤0。

把它们与公式前的负号相乘，恰好保证熵不会为负值。

但是对连续型的变量的熵公式，如（3.18）式，情况就不同了。

概率密度f（x）的值不仅不会限于0到1之间，而且x的计量单位的大小都对f（x）的值有影响。

此外x的因次还不能进入算式，否则消不掉。

这些情况有时会导致求得的熵为负值。

今以某变量x遵守正态分布为例来说明上述问题。

设x的标准差为2米（m）代入其求熵公式（3.25）可得熵值

。

计算时我们仅能把x的单位m留在公式之外。

现在求得的熵是个不大的正值。

如果x的标准差改以cm为单位则

，即H=4.411即大了lnlO。

反之，改以公里为单位，则

，即H=2.11+h10-3=4.80。

现在的熵真的变成了负值!

不过这个例子表明熵究竟应当是多少,几乎失去了客观意义，而完全由计算者选用的单位自由调整。

在数学家看来依（3.18）式求得的量就没有资格称为熵[7]（有时称为微分熵）。

它既然连熵的资格都不具备，我们也就不必对其出现负值而说出了负熵了o这也算我们回绝负熵问题的一个对策（尽管

它令人不甚满意）。

数学家对连续变量的熵的严正态度是有道理的。

他们还会举出另一些连续变量的概率分布会导致熵变成无限大的例子。

在我们给的算例中，如果变量标准差值的计量单位充分小，熵也会充分大。

这显然也能得出类似结论。

在70年代写就的文献[8]中笔者曾对此从“妥当选择计量单位”角度对此给了解释。

现在看来它也还实用，从物理角度看也说的过去。

不过在数学家指出连续变量熵的天然缺陷和回顾两个世纪物理学思潮的进步之后，又会使我们从这里看到另一层近乎揭开的物理世界的秘密。

这就是众多的物理量都应当是量子化（离散化）的。

如果研究的物理量是量子化的，那么在物理上小于其基本量子的计量单位就不合理。

而这个基本量子本身的绝对性保证了计算熵时如果以它为单位，得到的熵值也有绝对意义。

19世纪初提出了科学的原子学说，它说明质量是离散的、量子化的。

电子的发现说明电量是不连续的。

而普朗克和爱因斯坦则证明能量也是量子化的。

物理世界中量子（离散）化观点的节节胜利使我们易于接受客观物质的状态是不连续变化的、量子化的观点。

而这种观点就要求我们像曾经承认原子、电子，光子那样承认其他物理参数也有最小计量单位（参见第七章第六节）。

从原则意义上讲熵的计量单位不