宏观态的概率和熵

计算机程序可以拷贝，遗传密码也需要转录和复制。据估计，DNA中复制每一bit的能耗仅100 kT，这是当代最先进的微电子元件能耗的百万分之一。

DNA双螺旋每股都右向盘绕，股线直径2×10^-7cm，每圈间距10个核苷酸对，这相当于20bit的信息量。1μm的DNA约有300圈，即6000bit信息量。对于简单的生命，如病毒，其环状DNA长度为（1.5～80）μm，信息量的数量级在（10⁴～10⁵）bit之间；细菌的DNA长度可达1mm，含信息量10⁷bit；对于人类，46条染色体中DNA总长2m，含信息量达10¹⁰bit之多。像我们这本300多页的书约含10⁶个字符，若用来记载人体DNA密码，每字符2bit，需要5000册。这已经是汗牛充栋的巨帙了，若想把自然界几十亿个物种的遗传密码都记录下来，需要怎样大的图书馆才容得下呀！

地球的年龄为46亿年，30多亿年前开始出现生命。从上述情况看，生命从最简单的形式开始就采取了基因进化的方式，信息的储存和传递在加速生物物种的进化方面起了不可估量的作用。

总之，DNA遗传密码历史之悠久，信息量之巨大，运作机制之精巧，复制能耗之节省，都令我们叹为观止。大自然确是运用信息论最杰出的能手！

 宏观态的概率和熵

设所有的ga 1，Na 1，利用斯特令公式（stirling formula）

lnN！≈NlnN-N，（N 1）

得到下列近似式；

再看费米子。对于某个能级a，在给定其中粒子数后，总量子态的数目Ω_a就是把N_a个没有区别的粒子单个地安插到g_a个盒子（单粒子态）内的排列数：

气体的总量子态数目Ω是各能级量子态数目的乘积：

取上式的对数：

设所有的g_a 1，N_a 1，g_a-N_a 1，就可利用斯特令公式得下列近似式：

na 1时ln（1±na）≈±na，（2．117）式和（2．119）式都化为

即两量子统计的H=-lnΩ趋于同一经典极限（2.55）式。

我们看到，玻耳兹曼H函数就是量子态数目Ω的负对数，H下降就是Ω上升，H的极小就是Ω的极大。所以H定理意味着：从非热平衡态趋于热平衡态的过程是量子态数目Ω单调上升到极大的过程。而这一点又该怎样理解？原来Ω意味着概率，请看下面的比喻。

掷一个骰子，从1到6每面出现的概率是1／6．同时掷两个骰子，点数的总和可以从2到12，但概率就不等了。例如，掷出总数为2只有一种可能性，即两个骰子都是1，概率是1／6×1／6=1／36．要掷得总数为3，有两种可能性：1+2和2+1，概率是2／36=1／18．以此类推，出现各种总数的概率如图2－28所示，其中出现总数为7的概率最大，它等于6／36=1／6，因为出现这情况有6种可能性：1+6，2+5，3+4，4+3，5+2，6+1．假如你和人家打赌，两骰子总数出现几？你就该押在7上。我们把两骰子点数之和为某个特定数（譬如7）叫做一个“事件”，把出现特定总数的每种可能性叫做一个“元事件”。元事件出现的概率叫做“元概率”，在这里都是1／36．各事件往往由数量不等的元事件组成，它们的概率正比于元事件的数目。

与上述例子类比，一个宏观系统，譬如我们所考虑的理想气体，它的粒子数出现某种分布，这是一个事件。体现这种分布的一个量子态，是一个无事件。我们假定，每个量子态出现的概率，即元概率是相等的。所以出现某种粒子数分布的概率正比于其中量子态的数目Ω．在物理学里出现一种粒子数分布的事件代表一个宏观态。推而广之，任何一个宏观态都包含大量的量子态，宏观态出现的概率正比于其中量子态的数目Ω．

这里可能会有个疑问，为什么元概率相等？这不是理论问题，应该由实验的结果来证实。我们大量地掷骰子，如果出现各种事件的频率确实符合图2－28中所示的概率分布，我们就相信元概率相等的假设。若出现系统的偏离，我们就不得不怀疑骰子被灌了铅。在统计物理学中把各量子态的元概率相等，称为“先验的等概率假说”，亦即把这个假说作为统计物理学的基本前提，不再作任何进一步的解说，把它的正确性交给实验去检验。当代大量的实验结果都与统计物理学理论的预言符合得非常好，所以我们相信，制订统计物理游戏规则的那位“上帝”是个诚实的赌徒，他没有在骰子里灌铅。

有了概率的概念，我们就可以说，粒子数的平衡分布是最概然分布（most probable distribution）。热平衡态是出现概率最大的宏观事件。大到什么程度？

我们以麦克斯韦_玻耳兹曼分布为例作个估计。假定{n_a0}是平衡分布，它满足（2．52）式：

令a=0是能级中最低的能级，则ln（n_a0/n₀₀）=β（ε₀-ε_a）．设想粒子数分布对平衡态有所偏离：

n_a=n_a0（1+δ_a），（δa 1）

但保持总粒子数N和总能量E不变：

现在来计算此分布的概率Ω与平衡分布概率Ω₀之比。

≈10^-20，Ω／Ω₀也会有e^ˉ1000≈10^ˉ434之小。这几乎难以令人置信。如此小的偏离，在宏观实验中是很难察觉的，它们的概率竟小到几乎不可能出现。因此我们得出这样的结论：一个宏观系统巨大数量的量子态中，绝大部分处于最概然分布附近极其狭窄的区域里一组相对说来极少的分布中，它们在实验中表现出相同的宏观性质。

玻耳兹曼熵关系式

尽管分子的微观动力学是可逆的，但大量的事实告诉我们，宏观过程是不可逆的。热量总是从高温物体传到低温物体，而不会自发地倒过来；俗话说，覆水难收，如果你把一杯水倒进一桶水里，你再也无法取回同样的一杯水来。什么道理？这是概率在起作用。温度或物质不均匀的分布是非平衡态，而均匀分布是平衡态，前者的概率比起后者是微乎其微的，所以前者向后者自发地过渡很自然，而后者向前者过渡的概率之小，堪称旷世奇迹。宏观的热力学理论中把这一切归结到一条定律中，即热力学第二定律（见第四章），并引进了“熵”这样一个物理量来刻画它。按热力学第二定律，没有外部的干预，一个孤立系统的熵只能自发地增加，而不会减少。处于热平衡态时熵达到极大，这就是所谓“熵增加原理”。然而，在宏观的理论框架里熵的本质是看不清楚的，玻耳兹曼在引进H函数之后给了熵（记作S）一个微观的定义，即

S=klnΩ，（2．122）

上式中的k是玻耳兹曼常量，Ω就是微观量子态的数目，即宏观态出现的概率。不难看出，熵与H的关系是S=-kH，即H相当于负熵。从上面的分析可见，熵增加原理的本质是概率的法则在起作用。

有关热学中的熵我们以后（特别是在第四章里）还要详细讨论，这里就暂且打住，只把上面得到的公式归纳一下，以便查考。从（2．55）和（2．73）H函数的表达式，或（2．117）、（2．119）和（2．120）lnΩ的表达式，我们得到三种统计分布熵的表达式：

信息熵与遗传密码

大家都说，当代的社会是信息社会。什么是信息？早年间信息不过是消息的同义语，现代的社会里信息的概念甚广，不仅包含人类所有的文化知识，还概括我们五官所感受的一切。信息的内容既有量的差别，又有质的不同。短短的一首名诗和一本无聊的作品相比，所含信息的价值是无法比拟的。对信息价值的评估，显然超出了自然科学的范围，目前尚没有为大家所接受的客观准则。不得已求其次，采用电报局的办法，只计字数不问内容，单在信息量的问题上下功夫，这正是当代“信息论”这门科学的出发点。

信息往往需要以语言文字或符号系统（如音符、数学公式、图表）为载体，比较不同载体传达的信息数量的多寡，是很困难的。1948年信息论的创始人香农（C．E．Shannon）从概率的角度给出信息量的定义。

平常说缺乏信息就是情况不明。譬如说，想找一个人，只知道他住在这幢宿舍楼里，但不知道房间号。如果这幢楼有50套房间，我们只能假定他住在每套房间的概率都是1／50．若有人说，此人住在三层。如果这幢楼有5层，每层10套房，则此人住在三层每套房间的概率加大到1／10，而住在其它层的概率减为0。若最后打听到此人的房间号码，则他住在这里的概率加大到1，在所有其它地方的概率都化为0。由此可见，信息的获得意味着在各种可能性中概率分布的集中。

通常的事物常具有多种可能性，最简单的情况是具有两种可能性，如是和否、黑和白、有和无、生和死等。现代计算机普遍采用二进制，数据的每一位非0即1，也是两种可能性，在没有信息的情况下每种可能性的概率都是1／2。在信息论中，把从两种可能性中作出判断所需的信息量叫做1比特（bit），这就是信息量的单位，那么，从四种可能性中作出判断需要多少信息量？

两人玩一种游戏，甲从一副扑克牌中随机地抽出一张，让乙猜它的花色，规则是允许乙提问题，甲只回答是与否，看乙能否在猜中之前提的问题最少。若乙问：是黑桃吗？如果是，他提一个问题就猜中了。如果不是呢？则还剩下三种可能性，再提一个问题乙没有把握猜中。这种问法是不行的。乙应该提“是黑的吗”和“是桃吗”两个问题，无论什么情况，他必中无疑，因为得到一个问题的答案后，他只面临两种可能性，再一个问题就足以使他获得所需的全部信息。所以从四种可能性中作出判断需要2bit的信息量。

如此类推，从八种可能性中作出判断需要3bit的信息量，从十六种可能性中作出判断需要4bit的信息量，等等。所以一般地说，从N种可能性中作出判断所需的比特数为n=log₂N，换成自然对数，则有n=KlnN，式中K=1／ln2=1.4427．如果用概率来表达，在对N种可能性完全无知的情况下，我们只好假定，它们的概率P都是1／N，lnP=-lnN，即这时为作出完全的判断所缺的信息量为

S=-KlnP．（2．126）

香农把这叫做信息熵，它意味着信息量的缺损。

以上是各种可能性概率相等的情况。天气预报员说，明天有雨，这句话给了我们1bit的信息量。如果她说有80％的概率下雨，这句话包含多少信息量？对于这种概率不等情况，信息论中给信息熵的定义是

此式的意思是说，如果有a=1，2，…，N等N种可能性，各种可能性的概率是P_a，则信息熵等于各种情况的信息熵-KlnP_a按概率P_a的加权平均。如果所有的P_a=1/N，则上式归结为（2．126）式。

把（2．127）式运用到上述天气预报的问题上，令a=1和2分别代表下雨和不下雨的情况，则P₁=0.80，P₂=0.20，按（2．127）式信息熵为

即比全部所需信息（1bit）还少0.722bit，所以预报员的话所含的信息量只有0.278bit．同理，若预报员的话改为明天有90％概率下雨，则依上式即可算出信息熵S=0.469，从而这句话含信息量I=1-S=0.531bit．可见，信息熵S的减少意味着信息量I的增加。在一个过程中△I=-△S，即信息量相当于负熵。

从信息熵的公式不难看出，它和玻耳兹曼的熵公式极为相似，只是比例系数和单位不同。热学里比例系数为k=1.381×10^ˉ23J／K，从而熵的单位为J／K；信息论里比例系数为K=1／ln2，熵的单位为bit。两者相比，有

1bit=kln2J/K=0.957×10^-23J/K．（2．128）

这换算关系有什么物理意义吗？热力学的熵增加原理告诉我们，要使计算机里的信息量存储增加一个bit，它的熵减少kln2J／K，这只能以环境的熵至少增加这么多为代价，即在温度T下处理每个bit，计算机至少消耗能量kTln2焦耳。这是能耗的理论下限，实际上当代最先进的微电子元件，每bit的能耗也在10⁸kT的数量级以上。

“龙生龙，凤生凤，老鼠的儿子会打洞。”大自然最精彩的杰作莫过于物种的变异和遗传。早在1944年量子力学的创始人之一薛定谔（E．Schrödinger）就在他著名的小册子《生命是什么？》里预言：“生命的物质载体是非周期性晶体，遗传基因分子正是这种有大量原子秩序井然地结合起来的非周期性晶体；这种非周期性晶体的结构，可以有无限可能的排列，不同样式的排列相当于遗传的微型密码；……”他所说的这种“非周期性晶体”，就是存在于细胞核染色体中的DNA分子。1953年沃森（J．D．Watson，年青的细菌遗传学博士）和克里克（F．H．C．Crick，一位二战前受过传统物理学训练的人，战后转为生物物理学研究生）共同发现了DNA分子的双螺旋结构，它由两股互补的逆平行分子链组成（见图2—30）。分子链由四种核苷酸组成，每种核苷酸有它特有的碱基，所以也可以说分子链是有四种碱基组成的，它们是腺嘌呤（A）、鸟嘌呤（G）、胸腺嘧啶（T）、胞嘧啶（C），遗传信息就包含在A、G、T、C这四个字母编写的语言中。

英文有26个字母，若干字母组成一个单词。遗传密码有4个字母，多少个字母组成一个单词？生物大多数的遗传性状都要通过各种蛋白质表现出来。蛋白质的种类繁多，单就人体内有的就不下10万种，但它们都由20种氨基酸组成，只是排列结构不同。log220=4.322bit，决定一种氨基酸至少需要这么多的信息量。DNA含有的遗传信息指挥着蛋白质合成时的氨基酸顺序，这密码中的一个字符只包含log24=2bit的信息，显然不足以决定一种氨基酸。两个字符log242=4bit也不够，三个字符log243=6bit就有得多余了。20世纪50年代核物理学家伽莫夫（G．Gamow，大爆炸宇宙论的创始人）用信息论的方法推测，20种氨基酸取决于核苷酸三联密码，即DNA这部分所用的语言中，每个单词都是用三个字母组成的。这些推测相继得到实验证实，20世纪60代年三联密码逐一被破译。

计算机程序可以拷贝，遗传密码也需要转录和复制。据估计，DNA中复制每一bit的能耗仅100 kT，这是当代最先进的微电子元件能耗的百万分之一。

DNA双螺旋每股都右向盘绕，股线直径2×10^-7cm，每圈间距10个核苷酸对，这相当于20bit的信息量。1μm的DNA约有300圈，即6000bit信息量。对于简单的生命，如病毒，其环状DNA长度为（1.5～80）μm，信息量的数量级在（10⁴～10⁵）bit之间；细菌的DNA长度可达1mm，含信息量10⁷bit；对于人类，46条染色体中DNA总长2m，含信息量达10¹⁰bit之多。像我们这本300多页的书约含10⁶个字符，若用来记载人体DNA密码，每字符2bit，需要5000册。这已经是汗牛充栋的巨帙了，若想把自然界几十亿个物种的遗传密码都记录下来，需要怎样大的图书馆才容得下呀！

地球的年龄为46亿年，30多亿年前开始出现生命。从上述情况看，生命从最简单的形式开始就采取了基因进化的方式，信息的储存和传递在加速生物物种的进化方面起了不可估量的作用。

总之，DNA遗传密码历史之悠久，信息量之巨大，运作机制之精巧，复制能耗之节省，都令我们叹为观止。大自然确是运用信息论最杰出的能手！