离散信源的信息量

来源：百度文库 编辑：神马文学网 时间：2024/04/20 17:42:38
第一章 绪论
1.3 信息及其度量
1.3.3 离散信源的信息量
在通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息包含更多的信息。例如，北京的秋天常常是秋高气爽，因此在这个季节里如果天气预报说:“明天白天晴”,人们习以为常，因而得到的信息量很小。但若天气预报说:“明天白天有雪”,人们将会感到十分意外，后一条天气预报给人们的信息量比前一条大，因为在秋天出现这种气候的可能性极小。从这个例子，我们可以看出，消息出现的可能性越小，则此消息中携带的信息量就越多。
概率论告诉我们，事件的不确定程度，可以用其出现的概率来描述。也就是说，事件出现的可能性愈小，则概率就愈小;反之，则概率就愈大。因此，消息中的信息量与消息发生的概率密切相关，消息出现的概率愈小，则消息中包含的信息量就愈大。如果事件是必然的，即发生的概率为1,则它传递的信息量应为零;如果事件是不可能(概率为0)，则它将有无穷的信息量。如果我们得到不是由一个事件构成而是由若干个独立事件构成的消息，那么我们得到的总的信息量，就是若干个独立事件的信息量的总和。
基于上述考虑，为了计算信息量，消息中所含的信息量I与消息出现的概率间的关系式应当反映如下规律:
消息中所含的信息量I是该消息出现的概率的函数，即

消息出现的概率愈小，它所含的信息量愈大;反之信息量愈小，且当=1时，I =0。 若干个互相独立事件构成的消息，所含信息量等于各独立事件信息量的和，即

可以看出，若I与的关系式为

就可满足上述要求，哈特莱首先提出采用消息出现概率的对数测度作为离散消息的信息度量单位。
信息量的单位的确定取决于上式中对数底a的确定。当对数以2为底时，则信息量的单位为比特(bit);对数以e为底时，信息量单位为奈特(nit);当对数以10为底时，信息量的单位称为哈特莱。目前应用最为广泛的单位是比特。
离散信源的信息量 离散信源的信息量 1.3.3 离散信源的信息量 非等概率出现的离散消息的度量 1.3.3 离散信源的信息量 非等概率出现的离散消息的度量 谈话中信息量的大小 来自另一世界的信息量 离散制造业的ERP有何特点 离散制造业的ERP有何特点 离散和流程制造的区别 全世界2天产生的信息量，自动过滤信息 数字电视信源编码的主要技术与标准 等概率出现的离散消息的度量 等概率出现的离散消息的度量 毛泽东临终的岁月 “万岁”的背景是妻女离散 离散制造业的ERP有何特点_ERP 毛泽东与贺子珍离散的两女儿终于找到了 比特 （bit) 信息量单位 数字电视信源编码的主要技术与标准 [转帖][数字电视中文论坛] 我国有线电视信源编码现有体制和对高清的制约 信源编码分类 几种常用的离散型概率分布的数学背景 离散傅里叶变换1----解释的最透彻的|包括定义物理意义以及使用注意事项 离散傅里叶变换----解释的最透彻的|包括定义物理意义 虚拟空间起起落落。堆积和离散，用户 隐性基因 = 更大的成功概率 - — 路线图 — ...