1.3.3 离散信源的信息量 非等概率出现的离散消息的度量

来源:百度文库 编辑:神马文学网 时间:2024/04/19 23:53:18
1.3.3 离散信源的信息量
二、非等概率出现的离散消息的度量
设离散信息源是由个符号组成的集合,称为符号集。符号集中的每一个符号在消息中分别按概率独立出现,又设符号集中各符号出现的概率为

所包含的信息量分别为。则每个符号所含信息量的统计平均值,即平均信息量为

由于和热力学中的熵形式相似,故通常又称它为信息源的熵,其单位为bit/符号。