第一章 绪论 1.3.1 信息、消息及信号的基本概念

来源:百度文库 编辑:神马文学网 时间:2024/04/27 19:17:16
第一章 绪论
1.3 信息及其度量
基本概念:信息、消息和信号
基本规则:
消息中所含的信息量I与消息出现的概率间的关系:

基本内容:
消息的统计特性
消息可以分为两大类,即离散消息和连续消息。产生离散消息的信源称为离散信源,产生连续消息的信源则称为连续信源。
离散信源只能产生有限种符号,因而离散消息可以看成是一种有限个状态的随机序列,它可以用离散型随机过程的统计特性来描述。
连续信源可能产生的消息数目是无限的,其消息取值也是无限的,必须用概率密度函数才能反映其统计特性。消息各点之间的统计关联性可用二维甚至多维概率密度来描述。我们通常只考虑各态历经的平稳随机过程。
离散信源的信息量
等概率出现的离散消息的度量
非等概率出现的离散消息的度量
连续信源的信息量