1.3.4 连续消息的信息度量

来源：百度文库 编辑：神马文学网 时间：2024/04/23 18:50:40
1.3 信息及其度量
1.3.4 连续消息的信息度量
由抽样定理可知，如果一个连续信号的频带限制在0到赫兹内，则该连续信号完全可用间隔为的抽样序列无失真地表示。
我们来考察每个抽样点所包含的信息量，为与离散消息中每个符号所携带的信息量相对应。可把连续消息看成是离散消息的极限情况。连续消息信号在每个抽样点上的取值是一个连续的随机变量，其一维概率密度函数为。我们将随机变量的取值范围分成2小段，当足够大时，取值落在小段内的概率可近似表示为

根据信息熵的概念，可得各抽样点统计独立时每个抽样点所包含的平均信息量
(1.3-3)
令，则可得连续消息每个抽样点的平均信息量

上式中的第2项为无穷大。但在计算熵变化或比较不同连续消息的熵时，由于这一项始终出现而可相互抵消。因此，我们定义连续信息的平均信息量
(1.3-4)
为了区分，有时把式(1.3-2) 的计算结果称为绝对熵，而把式(1.3-3)的计算结果称为相对熵。
1.3.4 连续消息的信息度量 1.3.4 连续消息的信息度量 1.3.3 离散信源的信息量 非等概率出现的离散消息的度量 1.3.3 离散信源的信息量 非等概率出现的离散消息的度量 第一章 绪论 1.3 信息及其度量 第一章 绪论 1.3 信息及其度量 等概率出现的离散消息的度量 等概率出现的离散消息的度量 四 -- 怎样度量信息? 数学之美系列 4 -- 怎样度量信息? 数学之美系列 4 -- 怎样度量信息? 第一章 绪论 1.3.1 信息、消息及信号的基本概念 极品人生的度量 武则天的度量 角的度量 华应龙 关于连续(系列)报道信息整合的思考 第一章 绪论 1.3.1 信息、消息和信号 角的度量 片断赏析 第八部分：度量知识分享的收益 数据的概括性度量之集中趋势 ＣＳＳ基础教程之度量单位的选择 第八部分：度量知识分享的收益 角的度量 教学设计和反思 世界VS中国贸易战信息(汇总连续)