第一章 绪论 1.3.1 信息、消息和信号
来源:百度文库 编辑:神马文学网 时间:2024/04/18 04:44:12
第一章 绪论
1.3 信息及其度量
1.3.1 信息、消息和信号
通信系统的任务是传递信息,为了衡量通信系统的传输能力,需要对被传输的信息进行定量的测度。
让我们先来看一下信息、消息和信号的概念及三者之间的关系:
基本概念:信息、消息和信号
信息、消息和信号的关系
信息是指消息中所包含的有意义的内容,消息是信息的载体,消息又是以具体信号形式表现出来的。
不同形式的消息,可以包含相同的信息。:分别用语音和文字发布的新闻,所含信息内容相同。如同运输货物的多少采用货运量来衡量一样,传输信息的多少使用信息量来衡量。
下面,我们就来讨论信息是如何度量的。
1.3.2 消息的统计特性
消息可以分为两大类,即离散消息和连续消息。产生离散消息的信源称为离散信源,产生连续消息的信源则称为连续信源。
离散信源只能产生有限种符号,因而离散消息可以看成是一种有限个状态的随机序列,它可以用离散型随机过程的统计特性来描述。
假设离散信源为包含种符号的集合,每个符号出现的概率分别为,,,则可以用概率场
来描述信息源。例如,英语中26个字母及单词间空格的出现概率如表1-1示。
表1-1 英文字母出现概率
符号
概率
符号
概率
符号
概率
空格
0.20
s
0.052
y,w
0.012
e
0.105
h
0.047
g
0.011
l
0.072
d
0.035
b
0.0105
o
0.0654
i
0.029
v
0.008
a
0.063
c
0.023
k
0.003
n
0.059
f,u
0.0225
x
0.002
l
0.055
m
0.021
j,q,z
0.001
r
0.054
p
0.0175
一般情况下,离散信号中各符号的出现并不是独立的,而常常是相互关联的。当前出现的符号,其概率与先前出现过的符号有关,即必须利用条件概率来描述离散消息。为了简化,通常只考虑前一个符号对后一个符号的影响。这是一个马尔可夫链问题,可以利用转移概率矩阵
来描述。
连续信源可能产生的消息数目是无限的,其消息取值也是无限的,必须用概率密度函数才能反映其统计特性。消息各点之间的统计关联性可用二维甚至多维概率密度来描述。我们通常只考虑各态历经的平稳随机过程。
1.3 信息及其度量
1.3.1 信息、消息和信号
通信系统的任务是传递信息,为了衡量通信系统的传输能力,需要对被传输的信息进行定量的测度。
让我们先来看一下信息、消息和信号的概念及三者之间的关系:
基本概念:信息、消息和信号
信息、消息和信号的关系
信息是指消息中所包含的有意义的内容,消息是信息的载体,消息又是以具体信号形式表现出来的。
不同形式的消息,可以包含相同的信息。:分别用语音和文字发布的新闻,所含信息内容相同。如同运输货物的多少采用货运量来衡量一样,传输信息的多少使用信息量来衡量。
下面,我们就来讨论信息是如何度量的。
1.3.2 消息的统计特性
消息可以分为两大类,即离散消息和连续消息。产生离散消息的信源称为离散信源,产生连续消息的信源则称为连续信源。
离散信源只能产生有限种符号,因而离散消息可以看成是一种有限个状态的随机序列,它可以用离散型随机过程的统计特性来描述。
假设离散信源为包含种符号的集合,每个符号出现的概率分别为,,,则可以用概率场
来描述信息源。例如,英语中26个字母及单词间空格的出现概率如表1-1示。
表1-1 英文字母出现概率
符号
概率
符号
概率
符号
概率
空格
0.20
s
0.052
y,w
0.012
e
0.105
h
0.047
g
0.011
l
0.072
d
0.035
b
0.0105
o
0.0654
i
0.029
v
0.008
a
0.063
c
0.023
k
0.003
n
0.059
f,u
0.0225
x
0.002
l
0.055
m
0.021
j,q,z
0.001
r
0.054
p
0.0175
一般情况下,离散信号中各符号的出现并不是独立的,而常常是相互关联的。当前出现的符号,其概率与先前出现过的符号有关,即必须利用条件概率来描述离散消息。为了简化,通常只考虑前一个符号对后一个符号的影响。这是一个马尔可夫链问题,可以利用转移概率矩阵
来描述。
连续信源可能产生的消息数目是无限的,其消息取值也是无限的,必须用概率密度函数才能反映其统计特性。消息各点之间的统计关联性可用二维甚至多维概率密度来描述。我们通常只考虑各态历经的平稳随机过程。
第一章 绪论 1.3.1 信息、消息和信号
第一章 绪论 1.3.1 信息、消息及信号的基本概念
第一章 绪论 1.3 信息及其度量
第一章 绪论 1.3 信息及其度量
第一章 绪论
第一章 绪论
第一章 绪论
第一章 绪论 1.1.1 通信系统的一般模型
第一章 绪论 1.1.1 通信系统的一般模型
王惠岩《政治学原理》笔记_第一章 绪论
1.3.4 连续消息的信息度量
1.3.4 连续消息的信息度量
委托、信号和消息反馈的模板实现技术
八字绪论1
第一章 绪论 1.1.2 模拟通信系统模型
关于消息和消息队列
大众医药网 - 文献资料 - 第一章 绪论-
-第一节 中国医药学发展概况 消息和做庄 消息传递和 Java 消息服务(JMS) 消息传递和 Java 消息服务(JMS) 八字绪论 微生物学 绪论 绪论-辅导 信息加工者穆兴国:"消息+分析"赚快钱
-第一节 中国医药学发展概况 消息和做庄 消息传递和 Java 消息服务(JMS) 消息传递和 Java 消息服务(JMS) 八字绪论 微生物学 绪论 绪论-辅导 信息加工者穆兴国:"消息+分析"赚快钱