第一章 绪论 1.3.1 信息、消息和信号
来源：百度文库 编辑：神马文学网 时间：2024/05/01 02:36:08
第一章 绪论
1.3 信息及其度量
通信系统的任务是传递信息，为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度。
让我们先来看一下信息、消息和信号的概念及三者之间的关系:
信息是指消息中所包含的有意义的内容，消息是信息的载体，消息又是以具体信号形式表现出来的。
不同形式的消息，可以包含相同的信息。
下面，我们就来讨论信息是如何度量的。
消息可以分为两大类，即离散消息和连续消息。产生离散消息的信源称为离散信源，产生连续消息的信源则称为连续信源。
离散信源只能产生有限种符号，因而离散消息可以看成是一种有限个状态的随机序列，它可以用离散型随机过程的统计特性来描述。
假设离散信源为包含
来描述信息源。例如，英语中26个字母及单词间空格的出现概率如表1-1示。
表1-1 英文字母出现概率
符号
概率
符号
概率
符号
概率
空格
0.20
s
0.052
y,w
0.012
e
0.105
h
0.047
g
0.011
l
0.072
d
0.035
b
0.0105
o
0.0654
i
0.029
v
0.008
a
0.063
c
0.023
k
0.003
n
0.059
f,u
0.0225
x
0.002
l
0.055
m
0.021
j,q,z
0.001
r
0.054
p
0.0175
一般情况下，离散信号中各符号的出现并不是独立的，而常常是相互关联的。当前出现的符号，其概率与先前出现过的符号有关，即必须利用条件概率来描述离散消息。为了简化，通常只考虑前一个符号对后一个符号的影响。这是一个马尔可夫链问题，可以利用转移概率矩阵
来描述。
连续信源可能产生的消息数目是无限的，其消息取值也是无限的，必须用概率密度函数才能反映其统计特性。消息各点之间的统计关联性可用二维甚至多维概率密度来描述。我们通常只考虑各态历经的平稳随机过程。
1.3 信息及其度量
通信系统的任务是传递信息，为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度。
让我们先来看一下信息、消息和信号的概念及三者之间的关系:
信息是指消息中所包含的有意义的内容，消息是信息的载体，消息又是以具体信号形式表现出来的。
不同形式的消息，可以包含相同的信息。
下面，我们就来讨论信息是如何度量的。
消息可以分为两大类，即离散消息和连续消息。产生离散消息的信源称为离散信源，产生连续消息的信源则称为连续信源。
离散信源只能产生有限种符号，因而离散消息可以看成是一种有限个状态的随机序列，它可以用离散型随机过程的统计特性来描述。
假设离散信源为包含
来描述信息源。例如，英语中26个字母及单词间空格的出现概率如表1-1示。
表1-1 英文字母出现概率
符号
概率
符号
概率
符号
概率
空格
0.20
s
0.052
y,w
0.012
e
0.105
h
0.047
g
0.011
l
0.072
d
0.035
b
0.0105
o
0.0654
i
0.029
v
0.008
a
0.063
c
0.023
k
0.003
n
0.059
f,u
0.0225
x
0.002
l
0.055
m
0.021
j,q,z
0.001
r
0.054
p
0.0175
一般情况下，离散信号中各符号的出现并不是独立的，而常常是相互关联的。当前出现的符号，其概率与先前出现过的符号有关，即必须利用条件概率来描述离散消息。为了简化，通常只考虑前一个符号对后一个符号的影响。这是一个马尔可夫链问题，可以利用转移概率矩阵
来描述。
连续信源可能产生的消息数目是无限的，其消息取值也是无限的，必须用概率密度函数才能反映其统计特性。消息各点之间的统计关联性可用二维甚至多维概率密度来描述。我们通常只考虑各态历经的平稳随机过程。