信息论的定义21

信息论
作者：单晓红    转贴自：传播学——世界的与民族的|云南大学出版社    点击数：799

    传播过程的一些微观理论，是由信息论来提出和完善的，信息论将以模糊的信息概念用数学概念加以定义，用数学方法加以定量化，它是传播学发展的一项重要理论基础。
    香农是一名数学家，他在著名的贝尔电话研究所担任工程师，信息论是他在1948年所著《通讯的数学理论》一文中首次提出的。他的研究成果很快就被运用来研究人际信息的沟通，尽管他自己反对这样做，但因为信息论的研究对于人类社会的信息传递有着深刻的启示意义，所以在1955年，施拉姆首次用信息论来研究大众传播过程。
    香农的信息的概念与信息的量的多少是有关联的，信息被定义为Uncertainty不确定性的减少。
    为了通讯实践的需要，哈特莱提出，从逻辑上讲，应该用对数单位来度量信息，单位是比特。而香农在这一认识的基础上，用概率论来测量信息的量。
    客观世界中有这样的几种现象，一种是事物在一定条件下是必然发生或是必然不发生的，如水加热到一定沸点时会沸腾，这称为必然事件，或是人离开氧气能活下去则必然不会发生，这是不可能事件，这两种情况都具有确定性；而另一种现象则是在一定条件下，可能发生，也可能不发生，如抛起的硬币，落下时可能是“花”面朝上，也可能是“字”面朝上，这被称为随机时间，具有不确定性。计算随机时间发生的可能性大小的量就是概率。
    必然发生的事件，即事件是确定的，概率为1，而不可能发生的事件，也具有确定性，概率为0，而随机事件的概率则是介于1和0之间的一个数。
    事件是确定的，概率为1，如受者已经知道某件事，传者再对他们传递这件事的讯息所含信息量为0；而如果事件是不确定的，概率为0，受众对某件事一无所知，则传者向他们传递的讯息便含有无穷的信息量。即信息量和该事件发生的概率有相反的关系，成反比，信息量应该是事件概率的倒数的对数函数。
    香农把信息量的公式称作不确定性的度量，信息量就是信息受者在收到信息后不确定性减少的数量，信息就是两次不定性之差。用符号表示就是：I=S（Q/X）-S（QX’）
    I代表信息，Q表示对某件事的疑问，S表示不定性，X为收到讯息前关于Q的知识，X’表示受到讯息后关于Q的知识。如果讯息的内容是原来就知道的，那么受者收到讯息后，就不会引起知识上的变化，即X=X’，不确定性没有减少和消除。如果讯息的内容是受者以前所不知道的，那么收到讯息后就会引起受者知识的变化，不确定性就有所减少成消除。所以信息就是消除或减少受者的某种不确定性。
    香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。
    熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。
    信息量=系统状态原有的熵-系统状态确定后的熵
    电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。
    1949年，香农和韦弗提出了有关传播的数学模式。
    信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿
    噪声—>信道
    对上图的概念解释如下：
    信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。
    编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。
    信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。
    噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。
    译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。
    信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。
    作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。
    香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。