熵 (信息论) - 维基百科，自由的百科全书

跳过字词转换说明

• 转换标题为：大陆：熵 (信息论)；台灣：熵 (資訊理論)；
• 实际标题为：熵 (信息论)；当前显示为：熵 (信息论)

以下采用通信学组全文转换 [编辑]

• Analog：大陆：模拟；台灣：類比；香港：模擬； 当前语言下显示→模拟
• Audio：大陆：音频；台灣：音訊； 当前语言下显示→音频
• Channel：大陆：信道；台灣：通道； 当前语言下显示→信道
• Communication：大陆：通信；台灣：通訊； 当前语言下显示→通信
• Convolution：大陆：卷积；台灣：摺積； 当前语言下显示→卷积
• Digital：台灣：數位；大陆：数字；香港：數碼； 当前语言下显示→数字
• Euler：大陆：欧拉；台灣：尤拉； 当前语言下显示→欧拉
• Fourier：大陆：傅里叶；台灣：傅立葉； 当前语言下显示→傅里叶
• information：大陆：信息；台灣：資訊； 当前语言下显示→信息
• integrated circuit：大陆：集成电路；台灣：積體電路；香港：集成電路； 当前语言下显示→集成电路
• logic gate：大陆：逻辑门；香港：邏輯門；台灣：邏輯閘； 当前语言下显示→逻辑门
• Noise：台灣：雜訊；大陆：噪声； 当前语言下显示→噪声
• P-N junction：大陆：P-N结；香港：P-N結；台灣：P-N接面； 当前语言下显示→P-N结
• P-n junction：大陆：P-n结；香港：P-n結；台灣：P-n接面； 当前语言下显示→P-n结
• p-n junction：大陆：p-n结；香港：p-n結；台灣：p-n接面； 当前语言下显示→p-n结
• PN junction：大陆：PN结；香港：PN結；台灣：PN接面； 当前语言下显示→PN结
• Pn junction：大陆：Pn结；香港：Pn結；台灣：Pn接面； 当前语言下显示→Pn结
• pn junction：大陆：pn结；香港：pn結；台灣：pn接面； 当前语言下显示→pn结
• Signal：台灣：訊號；大陆：信号； 当前语言下显示→信号
• Signal-to-noise ratio, SNR：台灣：訊雜比；大陆：信噪比； 当前语言下显示→信噪比
• Time-invariant system：大陆：时不变系统；台灣：非時變系統； 当前语言下显示→时不变系统
• Video：大陆：视频；台灣：視訊； 当前语言下显示→视频
• Transform：大陆：变换；台灣：轉換； 当前语言下显示→变换
• modulation：大陆：调制；香港：調制；台灣：調變； 当前语言下显示→调制
• vestigial sideband：大陆：残余边带；台灣：殘邊帶； 当前语言下显示→残余边带
• amplitude：大陆：幅度；台灣：振幅； 当前语言下显示→幅度
• PSK：台灣：相位移鍵；大陆：移相键控； 当前语言下显示→移相键控
• 台灣：行動通訊；大陆：移动通信；香港：流動通訊； 当前语言下显示→移动通信
• Cell：台灣：細胞；大陆：蜂窝；香港：蜂窩； 当前语言下显示→蜂窝
• Time division：香港：時分；大陆：时分；台灣：分時； 当前语言下显示→时分
• Frequency division：香港：頻分；大陆：频分；台灣：分頻； 当前语言下显示→频分
• Code division：香港：碼分；大陆：码分；台灣：分碼； 当前语言下显示→码分
• TDMA：香港：時分多址；大陆：时分多址；台灣：分時多重進接； 当前语言下显示→时分多址
• FDMA：香港：頻分多址；大陆：频分多址；台灣：分頻多重進接； 当前语言下显示→频分多址
• CDMA：香港：碼分多址；大陆：码分多址；台灣：分碼多重進接； 当前语言下显示→码分多址
• SDMA：香港：空分多址；大陆：空分多址；台灣：分空間多重進接； 当前语言下显示→空分多址
• TDM：香港：時分複用；大陆：时分复用；台灣：分時多工； 当前语言下显示→时分复用
• FDM：香港：頻分複用；大陆：频分复用；台灣：分頻多工； 当前语言下显示→频分复用
• SDM：香港：空分複用；大陆：空分复用；台灣：空間多工； 当前语言下显示→空分复用
• WDM：香港：波分複用；大陆：波分复用；台灣：波長分波多工； 当前语言下显示→波分复用
• GSM：台灣：全球行動通訊系統；大陆：全球移动通信系统； 当前语言下显示→全球移动通信系统
• iDEN：台灣：整合數位強化網路；大陆：集成数字增强网络； 当前语言下显示→集成数字增强网络
• GPRS：台灣：通用封包無線服務；大陆：通用分组无线服务； 当前语言下显示→通用分组无线服务
• spread-spectrum：大陆：扩频；台灣：展頻； 当前语言下显示→扩频
• spread-spectrum：大陆：扩谱；台灣：展譜； 当前语言下显示→扩谱

• Packet：台灣：封包；大陆：分组； 当前语言下显示→分组
• Bit：台灣：位元；大陆：比特； 当前语言下显示→比特
• Slot：台灣：時槽；大陆：时隙； 当前语言下显示→时隙
• error correcting code：大陆：纠错码；台灣：錯誤更正碼； 当前语言下显示→纠错码
• Information theory：消息理論⇒大陆：信息论； 当前语言下显示→信息论
• Information theory：台灣：資訊理論；大陆：信息论； 当前语言下显示→信息论
• Sampling Theorem：台灣：取樣定理；大陆：采样定理； 当前语言下显示→采样定理
• Shannon：大陆：香农；台灣：夏農； 当前语言下显示→香农
• Digital Broadcasting：大陆：数字广播；香港：數碼廣播；台灣：數位廣播； 当前语言下显示→数字广播
• Digital Television：大陆：数字电视；台灣：數位電視；香港：數碼電視； 当前语言下显示→数字电视
• DVB-H：大陆：手持地面无线；台灣：手持式數位視訊廣播； 当前语言下显示→手持地面无线
• External：大陆：外置；香港：外置；台灣：外接； 当前语言下显示→外置
• High Definition：大陆：高清；台灣：高畫質；香港：高清； 当前语言下显示→高清
• High Definition Television：大陆：高清电视；台灣：高畫質電視；香港：高清電視； 当前语言下显示→高清电视
• Set-top box：简体：机顶盒；繁體：數碼電視解碼器；香港：機頂盒；台灣：數位電視機上盒；大陆：机顶盒； 当前语言下显示→机顶盒
• Standard Definition：大陆：标清；台灣：標準畫質；香港：標清； 当前语言下显示→标清
• Standard Definition Television：大陆：标准清晰度电视；台灣：標準畫質電視；香港：標清電視； 当前语言下显示→标准清晰度电视
• USB Digital TV tuner：大陆：USB数字电视棒；香港：高清USB手指；台灣：USB數位電視棒； 当前语言下显示→USB数字电视棒
• USB TV Tuner：大陆：USB电视棒；香港：USB手指；台灣：USB電視棒； 当前语言下显示→USB电视棒
• diversity：大陆：分集；台灣：多樣； 当前语言下显示→分集
• RFID：大陆：射频识别；台灣：無線射頻辨識； 当前语言下显示→射频识别
• Call forwarding：大陆：呼叫转移；台灣：來電轉駁； 当前语言下显示→呼叫转移
• Information Technology：大陆：信息技术；台灣：資訊科技； 当前语言下显示→信息技术

字词变换是中文维基的一项自动变换，目的是通过计算机程序自动消除繁简、地区词等不同用字模式的差异，以达到阅读方便。字词变换包括全局变换和手动变换，本说明所使用的标题转换和全文转换技术，都属于手动变换。

如果您想对我们的字词转换系统提出一些改进建议，或者提交应用面更广的转换（中文维基百科全站乃至MediaWiki软件），或者报告转换系统的错误，请前往Wikipedia:字词转换请求或候选发表您的意见。

在信息论中，熵被用来衡量一个随机变量出现的期望值。它代表了在被接收之前，信号传输过程中损失的信息量，又被称为信息熵（英语：information entropy）。信息熵也称信源熵、平均自信息量。

在1948年，克劳德·艾尔伍德·香农将热力学的熵，引入到信息论，因此它又被称为香农熵（英语：Shannon entropy）。

目录

• 1 定义
• 2 范例
• 3 熵的特性
• 4 参见

[编辑] 定义

一个 X 值域为{x₁, ..., x_n}的随机变量的熵值 H 定义为：

，

其中，E 代表了期望函数，而 I(X) 是 X 的信息量（又称为信息本体）。I(X) 本身是个随机变量。如果 p 代表了 X 的机率质量函数（probability mass function），则熵的公式可以表示为：

在这里 b 是对数所使用的底，通常是 2, 自然常数 e，或是10。当b = 2，熵的单位是bit；当b = e，熵的单位是 nat；而当 b = 10,熵的单位是 dit。

p_i = 0时，对于一些i值，对应的被加数0 log_b 0的值将会是0，这与极限一致。

[编辑] 范例

如果有一个系统S内存在多个事件S = {E₁,...,E_n}，每个事件的机率分布 P = {p₁, ..., p_n}，则每个事件本身的讯息（信息本体）为：

I_e = − log₂p_i（对数以2为底，单位是比特(bit)）

I_e = − lnp_i（对数以e为底，单位是纳特/nats）

如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的讯息量为：

而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为：

熵是整个系统的平均消息量，即：

因为和热力学中描述热力学熵的玻尔兹曼公式形式一样，所以也称为“熵”。

如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。

实际上每个字母和每个汉字在文章中出现的次数并不平均，因此实际数值并不如同上述，但上述计算是一个总体概念。使用书写单元越多的文字，每个单元所包含的讯息量越大。

[编辑] 熵的特性

1. 熵均大于等于零，即，。
2. 设N是系统S内的事件总数，则熵。当且仅当p1=p2=...=pn时，等号成立，此时系统S的熵最大。
3. 联合熵：，当且仅当X，Y在统计学上相互独立时等号成立。
4. 条件熵：，当且仅当X，Y在统计学上相互独立时等号成立。

[编辑] 参见

• 熵 (生态学)
• 熵 (热力学)
• 熵编码