信息熵

信息熵

-

2023年3月5日发(作者：克服困难的成语)

第1页

信息熵（informationentropy）百科物理

广泛的阅读有助于学生形成良好的道德品质和健全的

人格，向往真、善、美，摈弃假、恶、丑;有助于沟通个人

与外部世界的联系，使学生认识丰富多彩的世界，获取信息

和知识，拓展视野。快一起来阅读信息熵

(informationentropy)百科物理吧~

信息熵（informationentropy）

信息熵(informationentropy)

是信息论中信息量的统计表述。香农(Shannon)定义信息量

为：`I=-Ksum_ip_ilnp_i`，表示信息所消除的不确定性(系

统有序程度)的量度，K为待定常数，pi为事件出现的概率，

$sump_i=1$。对于N个等概率事件，pi=1/N，系统的信息量

为I=-Klnpi=KlnN。平衡态时系统热力学函数熵的最大值为

$S=-ksum_iW_ilnW_i=klnOmega$，k为玻尔兹曼常数，Wi=1/

为系统各状态的概率，$sum_iW_i=1$，为系统状态数，熵是

无序程度的量度。信息量I与熵S具有相同的统计意义。设

K为玻尔兹曼常数k，则信息量I可称信息熵，为

$H=-ksum_ip_ilnp_i$，信息给系统带来负熵。如取K=1，对

数底取2，熵的单位为比特(bit);取底为e，则称尼特。信

息熵是生命系统(作为非平衡系统)在形成有序结构耗散结

构时，所接受的负熵的一部分。

由查字典物理网独家提供信息熵(informationentropy)百

第2页

科物理，希望给大家提供帮助。