香农定理

香农定理

-

2023年3月17日发(作者：书法作品专用纸)讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。 如今，这两个原理已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损压缩的标准和极限。同时，它也是导出无损压缩算法做达到或接近“熵”的编码的源泉。像现在人们在PC机上常用的WinZip就是一个例子。在数字通讯中，各种语音信号在用数学模型提取参数（有损压缩）后也要对参数进行熵编码做无损压缩，这一无损压缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信道编码），因为根据香农的第二个理论，要尽量做到无失真的传送，就要用类似重复的方法来纠正可能出现的错误。毫不夸张地说，没有这两个方法，就没有今天的手机通讯。同样，在因特网上传递多媒体数据，无损压缩往往是必不可少的。比如现在所用的图像格式，除了BMP文件以外，其他格式都用到基于熵概念的无损压缩算法。在当今广为人知的MP3音乐压缩格式中，也同样用到基于熵概念的无损压缩算法。所以不论在电讯业还是计算机业中，只要涉及信息的压缩与传递，就要用到香农的理论。