香农三大定理

香农三大定理

紫椿-不甘人后

课程的重点、难点及解决办法

一、课程的重点和难点

第2、3章的“离散信源和离散信道”方面的相关内容作为课程重点来讲述，而第5章“波

形信源和波形信道”在阐述如何将波形信源转换为离散信源、将波形信道转换为多维连续信

道后，只需作简单介绍，就可引导学生理解。而香农三大编码定理是课程的难点。

各章节的重点、难点如下：

1、第1章的重点内容：包括信息的定义和特性；通信系统模型；信息论的研究范畴。

建议对先修课程《概率论》的相关知识进行复习。

2、第2章的重点内容：单符号离散信源熵、条件熵、联合熵及信源熵的基本性质和定

理；几种熵的物理意义及其相互关系；离散无记忆离散信源熵的度量；离散平稳信源熵的度

量；马尔可夫信源的信源熵；信源的剩余度的计算。

难点内容：平稳信源熵的性质以及极限熵的定义；马尔可夫信源的性质及其熵的计算。

3、第3章的重点内容：平均互信息量的定义和计算；互信息及其凸性；几种特殊的单

符号离散信道容量的计算；一般信道容量的计算方法；独立并联信道容量；信源与信道的匹

配。

难点内容：信道损失、噪声熵和平均信息量的物理意义及其相互关系；一般离散信道

的信道容量的计算；信源与信道匹配的含义。

4、第4章的重点内容：唯一可译码和即时码的概念；码树和克拉夫特不等式；香农码、

霍夫曼码和费诺码的编码方法。

难点内容：无失真变长编码定理的理解

5、第5章的重点内容：连续信源的熵及最大熵；香农公式。

难点内容：随机波形信源的处理方法和波形信源的熵；波形信道如何转化为多维连续

信道。

6、第6章的重点内容：失真函数、失真矩阵和平均失真；信息率失真函数的定义和性

质、几种常见信源的信息率失真函数的计算。

难点内容：信息率失真函数的定义域以及其它性质；限失真信源编码定理。

7、第7章的重点内容：信道编码的基本原理；重复码和奇偶校验码。

难点内容：有噪信道编码定理；联合信源信道编码定理。

二、重点和难点的解决办法

１、针对本课程的重点，我们在教学过程中不仅注重培养学生对基本概念、基本理论和

基本分析方法的理解；更注重对物理意义的理解，并结合通信系统的相关知识，与《通信原

理》课程相结合，利用信息论知识的具体应用使学生了解实际应用背景，培养学生工程实际

应用能力。

在课堂教学中，采用“以数学原理为基础，立足工程应用”的教学理念、“以问题主导教学

内容”的教学方法、“以要点为主线”的授课方法，并结合实际案例，从认知规律入手，精心设

计教学过程，有效调动学生学习积极性，提高学生接受知识的能力。在课余时间，布置适量

的课外作业，有定期的答疑和质疑制度，并通过网络教学系统完成师生的相互交流。

２、根据教学难点在信息理论基础中所处的地位，决定教学中的处理方式。

比如马尔可夫信源是一种很重要的离散信源，极限熵的计算既是教学难点，也是教学

重点。教学中，首先让学生透彻理解平稳信源熵的性质以及极限熵的含义，而且教师需要补

充讲授必要的关于马尔可夫链特性的背景知识，引导学生理解马尔可夫信源和离散平稳信源

的关系，最终使学生熟练掌握马尔可夫信源极限熵的计算。

例如，一般离散信道容量的计算很复杂，虽然比较重要，但不影响信息理论的系统性，

也不影响后面内容的讲解；而且通过典型信道（比如对称信道、准对称信道）容量的讲解，

学生已经理解了信道容量的物理意义和计算方法，因此课堂教学中只介绍一般信道容量的计

算思路，具体的计算方法留给学生课外采用软件仿真来理解。

又如香农三大编码定理的证明使用了大量的概率论等数学工具，比较抽象，学生的理解

有较大困难，因此，在有关定理的讲授中，具体的证明过程不做要求，注重定理提出的背景

以及证明的思考方法，促使学生理解信息论的思维方式，理解编码定理表明的理论极限对实

际通信工程的指导作用。

3、建议老师按照授课规范教学

课程组经常进行教学研讨和教学观摩，总结教学经验，建议老师按照授课规范教学。

每次课首先复习前次课的内容，然后用简洁的语言点明本次课的教学内容，在授课过程中，

尽量采用“提出问题－引导学生思考－讨论解决问题－得出结论”的教学方法，引导学生思考

时可以采用案例教学法，讨论解决问题时采用要点分解法。每讲完一个相对完整的知识点，

应该有一个小结，尽量以例题的形式消化该知识点。每次课结束之前总结本次课的教学重点，

布置相应的作业。

每章结束有一个小结：本章的知识要点及其相互关系，典型例题和作业题。课程结束

时有一个课程总结：课程的目标，章节之间的关联性，与其他课程的衔接。

4、理论联系实际，引入案例教学法，充分调动学生的积极性和主动性

在教学中，教师有意识地将教学相关内容与当前的信息技术如卫星通信、DVD技术、

协同通信技术等相结合，同时突出和强调本课程与其他专业基础及专业课相关联的内容。不

仅可以扩大学生的知识面，而且在很大程度上激发学生学习这门课程的兴趣和动力，培养学

生探究性学习的能力。

5、广泛利用信息技术，发挥网络在教学中的辅助作用

我校的《信息论基础》网站的教学资料包括课程指导、授课教案、例题和思考题、重点

难点、习题解答，试卷及参考答案，还列出了参考文献和课程相关网站，而且还有供师生交

流的网上答疑平台。

6、制作互动演示程序，将抽象的理论形象化

根据对信息论的重点难点分析，我们针对霍夫曼编码和信道容量的迭代算法制作了互动演示

程序，生动形象的教学形式使学生更易于理解教学内容，提高了教学效率。