信息科学基础课程总结
（一）学习内容：第一章随机变量的信息度量
1学习信息论的发展历史，了解信息论的产生、发展与应用；信息的定义与特征；2信息的度量问题；3香农熵随机变量的不确定性度量；4信息量的一些基本性质；5熟练进行有关熵的计算：香农熵、联合熵、微分熵等（不要忽视条件熵、互信息、相对熵等概念）；6广义熵。第二章随机过程的信息度量和渐近等分性1什么是信源？信源的分类；2什么是随机过程？什么是马尔可夫信源？3随机过程的信息度量问题熵率；4了解冗余度和相对冗余度；5了解熵的基本性质，互熵与互信息；6理解信源编码定理。7了解什么是最大熵，记住常用的几种最大熵分布：有限区间上的最大熵、半开直线与全直线上的最大熵。第三章数据压缩和信源编码1信源编码的基本问题，了解即时码的定义；2等长码概念及其码率；Kraft不等式；3变长码编码及平均码长的定义；4熟练进行哈夫曼码与算术码的编码及构造码树；5了解通用码概念，会编LZW码和YK码；
1
f6会计算通用码的压缩率（码率）。第四章数据可靠传输和信道编码1了解离散无记忆信道和信道容量；2会用定义、极值法和Lagra
ge乘子法计算信道容量；3了解信道编码的作用和常见类型；4理解信道编码定理的内容。
信息科学基础习题课
一、填空题（20分）：1．利用数字结构进行信息处理是当今社会信息社会的一大特色，因此有人称当今的信息社会又是一个数字化的社会，这就是把现实世界中的各种不同类型的信息与信号都设法用数字来表达，并在数字化的条件下进行处理。2．信息具有可设计、传递、复制、存储、修改与扩展等特性，对这些特性的处理过程统称为信息处理。信息科学为研究信息处理提供理论基础，其中包括它们的数学模型、基本的度量关系与性质、相关的优化算法等。3．时间与空间实际上是信息处理中的最基本的资源，在信息处理中除了加快速度与节省空间之外，寻找它们的最优信息处理方案是信息科学理论中的重要内容与基本目标。4．信息论一般是指在信息的加工、传递、存储等处理问题中的基础理论问题。
5．1948年香农发表了具有奠基性的论文《通信系统的数学理论》，拉开了信息科学研究的帷幕。信息的度量问题包括：信息能否度量？如何度量？信息度量的内在含义是什么？信息度量的基本特征（其中包括信息度量与其他学科的相互关系等问题）与信息度量的各种应用问题等。6．一个量的引进，它的出发点必须基本合理，对这个量的度量对象、意义r