量纲为（码元信源）。我们有
L
LHX且lim
HX

这是信源编码定理的推论。
2
f例13课本第26页例24天气预报的平均信息量。
练习：在电脑主板上，串行接口（SerialI
terface）用于向外设输出数据，每次输出1比特符号，若某段时间内输出符号的概率分布为
1X0p1323
求此时段内该串行接口的信息率，即平均每符号所传递的信息（单位为“比特符号”）。
3
f练习解答：输出0所传递的信息为
1I0log3
输出1所传递的信息为
log比特3
I1log
因此，输出符号的信息熵为
2log31比特3
122HXlog3log31log30919比特333
于是所求的信息速率为0919比特每符号。说明：上述信息熵HX反映了串行接口传输信息的速率，称为该接口的信息率。
2熵函数HP的性质性质1非负性和确定性HP≥0其中HP0当且仅当P为退化分布。一个随机变量的概率分布为退化分布，当且仅当该随机变量是常量，即取值唯一（所以其取值是确定的）。
性质2对称性
Hp1
性质3连续性
pi
pj
p
Hp1
pj
pi
p

Hp1
p
对于其中任何变量pi是连续的。
4
f性质4扩展性可扩展性1：
Hp1
可扩展性2：
p
0Hp1
p

limHp1p2
0
p
1p
Hp1p2
p
2p
1p
证毕
证明：由连续性和可扩展性1立即可得。
意义：可扩展性表明，一个小概率事件对于熵的影响很小，可以忽略不计。在熵的计算中，可以忽略其中一部分小概率事件。例21《中华字海》中收录了85000多个汉字，而常用汉字仅有3000个左右。（据统计现代汉语中这2400个汉字在一般书刊文章中所占的字数比例是99）在计算汉字的熵时，大部分汉字都可以忽略不计，仅统计常用汉字出现的频率，以此作为这些汉字出现的概率，从而计算出汉字的熵。
性质5可加性注意：即课本第31页的“递增性”。课本上的“可加性”事实上是联合熵的链法则，涉及到条件熵，放在此处不妥，后面再讨论。我们将赋予“递增性”更贴切的含义。定理22（可加性公式）
Hp1p2
其中令p
q1q2
p
1q1q2
qm
qmHp1p2
qqp
p
H12p
p


qmp

证明：可用熵函数的定义证明，细节留给读者完成。
证毕
可加性公式让我们不断降低信息熵中概率分布的维度，将高维计算简化为低维计算。有的教材称可加性为递推性。例23应用熵函数的可加r