性计算
1111H3366
5
f解：
1111111111HHH33663333221log331918bit
注意，可连续应用可加性公式：
111121211111HHHH33663332232221H133
连续应用可加性公式，我们有定理24（更一般的可加性公式）
Hp11
p1r1p21
p2r2
p
1
p
r
piripi21
Hp1p2
其中pi
p
j1
ri

ppp
piHi1i2i1pipi
ij
解释：我们可以把可加性理解为分步试验结果的熵等于各步试验结果熵的加权组合。。设一个随机试验分为两个步骤。第1步共有
个可能结果X112，
，其概率分布为
p1p2
p
。这一步试验结果的熵为Hp1p2
p
。
在第1步试验结果的基础上进行第2步试验。假设当第1步试验结果X1i时，第2步试验共有ri个可能结果，并且其概率分布为
pi1pi2ppii

piripi
6
f对应的熵为
ppHi1i2pipi

piripi
因此，第2步传递的平均信息量为
pHp
i1i


pi1pi2pii

piripi
两步所获得的平均信息量之和就是上述（21）中的右式。左式可解释为第2步试验的所有可能结果的平均信息量。练习：应用熵函数的可加性计算
H1616161919112112
性质6递增性低维分布分解为高维分布时，信息熵严格递增。定理25将
维概率分布分解为
1维分布后，熵增大：
Hp1p2
p
Hp1p2
p
1p

0p
证毕
证明：由可加性立即可得。
性质7严格上凸性定理26熵函数HP是严格上凸函数。证明：根据严格上凸性定义，我们设Pp1p2…p
与Qq1q2…q
是两个不同的概率分布并且设12为非退化分布，只需证明下列不等式
1HP2HQH1P2Q
即
7
1
f1pilogpi2qilogqi1pi2qilo1gpi2qi
i1i1i1






合并同类项后，上述不等式等价变换为
1pilog
i1


1pi2qipq2qilog1i2i0piqii1
注意，1P2Q是一个
维概率分布，根据预备知识中所证明的“信息不等式”，我们有

plog
i1i
1pi2qi
pi
0
（2）
其中等号成立当且仅当P1P2Q，即PQ。我们前面已假设P≠Q，所以上述不等式中的等号不成立。同理我们有
qlog
i1i


1pi2qi
qi
0
（3）
由（2）和（3）可得（1）。
证毕
不等式（1）也r