可以用基本对数不等式证明。不等式(1)的第二个证明:取x
1pi2qi
pi
11xx
,由
l
得
pil
pipi1pi2qi2piqi1pi2qi
4
根据预备知识中证明的基本对数不等式,(4)中等号成立的充要条件是P1P2Q,即PQ。我们前面已假设P≠Q,所以不等式(4)中的等号不成立。因此,我们有
8
fpl
pq
i1i1i
pi
0
5
2i
同理我们有
ql
pq
i1i1i
qi
0
6
2i
由(5)和(6)可得(1)。
证毕
性质8极值性(最大离散熵原理)定理27(最大离散熵原理)对于任何
维概率分布p,
Hplog
其中,等号成立的充要条件是p为均匀分布,即
p1
1
1
证毕
证明:令q为均匀分布1
1
…1
,应用信息不等式立刻可得该定理成立。
记号:我们用H0表示一个随机变量的最大熵。当且仅当某随机变量共有
种取值时,
H0log
比特
例28二十问题游戏(thegameoftwe
typroblems)。甲心里想到一个事物,让乙猜。乙可以向甲提问,甲只回答是或者不是。若乙在20个问题之内猜出答案,则乙胜,否则甲胜。猜数:一个比较简单的实例是猜数。要猜出一个100以内的正整数至少需要几个问题?至多需几个问题?
练习:设一条电线上串联了8个灯泡,如图所示。假设其中有且只有一个灯泡坏了,并且各灯泡
9
f的损坏概率相同,用万用电表通过测量断路找出坏灯泡。(1)平均需要获得多少信息,才能找出其中的坏灯泡。(2)一次测量所获得的信息的最大期望值是多少?(3)试设计一个最佳测量方案,即测量次数的期望值最小的测量方案。
作业1试证明信息熵的可加性。2伪币称量问题:今有12枚金币,其中1枚是伪币,其重量不同于真币。用一台没有砝码的天平通过比较金币重量可以找出这枚伪币。(1)用这台天平找出伪币并知道其偏重还是偏轻需获得多少信息?(2)求天平的3种称量结果,即等重、左重和右重,的最大平均自信息。(3)试证明找出这枚伪币至少需要称量3次。(4)试设计最优的第1次称量方案。(5)若第1次称量结果为14号钱币的总重量大于58号钱币的总重量,试设计最优的第2次称量方案。
3编程2:输入有限维概率分布,输出该分布的熵。
附录:热熵1854年克劳修斯定义了物理系统的一种状态函数S,他之称为熵(e
tropy),现在也称为热熵。一个物理系统从状态o到状态A的熵增量定义为
10
fSSo
其中
A
o
dQT
克劳修斯的热力学第二定律:dS0
德国物理学家玻r