《信息论与编码（第二版）》曹雪虹答案第二章
21一个马尔可夫信源有3个符号u1u2u3，转移概率为：pu1u112，pu2u112，pu3u10，pu1u213，pu2u20，pu3u223，pu1u313，pu2u323，pu3u30，画出状态图并求出各符号稳态概率。
解：状态图如下
12
12
u1
u2
13
132323
u3
状态转移矩阵为：
12120
p


1
3
0
23
13230
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
由
WPWW1W2

W
3

1
得

12
W
1

1W1
2

2
W
2

3
W1W
11W2W
332W3W23W3
2W31
3

W
1
计算可得
WWW
123

1025925625
22由符号集0，1组成的二阶马尔可夫链，其转移概率为：p00008，p01102，
p10002，p11108，p00105，p01005，p10105，p11005。画出状态
图，并计算各状态的稳态概率。
解：p000p000008
p001p100105
p011p101102
p010p001005
p100p010002
p101p110105
p111p111108
p110p011005
f080200
于是可以列出转移概率矩阵：
p
0
0
05
05

050500

0
0
02
08

状态图为：
0800
02
01
0505
0502
10概率为W1W2W3W4有
05
1108
设各状态00，01，10，11的稳态分布
WPW


4i1
Wi

1
08W105W3W1
得
0025WW
12

05W02W
34
W2W3
05W208W4W4
W1W2W3W41
W
1

514
计算得到
WW
23

171
7
W4
5
14
23同时掷出两个正常的骰子，也就是各面呈现的概率都为16，求：
1“3和5同时出现”这事件的自信息；
2“两个1同时出现”这事件的自信息；
3两个点数的各种组合（无序）对的熵和平均信息量；
4两个点数之和（即23…12构成的子集）的熵；
5两个点数中至少有一个是1的自信息量。
解：1
pxi


16

16

16

16

118
Ixi

log
pxi

log118

4170
bit
2
pxi


16

16

136
Ixi

log
pxi

log
136

5170
bit
3两个点数的排列如下：
f111213141516212223242526313233343536414243444546515253545556616263646566
共有21种组合：
其中11，22，33，44，55，66的概率是111
6636
其他15个组合的概率是2111
6618
HX
i
pxi
log
pxi


6
136
log
136
15

118
log
118


4337
bitsymbol
4参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
XPX



21
36
31
18
41
12
51
9
65
36
71
6
85
36
91
9
101
12
111
18
121

36
HXpxilogpxi
5
i
21log121log121log121log125log51log1r