第二章信源及信源熵
21
422
23
24
38
Log
83


1Log4
4

1Log4
4

1Log8
8
1906
60190611436
25
1221共两种
Log
362


417
166125523443
共六种
Log
366


2585
26014个113个212个36个
P
I
27Log21Log42Log8328“－”用三个脉冲“●”用一个脉冲
f1I●Log42
I－＝
Log
43


0415
2H
1Log4
4

34
Log
43

0811
29
2P黑黑
P白黑
HY黑
3P黑白
P白白
HY白
4P黑
P白
HY
2101H色
2P色数H色数
3H数色H色数H色
211
1
HXY
724
Log
247


1Log24
24

0
1Log24
24

1Log4
4

1Log24
24

0
1Log24
24

724
Log
247

2301
2P
得到
HY
3HXYHXYHY2121HX1HY1
23
f213
Pi
Pij
HIJ
2141
Pij
Pij
2方法1

方法2215Pji
2161
f1黑
2设最后平稳概率为W1W2
1白
得W107W203
HY黑09143Log0914300857Log008570422HY白02Log0208Log080722HYXW1HY黑W2HY白
黑
白
21712
224
1HX
2

3
225
解方程组
fPTWW
W1W21
即
025075
0055
W1W2

解得
W104W206
226
W1W2
Pji
解方程组
求得W
12
S113
1213
23
S2
S3
23
227求平稳概率
符号条件概率
状态转移概率
解方程组
得到W
228
f1求平稳概率Pji解方程组
得到2
信源熵为229
Pji
解方程组
得到W1W2W3
230
fPij
解方程组
得W1W2W3
信源熵为231
PX1
Pji
PX1X2
（1）ab求HX2X1有两种方法：方法1：
方法2：HX2X1∑Px1x2logx2x1
c求HX3X2
PX2
则
f方法1：
PX3X2



方法2：PX3X2
d最后
＝
（2）首先求解稳定情况下的概率解方程组
得到
W1
3不做2321
）＋W2
＋W3
Pji
求解方程组
得p0p1p2
f2
3HXlog3158
4

P
当p时
当p0时当p1时
达到最大值158
HX0HX1
2331
解方程组
得p0p1p22
3当p0或p1时信源熵为0
f第三章无失真信源编码
31
321因为ABCD四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为HXlog42
平均信息传递速率为
bitms200bits
2信源熵为
HX
0198bitms198bits
33与上题相同
35
111111111
248163264128128
HU
1
1
1
1
1
1
1
1
Log2Log4Log8Log16Log32Log64Log128Log1281984
2
4
8
16
32
64
128
128
2每个信源使用3个二进制符号出现0的次数为
出现1的次数为
P0
fP13
4相应的香农编码信源符号符r