均码长
码字
00011100110101100110111110111110
4费诺编码：
信源符符号概号xi率pi
码
码长
x1
04
0
0
x2
018
1
00
2
01
2
x3
01
x4
01
00
1
100
3
101
3
x5
007
0
1100
4
1
0
x6
006
1
1101
4
1
x7
005
0
1110
4
1
x8
004
1
1111
4
314
f信源符号xix1x2x3x4x5x6x7
符号概率pi
13131919127127127
13
13
13
13
19
19
19
19
22719
127
编码过程
13
1323
13
1313
29
13
19
编码码长
00
2
01
2
100
3
101
3
111
3
1100
4
1101
4
f第四章限失真信源编码
41失真矩阵为
42
0111
d
10111101
1110
信源熵为HxLog42
3333Dmaxmi
RDmax0
4444
Dmi
0RDmi
R0HXlog42py1py2py3py4只要满足py1py2py3py41在01区间可以任意取值。
f第五章信道编码
51
521
接收端的不确定度为2HYX

f3
0得到得53
09191000919bits55
1
561
条件概率
，联合概率
，后验概率
fpy01，py11，py21
3
2
6
（2）HYX
（3）当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：
Px1y21，Px2y21，Px3y23
5
5
5
其中错误概率为：
PePx1y2Px3y2130855
（4）平均错误概率为
（5）仍为0733（6）此信道不好
原因是信源等概率分布，从转移信道来看正确发送的概率x1y1的概率05有一半失真
x2y2的概率03有失真严重x3y3的概率0完全失真（7）
HXY
1Log2
6

1Log5
10

115
Log
52


215
Log
52


1Log5
10

110
Log
53


1Log10
30

310
Log
53

1301
f——————————————————————————课外习题
1．设某信道，其信道矩阵为
若信道的输入符号a1a2a3先验等概，
（1）若使平均错误译码概率最小请选择译码函数。（2）求出此错误译码概率Pemi
。解：1
因为先验等概所以选择最大似然译码准则Fb1a1Fb2a3Fb3a22Pemi
2有二进制对称信道
p001
099
1采用最大似然译码准则确定译码函数2求出最小平均错误译码概率。3对该信道进行扩展采用简单重复编码，000111采用最大似然译码准则确定译码规则。4求出扩展后的最小平均错误译码概率。5求出扩展后的信道传输率
解：
（1）Pji
译码函数为Fb1a1，Fb2a2
2Pemi
00100120013
f译码函数Fβ1Fβ2Fβ3Fβ4000α1Fβ5Fβ6Fβ7Fβ8000α2
（4）平均错误最小概率为
（5）R

3．αi，βj是两个码符号01组成的符号序列
，
求αi，βj之间的汉明距离
解：Dαi，βj
4．W000001010100011110101111的最小汉明距离解：Dmi
1
5．设有一离散信道r