、给定离散无记忆信源X，其概率空间为
1X0P0703
求该信源的熵和其二次、三次扩展信源的熵。编写一M函数文件：
fu
ctio
H_X1H_X2H_X3t03X1P1t03求信源和其二次、三次扩展信源的熵
输入为X1P1分别为信源符号和概率阵输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3
3
f4、某离散二维平稳信源的概率空间：
X1X2P

000102141180
101112202122118131180118736
设发出的符号只与前一个符号有关。求：a认为信源符号之间无依赖性时，信源X的信息熵HX；b认为有依赖性时的条件熵H（X2｜X1）c联合熵HX1X2d根据以上三者之间的关系，验证结果的正确性。5、有两个二元随机变量X和Y，它们的联合概率分布函数如下表：
Y
01
X
01838
13818
同时定义另一随机变量ZXY，试求：a、熵HXHZHXZ和HXYZb、条件熵HXYHXZHYXZc、互信息IXYIXZIXYZ
五、实验过程
每个实验项目包括：1设计思路2实验中出现的问题及解决方法；
1设计思路
1、每字符从26个英文字母和1个空格中等概选取，一共100个字符，那么可以组成27100条消息，每条消息出现的概率是1（27100），由自信息量公式可得每条消息的自信息量。2、求出各种条件概率，将其代入信息量公式计算信息量。3、离散无记忆信源X熵，可将其概率代入信息熵的计算公式得到，二次，三次扩展信源，可先求出其概率空间。
4
f4由离散二维平稳信源的概率空间，及信息熵，条件熵，联合熵的公式，可得到我们要的结果。5、计算各种情况的概率，X的概率，Y的概率，ZXY联合概率等，然后代入公式求解。6、程序代码：
clearallclctest11有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取求每条信息提供的信息量H1log227100test12事件：u0一个0发出；u1一个1发出；v0一个0收到；v1一个1收到；给定下列概率：pu012pv0u034pv0u112p_u012p_v0_u034p_v0_u112p_v1_u01p_v0_u0a已知发出一个0，求收到符号后得到的信息量；H_V_u0p_v0_u0log2p_v0_u0p_v1_u0log2p_v1_u0b已知发出的符号，求收到符号后得到的信息量p_u11p_u0
5
fp_v1_u11p_v0_u1p_u0v0p_v0_u0p_u0p_u0v1p_v1_u0p_u0p_u1v0p_v0_u1p_u1p_u1v1p_v1_u1p_u1H_V_Up_u0v0log2p_v0_u0p_u0v1log2p_v1_u0p_u1v0log2p_v0_u1p_u1v1log2p_v1_u1test13c0307y1y2y3t05c信源的熵和其二次、三次扩展信源的熵test14P_X1X2141180118131180118736联合分布a认为信源符号之间无依赖性时，信源X的信息熵HX；P_Xr