《信息论与编码》陈运部分作业详解资料

2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?

答：2倍，3倍。

2.2一副充分洗乱了的牌(含52张牌)，试问

(1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) 

(2) 任取13张，各点数不同的概率为，信息量：9.4793(比特/符号)

2.3居住某地区的女孩子有是大学生，在女大学生中有是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

答案：1.415比特/符号。提示：设事件A表示女大学生，事件C表示160CM以上的女孩，则问题就是求p(A|C)，

2.4  设离散无忆信源，其发出的消息为，求

(1) 此消息的自信息量是多少？

(2) 在此消息中平均每个符号携带的信息量是多少？

解：(1)信源符号的自信息量为I(ai)=-log2p(ai)，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。

消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特，

(2)87.81/45=1.951比特。

2.6  设信源，求这信源的熵，并解释为什么不满足信源熵的极值性。

提示：信源的概率之和大于1。

2.7  同时掷两个正常的骰子，也就是各面呈现的概率都为，求：

(1) “3和5同时出现”这事件的自信息量；

(2) “两个1同时出现”这事件的自信息量；

(3) 两个点数的各种组合(无序对)的熵或平均信息量；

(4) 两个点数之和(即构成的子集)的熵；

(5) 两个点数中至少有一个是1的自信息量。

解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为=1/18

(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36

(3) “两个点数相同”的概率:1/36,共有6种情况;

“两个点数不同”的概率:1/18,共有15种情况.故平均信息量为:

4.337比特/符号

(4) 3.274(比特/符号)。提示：信源模型

(5) 1.711(比特/符号)。提示：至少有一个1出现的概率为

2.8  证明

提示： 由教材式(2.1.26)和(2.1.28)可证

证明：

2.4证明，并说明等式成立的条件。

提示：见教材第38页

2.10  对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

若把这些频度看作概率测度，求：

    (1) 忙闲的无条件熵；

(2) 天气状态和气温状态已知时忙闲的条件熵；

(3) 从天气状态和气温状态获得的关于忙闲的信息。

解：设X、Y、Z分别表示{忙 闲}、{晴 雨}和{冷 暖}，

(1) 先求忙闲的概率分布，无条件熵=0.9637(比特/符号)

(2) H(XYZ)=2.8357

，H(YZ)=1.9769

H(XYZ)- H(YZ)=0.8588(比特/符号)

(3) I(X;YZ)=H(X)-H(X/YZ)=0.1049比特/符号

2.11  有两个二元随机变量，它们的联合概率为

(1)；

(2) 

和；

(3)。

解： (1) XY的概率分布为 

比特/符号

X的概率分布，

比特/符号

X的概率分布，

H(Y)=1比特/符号

Z=XY的概率分布，

比特/符号

   XZ的联合概率分布，

H(XZ)=1.4056比特/符号

YZ的联合概率分布，

H(YZ)=1.4056比特/符号

的联合概率分布

，

H(XYZ)=1.8113比特/符号

     (2)  H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符号；

H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113比特/符号

  H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862比特/符号；

  H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056比特/符号；

  H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862比特/符号；

  H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056比特/符号；

  H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057比特/符号；

H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057比特/符号；

H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0比特/符号；

 (3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符号；

   or  I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符号；

  I(X;Z)= H(X)-H(X/Z)=1-0.862=0.138比特/符号；

   or  I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138比特/符号；

  I(Y;Z)= H(Y)-H(Y/Z)= 0.138比特/符号；

   or  I(Y;Z)=H(Y)+H(Z)-H(YZ)= 1+0.5436-1.4056=0.138比特/符号；

  I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563比特/符号；   

  I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符号；

  I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056比特/符号；

2.13  设有一个信源，它产生序列的信息。它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。

(1) 试问这个信源是否是平稳的？

(2) 试计算；

(3) 试计算并写出信源中可能有的所有符号。    

解：(1) 是平稳信源

(2) 信源熵H(X)=-0.4log20.4-0.6log20.6=0.971比特/信源符号，比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。

(3)比特/信源符号，

信源中可能的符号共16个。

2.14  设是平稳离散有记忆信源，试证明： 。

提示：见教材第44页

证明：因为，故

2.16  一阶马尔可夫信源的状态图如题2.16图所示。信源的符号集为。

(1) 求平稳后信源的概率分布；

(2) 求信源的熵。

题2.16图

解：(1)由图得一阶马尔可夫信源的状态为s1=0，s2=1，s3=2。

对应的一步转移概率矩阵为，

由各态历经定理，有，即

解方程组得状态极限概率满足，

又由得

(2) 

2.17  黑白气象传真图的消息只有黑色和白色两种，即信源。设黑色出现的概率为p(黑)=0.3，白色的出现概率p(白)=0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵；

(2) 假设消息前后有关联，其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵；

(3) 分别求上述两种信源的剩余度，比较的大小，并说明其物理意义。

解：(1)比特/信源符号; 

(2) 由各态历经定理，有，即

p(白)= p(白)p(白/白)+ p(黑) p(白/黑)=0.9 p(白)+0.2 p(黑)

p(黑)= p(白)p(黑/白)+ p(黑) p(黑/黑)= 0.1 p(白)+0.8 p(黑)

解方程组得：p(白)=2 p(黑)，又由于p(白)+p(黑)=1，

所以  p(白)=2/3， p(黑)=1/3

=0.5533比特/符号; 

(3) H0(X)=log22=1，无关联信源剩余度为1-0.8813/1=11.87%，

一阶马尔可夫信源剩余度为1-0.5533/1=44.67%

这说明马尔可夫信源比无相关信源的冗余度大，编码时可以获得更高的压缩比。

第3章  信道容量

3.1  设信源通过一干扰信道，接收符号为，信道传递矩阵为，求

(1) 信源X中事件分别含有的自信息量。

(2) 收到消息后，获得的关于的信息量。

(3) 信源X和信宿Y的信息熵。

(4) 信道疑义度和噪声熵。

(5) 接收到信息Y后获得的平均互信息量。

解：(1) (比特/符号)，比特/符号，

(2)， (比特/符号),

      (比特/符号),

  (比特/符号), 

(比特/符号)

(3) 0.971(比特/符号)，0.971(比特/符号)，

(4)  

       (比特/符号)，

，

(5) I(X;Y)=H(Y)-H(Y/X)=0.25比特/符号

 3.2设二元对称信道的传递矩阵为

(1) 若；

(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。

解：(1) H(X)=H(3/4, 1/4)=0.8113比特/符号，

      H(Y)= H(7/12, 5/12)=0.9799比特/符号,

      , H(XY)=1.7296比特/符号,

      H(X/Y)=H(XY)-H(Y)=0.7497比特/符号，

      H(Y/X)= 0.9183比特/符号，

      I(X;Y)=H(Y)-H(Y/X)=0.0616比特/符号，

(2)    C= 1-H(p)= =0.0817比特/符号，

         p(0)=p(1)=1/2

3.6 有一个二元对称信道，其信道矩阵为。设该信源以1500的速度传输输入符号。现有一消息序列共有14000个二元符号，并设，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？

解：信道容量C=1+0.98log20.98+0.02log20.02=0.8586比特/信道符号，则每秒钟可传送的信息量为1500×0.8586=1287.9比特，10秒钟最大可传送的信息量为12879比特，而待传送的信息量为14000比特，因此，10秒钟内不能无失真的传送完毕。

3.7  求下列各离散信道的容量

(3)                                (4)

(3)  按一般离散信道容量的计算步骤进行

（4）信道为准对称离散信道，当输入端取等概率，即p(a1)=p(a2)=1/2时，达到信道容量，此时信宿端的概率为

，则

H(Y)=H(1/4,1/3,1/6,1/4)=1.9591，故信道容量为

C= H(Y)-H(Y/X)=H(Y)-H(1/3,1/3,1/6,1/6) =1.9591-1.9183= 0.0408。

3.8  已知一个高斯信道，输入信噪比(比率)为3。频带为3kHz，求最大可能传送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？

提示：由式(3.5.13)可得。

(1) 最大可能传送的信息率是

比特/秒 

(2) =1.5kHZ

3.11  已知离散信源，某信道的信道矩阵为

试求：

 (1) “输入，输出”的概率；

 (2) “输出”的概率；

 (3) “收到的条件下推测输入”的概率。

解：(1)；

(2) =0.19；

       (3) 

3.14   试求以下各信道矩阵代表的信道的容量：

(1)      (2) 

(3) 

解：一一对应的无噪无损信道，信道容量log24=2比特/信道符号，

归并性能的有损无噪信道，信道容量log23=1.585比特/信道符号，

扩展性能的有噪无损信道，信道容量log23=1.585比特/信道符号

3.18  设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/ 噪声功率}=10dB。试计算该信道的最大信息传输速率。

提示：的dB 数:。

解: 由题意, ,

故

第4章  信息率失真函数

4.1 一个四元对称信源，接收符号，其失真矩阵为求函数，并画出其曲线(取4至5个点)。

解：    ，

        。

4.2  若某无记忆信源，接收符号，其失真矩阵为求信源的最大失真度和最小平均失真度，并求选择何种信道可达到该的失真度。

解：（1）令，则D1=D2=4/3，故

当p(bj/ai)=p(bj)时，有H(Y/X)=H(Y)，即I(X;Y)=0，此时平均失真达到Dmax，故实验信道矩阵满足

即

（2）

即

4.10   设离散无记忆信源其失真度为汉明失真度。

(1) 求，并写出相应试验信道的信道矩阵；

(2) 求，并写出相应试验信道的信道矩阵；

(3) 若允许平均失真度，试问信源的每一个信源符号平均最少由几个二进制码符号表示？

解：(1)失真矩阵为，

(2)  

当p(bj/ai)=p(bj)时，有H(Y/X)=H(Y)，即I(X;Y)=0，此时平均失真达到Dmax，故实验信道矩阵满足

即

(3)，计算得

，因此每个信源符号最少要用0.333个二进制码表示。

第5章  信源编码

5.8  选择帧长=63

(1) 对001000000000000000000000000000000100000000000000000000000000000编码；

解：(1)值：2；的长度：，的编码：000010, 

信息位，故；

的长度： ，的编码：010********

码：00001001000010010

解码：因为N=63，故的长度为，取L—D码前6位000010，得Q=2；再取后面的所有位001000010010，得T=530。

因为，所以n2=34，再令，则T=2；又因为，所以n1=3。所以该冗余位序列长为63，有2个信息位，分别在第3和34位。

5.12  采用13折线A律非均匀量化编码，设最小量化间隔为，已知某采样时刻的信号值。

(1) 试求该非均匀量化编码，并求其量化噪声；

(2) 试求对应于该非均匀量化编码的12位均匀量化编码。

解：(1) 由于，极性码；

取第1段与第8段的中位第5段进行比较，由于，所以；

取第5段与第8段的中位第7段进行比较，由于，所以；

取第7段与第8段的中位第8段进行比较，由于，所以，

段落码；

第7段的起始量化值为，量化间隔为；与段内码最高位权值比较，由于，所以；

与段内码次高位权值比较，由于

，所以；

与段内码次高位和第三位权值之和比较，由于

，所以；

与段内码次高位和最低位权值之和比较，由于

，所以，

段内码；

因此，非均匀量化编码；

量化噪声；

以上为计算机中的编码过程。

手工计算，可简化为如下过程：

① 635Δ>0，故极性码为1。

② 因为24+5Δ=512Δ≤635Δ≤1024Δ=24+6Δ，所以635Δ在第7个段落，段落码为110；

③ 由(1024-512)/16=32，所以该段落内每个量化间隔为32Δ，635Δ-512Δ=123Δ最接近32Δ的4倍，所以段内码为0100。

故13折线A律非均匀量化编码为c=11100100。

量化噪声；

(2) 12位均匀量化编码。

5.15 将正弦信号输入采样频率为4采样保持器后通过增量调制器，设该调制器的初始量化，量化增量。试求在半个周期内信号值的增量调制编码和量化值。

解：采样频率是正弦信号频率的20倍，半个周期内有10个采样点，采样值、增量调制编码及量化值如下表所示：

解：采样频率是正弦信号频率的20倍，半个周期内有10个采样点，采样值、差分调制编码及量化值如下表所示：

6.2  一个线性分组码的一致校验矩阵为

(1)求使该码的最小码距。

(2)求该码的系统码生成矩阵及其所有4个码字。

解题提示：

(1)要使最小码距大于等于3，只需使H的任意2列线性无关（见P177定理），则只需第1列与其余各列均不相同。由上述关系可以求得一组或多组关于的解。如：

     h1=0,  h2=1,  h3=0,  h4=0

(2)对H作行初等变换得

   则由G=[Ik, Q]即可得到系统码的生成矩阵，

     设h1=0,  h2=1,  h3=0,  h4=0，则Gs=

   所有4个码字为

      000000， 101010， 010111， 111101

6.3 一个纠错码消息与码字的对应关系如下：

  (00)—(00000)，(01)—(00111)，(10)—(11110)，(11)—(11001)

(1)证明该码是线性分组码

(2)求该码的码长，编码效率和最小码距。

(3)求该码的生成矩阵和一致校验矩阵。

解：(1)任意两个码字的和是另一个码字且全零向量为码字。

(2)码长为向量长，即。码字数为4，故。最小码距即最小非零码字的重量为。

(3)在码字中取[10]对应的码字和[01]对应的码字即可组成生成矩阵G=。

因为G与H正交，即GHT=0，解得H的一种可能情况等于。

或：对生成矩阵做初等行变换，得，可表示为[Q, I2]，则相应的一致校验矩阵H可取为[I3, QT]，即。

6.9  已知(8,5)线性分组码的生成矩阵为

，

(1)证明该码为循环码；

(2)求该码的生成多项式，一致校验多项式和最小码距。

解题提示：

(1)生成矩阵作初等行变换：第5行加到第4行，第4行加到第3行，第3行加到第2行，第2行和第5行加到第1行。得

(2)生成多项式为，一致校验多项式为

，

一致校验矩阵为

该矩阵的任意1列线性无关，但存在某2列线性相关，故最小码距为2。