信息论复习题

1选择题（共10分，每小题2分）

1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H(X2)=(  )

A、1.75比特/符号；     B、3.5比特/符号；

C、9比特/符号；     D、18比特/符号。

2、信道转移矩阵为，其中两两不相等，则该信道为

A、一一对应的无噪信道

B、具有并归性能的无噪信道

C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：（   ）

A、互信息量一定不大于C

B、交互熵一定不小于C

C、有效信息量一定不大于C

D、条件熵一定不大于C

4、在串联系统中，有效信息量的值（   ）

A、趋于变大

B、趋于变小

C、不变

D、不确定

 5、若BSC信道的差错率为P，则其信道容量为：（   ）

A、 

B、 

C、 

D、

6、设信道输入为 xm，输出为y，若译码准则是当P(y | xm’)≥P(y | xm)，对所有m ≠ m’时，将 y判为m’，则称该准则为（     ） 

A  最大后验概率译码准则                B 最小错误概率准则 

C  最大相关译码准则                   D 最大似然译码准则 

7、 线性分组码不具有的性质是（    ） 

A  任意多个码字的线性组合仍是码字 

B  最小汉明距离等于最小非 0重量 

C  最小汉明距离为3 

D  任一码字和其校验矩阵的乘积 cmHT=0

8.条件熵H（X∣Y）      H（X）。

       （A）小于                        （B）大于

       （C）小于等于                    （D）大于等于

     （A）小于                        （B）大于

     （C）小于等于                    （D）大于等于

  3.相对熵总是            。

      （A）为正                          （B）为负

      （C）非正                          （D）非负

1.        是最佳码。

      (A)Fano 编码                     (B)Huffman编码  

      (C)Shannon编码                  (D)算术编码

     2.字母表为∑＝｛0，1｝，情况下的Shannon编码码长为   B    。

      (A) L(x)=-logp(x)                               (B) L(x)= -logp(x) 

 (C) L(x)= -logp(x)                    (D) L(x)=[-logp(x) ] 

3..字母表为∑＝｛0，1｝，情况下的Shannon-Fano-Elias编码码长为      。

      (A)L(x)=-logp(x)+1                     (B)L(x)=-logp(x)+1

      (C)L(x)=-logp(x) +1                     (D)L(x)=-logp(x)+1

1.译码错误概率最小的译码为       。

     (A) 最大似然译码                     (B)最大后验概率译码

     (C) 最小距离译码                     (D)择多译码

   2.下列      D    不属于距离空间的公理。

     (A) 非负性                           (B)对称性  

     (C) 三角不等式                       (D)反对称性

2填空题（20分，每空2分）

1、(7,4)线性分组码中，接受端收到分组R的位数为____   ，伴随式S可能的值有____  种,差错图案e的长度为          ，系统生成矩阵Gs为____     行的矩阵，系统校验矩阵Hs为____      行的矩阵，Gs和Hs满足的关系式是             。

2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为                    。

3、香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式                                                   。

3、设有一个信道，其信道矩阵为，则它是         信道（填对称，准对称），其信道容量是           比特/信道符号。

4  1948年，美国数学家  香农         发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

5  必然事件的自信息是  0       。                                        

6离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍       。  

7对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

8若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为  3      。

9对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是  香农编码               。

10已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

11设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

12平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关

13必然事件的自信息量是________，不可能事件的自信息量是_________。 

14一信源有五种符号{a， b， c， d， e}，先验概率分别为 Pa=0.5， Pb=0.25， Pc=0.125， Pd=Pe=0.0625。符号“a”的自信息量为________bit，此信源的熵为________bit/符号。 

15如某线性分组码的最小汉明距 dmin=6，最多能纠正____   __个随机错。 

16平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是________________。 

17克劳夫特不等式是唯一可译码_________的充要条件。{00，01，10，11}是否是唯一可

译码？_________。 

18.在Shannon信息论中，最重要的概念是  信息熵        

19.通信系统一般由信源—编码器—信道—译码器—信宿   5个部分组成。

1.字母表为∑＝｛0，1｝，且取值空间χ=｛a, b, c, d, e｝下的概率分布为

  P(a)=0.2,  P(b)=0.5,  P(c)=0.1,  P(d)=0.1,  P(e)=0.1

则C（χ）的一种可行的Huffman编码是             。

3.唯一可译码的码长必须满足            。

1.二元无噪信道的信道转移矩阵为        。

   2.二元对称信道的信道转移矩阵为        。

   3.二元删除信道的信道转移矩阵为。

（一）  1.信道转移矩阵为

                           p(y|x)=

 时，该信道的容量为             。

  2.信道转移矩阵为

                    P(y|x)=

时，该信道的容量为          。

  3.（2nR，n）码的码率为            。

3    判断题 

1信息就是一种消息。                                        （     ）

2信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。 （     ）

3概率大的事件自信息量大。                                  （      ）

4互信息量可正、可负亦可为零。                              （      ）

5信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

                                                                 （      ）  

6对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （      ）  

7非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。     （      ）

8信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

                                    （      ）

9信息率失真函数R(D)是关于平均失真度D的上凸函数.                    (      )

10校验矩阵的各行是线性无关的。（   ） 

11冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（   ） 

12当信道固定时，平均互信息是信源分布的∪型凸函数。 （   ） 

13互信息 I(X;Y)与信息熵 H(Y)的关系为：I(X;Y)≤H(Y)。（    ）

14信道容量随信源概率分布的变化而变化。（   ） 

15一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。（   ）  

【2. 5】设离散无记忆信源

=

其发生的消息为（202120130213001203210110321010021032011223210），求：

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多少？

【3.1】 设信源

通过一干扰信道，接收符号为Y=，信道传递概率如图3. 2

所示，求

    (1)信源X中事件和分别含有的自信息。

(2)收到消息(J=1, 2)后，获得的关于（i=1,2)信息量。

    (3)信源X和信源Y的信息墒。

    (4)信道疑义度H(X︱Y)和噪声熵H(Y︱X)。

    (5)接收到信息Y后获得的平均互信息。

5  设二元对称信道的传递矩阵为

(1)若P(0)=3/4, P(1)=1/4，求H(X)，H(X︱Y)，H(Y︱X)和I(X; Y);

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

【5.22】有两个信源X和Y如下：

（1）分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率。

（2）分别用香农编码法编成二元变长唯一可译码，并计算编码效率（即选取是大于或等于的整数）。

（3）分别用费诺编码方法编成二元变长唯一可译码，并计算编码效率。

（4）从X，Y两种不同信源来比较这三种编码方法的优缺点。

【6.1】设有一离散信道，其信道传递矩阵为

并设，，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

【7.2】求出（7,4）Hamming码的码书.

【5.12】求概率分布为信源的二元霍夫曼码。讨论此码对于概率分布为的信源也是最佳二元码。

【5.14】设信源符号集

（1）求H(S)和信源剩余度。

（2）设码符号位X={0，1}，编出S的紧致码，并求S的紧致码的平均码长。

（3）把信源的N次无记忆扩展信源编成紧致码，试求N=2，3，4，时的平均码长。

（4）计算上述N=1，2，3，4这四种码的编码效率和码剩余度。