随机过程习题四

分别证明下述情形，是齐次马尔科夫过程.

（1）是伯努利随机变量序列，其中，，

（2）

2.设是相互取非负整数的随机变量序列，令

证明：是马氏链.

3.设是同分布随机变量序列，并且令

证明是齐次马氏链，并求其一步转移概率矩阵P。

4.设为马氏链，证明

即马氏链的逆序也构成一个马氏链.

5.在天气预报问题中，若今日是否下雨依赖于前两天的天气状况，并规定：昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨,今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。该问题是否可以用一马尔可夫链表示。若可以，求在星期一、星期二均下雨条件下，星期四下雨的概率。

6.√考虑Bernoulli过程的移动平均

其中是p=1/2的Bernoulli序列。试证明不是一个Markov过程。

7.已知马氏链的状态空间为，其初始分布和转移概率矩阵为

试证：

     （1）

      （2）

8.设是一同分布随机变量序列，其分布律为

（1） 

（2） 

9.设有齐次马尔可夫链，它的状态空间，一步转移概率矩阵为

（1）试求，并证明；

（2）求

10.√赌徒甲有a元，赌徒乙有b元，两人进行. 每赌一局输者给胜者1元，没有和局，直赌到两人中有一个输光为止. 设在每一局中甲胜的概率为，表示第n局时甲的赌金. 为齐次马氏链.

（1）写出状态空间和状态转移矩阵；

（2）求出甲输光的概率.

11.四个人（标号为1,2,3,4）把一个球相互之间传递. 每次有球的人等可能地把球传给其他三个人之一. 以表示最初有球的人，表示传递次后恰好有球的人. 是一个齐次马氏链.

（1）写出状态转移矩阵；

（2）计算2步和3步转移矩阵；

（3）求经过3次传球后有球的人恰好是第1次传球后有球的人的概率；

（4）求经过3次传球后恰好是开始拿球的人的概率.

12.甲乙两人进行比赛，设每局比赛甲胜的概率为p，乙胜的概率为q，和局的概率为，，设每局比赛后胜者记“1”，分负者记“-1”分，和局记“0”分. 当两人中有一个获得2分时，结束比赛. 以表示比赛至第n局时，甲获得的分数. 是一个齐次马氏链.

13.已知随机游动的质点构成一个马氏链，其状态空间为，一步转移概率矩阵为

试求质点从状态2出发，分别被吸收于状态1、状态5的概率。

14.在传送数字0和1的通信系统中，每个传送的数字必须经过若干级，而每一级中数字正确传送的概率为p. 设表示进入系统的数字，表示离开系统第n级的数字. 是齐次马氏链.

（1）写出状态转移矩阵；

（2）求出步转移矩阵；

（3）求平稳分布.

15.设齐次马氏链的状态空间，状态转移矩阵

（1）讨论其遍历性；（2）求平稳分布；（3）计算下列概率.

 i）；ii）.

16.√设齐次马氏链的状态空间，状态转移矩阵

（1）画出状态转移概率图形；（2）讨论各状态性质；（3）分解状态空间.