【正文】 絕對概率由初始分布和 n維轉移概率完全確定 即 )(0 )()(nijIin pipjp ???注 若對定態(tài)分布，則 ijIipipjp )()( ???性質 1 定態(tài)分布一定是平穩(wěn)分布 性質 2 若初始分布是平穩(wěn)分布，則絕對分布也是平穩(wěn)分布 證 如果馬氏鏈 { 0, ?nX n } 的初始分布}{)( 00 iXPip ??是平穩(wěn)分布， 則 )(0 ip jiIjpjp )(0???首頁 從而得 }{)( iXPip nn ?? )(0 )(njiIjpjp???)(0 )(njiIjkjIkppkp? ?? ???????? （初始分布為平穩(wěn)分布） )(0 )(njikjIjIkppkp ?????)1(0 )(???? nkiIkpkp（切普曼 可爾莫哥洛夫方程） )(1 ip n ??由上式得 )( ip n )()( 11 ipip n ??? ? ? jiIjpjp )(0??? )(0 ip?于是這時絕對分布是定態(tài)分布，從而它也是平穩(wěn)分布。 首頁 8． 設馬氏鏈的狀態(tài)空間為 I = {1， 2， 3}， 其一步轉移矩陣為 試研究各狀態(tài)間的關系。 所以 I中每一個狀態(tài)都是常返態(tài)， 且此馬氏鏈為有限狀態(tài)不可約 常返鏈。 解 這是一個齊次馬氏鏈，其狀態(tài)空間為 I={—a， —a+1， … ， —1， 0， 1， 2， … ， a} 一步轉移矩陣是 ??????????????????????????01000101000202000101000101???????????aaaaaaaaaP首頁 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 6． 設馬氏鏈的狀態(tài)空間 I={1， 2， 3， 4}， 其一步轉移矩陣為 解 試對其狀態(tài)分類。試求轉移概率矩陣 。 設 表示在時刻 n質點的位置，則 { ， }是一個齊次馬氏鏈，寫出其一步轉移概率矩陣。 又因為 ????? ? ?????nn nn nnf211 1)(000?所以狀態(tài) 0為正常返。 2．遍歷狀態(tài) 若狀態(tài) i是正常返且非周期，則稱 i為遍歷狀態(tài)。 i定理 12 設馬氏鏈的狀態(tài)空間為 I ， Iji ?,（ 1 ）若 ji ? ，則 ji dd ? ；（ 2 ）若是不可約馬氏鏈，且 0?iip ，則此馬氏鏈是非周期鏈。 因此 ， I是一個不可約的閉集 再證 I中狀態(tài) 0是一個常返態(tài)： 由狀態(tài)的轉移規(guī)則，得 ij ?ji ?01210 ? ???? ??? ??? ??? ?? qpppp n?所以 )(00100nnff ???? }0|{0001??? ???XnTPn首頁 }0|0,1,2,1{ 01211??????? ???? XXnXXXP nnn??}1,0|2{}0|1{ 102011?????? ???XXXPXXPn}1,0|0{ 10 ????? ? nXXXP nn ??}1|2{}0|1{ 12011????? ???XXPXXPn}1|0{ 1 ??? ? nXXP nn?????11nnqp11???pq由定義知狀態(tài) 0為常返態(tài)。 考慮狀態(tài) 1是否常返， 需要計算11f ：41)1(11 ?f}1|1,1{ 012)2(11 ???? XXXPf}1|2,1{ 012 ???? XXXP }1|3,1{ 012 ???? XXXP}1|4,1{ 012 ???? XXXP}1,4|1{ 012 ???? XXXP }1|4{ 01 ??? XXP414114 ??? pp首頁 類似地可求得 所以 41413413)3(11 ???? pppf4141342312)4(11 ?? ppppf0)(11 ?nf （ ?,6,5?n ）)(11111nnff ???? 141414141 ?????于是狀態(tài) 1是常返的。 首頁 定理 9 設 i是常返態(tài)，則 （ 1） i是零常返態(tài)的充要條件是 （ 2） i是正常返態(tài)的充要條件是 0lim )( ??? niin p0lim )( ??? niin p證明 （略） 推論 如果 j 是零常返態(tài)， i 是任一狀態(tài)，則0lim )( ??? nijn p證 因為 首頁 )(0)()(0 knjjnkkijnij pfp?????)(1)( knjjNkkij pf???? )(1)( knjjnNkkij pf?????)(1)( knjjNkkij pf???? ????nNkkijf1)(固定 N ，先令 ??n ，由定理 9，上式第一項有 0lim )(1)( ?????? knjjNkkijn pf又由于級數(shù) ?????1)( 1kijkij ff 收斂，故其尾部 ???? 1)(Nkkijf 當 ??N 時趨于 0 ，即第二項當 ??N 時趨于 0 ，從而推論得證。 若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是瞬時態(tài)。 因 由切普曼 可爾莫哥洛夫方程得 上式兩邊對所有的 s相加 ， 得 ????? 0)(nniipji ?ji ? 所以存在 0?m ， 0?n 使 0)( ?mijp ， 0)( ?njip 對于任意的 0?s ，)()()( smijnjiIisnmjj ppp???? ?? )()()( mljsilnjiIlIippp????? )()()( mijsiinji ppp?)(0snmjjsp ????? )()()(0mijsiinjisppp????)(0)()( siismijnji ppp ????又因為 i為常返態(tài)， 所以 ?????)(0siisp首頁 故得 從而 即狀態(tài) j也是常返態(tài) 定理 7 所有常返態(tài)構成一個閉集 證 設 i為常返態(tài)， ??????? )(0snmjjsp?????)(0njjnp如果 ji ? ，則 ij ? ，即 i和 j相通。 將 “ 不返回 i”稱為成功 ， 則首次成功出現(xiàn)的次數(shù)服從幾何分布， 若 1?iif則每次回到 i 后都有正的概率 iif?1 不返回 i， 其均值為iif?11 ， 這就是說 平均回到 i 共iif?11 次 就不再回到 i 了。 }0,m i n { 0 ???? njXiXnT nij ：如果這樣的 n不存在，就規(guī)定 ???ijT說明 ijT 是一個隨機變量，它的取值是系統(tǒng)從狀態(tài) i 出發(fā)使 jX n ? 的最小正整數(shù) n 。 首頁 例 2 其一步轉移矩陣為 試討論哪些狀態(tài)是吸收態(tài) 、 閉集及不可約鏈 。 首頁 例 1 其一步轉移矩陣為 試研究各狀態(tài)間的關系 ， 并畫出狀態(tài)傳遞圖 。 顯然，整個狀態(tài)空間構成一個閉集。 所以題中所求概率為 )2(45p )2(41p? )1(0)( rprpp ?????返回 首頁 第二節(jié) 馬爾可夫鏈的狀態(tài)分類 一、相通與閉集 1．相通 則稱自狀態(tài) i可到達狀態(tài) j 如果對狀態(tài) i 和 j，存在某個 0?n ,使 0)( ?nijp記為 ji ?如果 ji ? 且 ij ?則稱狀態(tài) i和狀態(tài) j相通 記為 ji ?說明 如果自狀態(tài) i不能到達狀態(tài) j， 則意味著對于一切 0?n ，有 0)( ?nijp首頁 定理 1 在狀態(tài)空間 I 中，相通關系 “ ? ”是等價關系即它滿足 （ 1）自反性 ii ? ， （ 1)0( ?iip ）（ 2）對稱性 若 ji ? ，則 ij ?若 ki ? ， jk ? ，則 ji ?證 （ 3）傳遞性 （ 1），（ 2）顯然，下證（ 3） 首頁 證 3 若 ki ? ， jk ?則由相通定義， 存在 0?m 和 0?n ，使 0)( ?mikp ， 0)( ?nkjp根據(jù)切普曼 柯爾莫哥洛夫方程，有 )()()( nrjmirIrnmij ppp ??? ?0)()( ?? nkjmik ppIk?即存在 0?? nm ，使 0)( ?? nmijp所以有 ji ?同理可證 若 kj ? ， ik ? ，則 ij ?首頁 說明 按相通關系是等價關系，可以把狀態(tài)空間 I 劃分為若干個不相交的集合（或者說等價類），并稱之為狀態(tài)類。設每局比賽后，勝者記“ +1”分，負者記“ —1”分，和局不記分。 首頁 性質 3 設 { 0, ?nX n } 為馬氏鏈，其狀態(tài)空間為 I ，表明 若已知現(xiàn)在，則過去與未來是獨立的?，F(xiàn)在的問題是求質點從 a出發(fā)到達 0狀態(tài)先于到達 c狀態(tài)的概率。 pq ?? 1這個問題實質上是帶有兩個吸收壁的隨機游動。 6．絕對分布 概率分布 }{)( iXPip nn ?? ， Ii ? ， 0?n稱為馬氏鏈的絕對分布或稱絕對概率 定態(tài)分布 若絕對分布 )( ip n 與 n 無關，即 }{)( iXPip n ?? ， Ii ? ， 0?n則稱 { )( ip n ， Ii ? } 為馬氏鏈 { 0, ?nX n } 的定態(tài)分布首頁 例 1 不可越壁的隨機游動 設一質點在線段 [1， 5 ]上隨機游動，狀態(tài)空間 I={1， 2，3， 4， 5}，每秒鐘發(fā)生一次隨機游動，移動的規(guī)則是： （ 1）若移動前在 2， 3， 4處，則均以概率 向左 或向右移動一單位，或停留在原處； （ 2）若移動前在 1處，則以概率 1移到 2處； （ 3）若移動前在 5處，則以概率 1移到 4處。有限馬氏鏈 狀態(tài)空間是有限集 I={0,1,2,… ， k} 2．一步轉移概率 馬氏鏈在時刻 n處于狀態(tài) i 的條件下，到時刻 n+1轉移到狀態(tài) j 的條件概率， 即 }|{1 iXjXP nn ???稱為在時刻 n的一步轉移概率， 記作 )( np ij首頁 注 : 由于概率是非負的，且過程從一狀態(tài)出發(fā)，經(jīng)過一步轉移后，必到達狀態(tài)空間中的某個狀態(tài) 一步轉移概率滿足 3．一步轉移矩陣 稱為在時刻 n的一步轉移矩陣 （ 1 ） 0)( ?np ij , Iji ?,（ 2 ） 1)( ???np ijIj, Ii ?如果固定時刻 Tn ?則由一步轉移概率為元素構成的矩陣 1P ：首頁 即有 有限馬氏鏈 狀態(tài)空間 I={0， 1， 2， … ， k} ??????????????????????????)()()()()()(10111001001npnpnpnpnpnpPnn?????????????)()()()()()()()()(1011110001001npnpnpnpnpnpnpnpnpPkkkkkk???????首頁 4．齊次馬氏鏈 即 則稱此馬氏鏈為齊次馬氏鏈（即關于時間為齊次） 如果馬氏鏈的一步轉移概率 )( np ij 與 n 無關，ijnn piXjXP ???? }|{ 15．初始分布 設 }{)(00 iXPip ?? ， Ii ? ，如果對一切 Ii ? 都有0)(0