【正文】 常返， 需要計算11f ：41)1(11 ?f}1|1,1{ 012)2(11 ???? XXXPf}1|2,1{ 012 ???? XXXP }1|3,1{ 012 ???? XXXP}1|4,1{ 012 ???? XXXP}1,4|1{ 012 ???? XXXP }1|4{ 01 ??? XXP414114 ??? pp首頁 類似地可求得 所以 41413413)3(11 ???? pppf4141342312)4(11 ?? ppppf0)(11 ?nf （ ?,6,5?n ）)(11111nnff ???? 141414141 ?????于是狀態(tài) 1是常返的。 首頁 例 3 轉移矩陣 已知馬氏鏈 { ?,2,1,0, ?nX n } 的狀態(tài)空間}4,3,2,1{?I?????????????????00011000010041414141P試對其狀態(tài)分類。 首頁 定理 9 設 i是常返態(tài)，則 （ 1） i是零常返態(tài)的充要條件是 （ 2） i是正常返態(tài)的充要條件是 0lim )( ??? niin p0lim )( ??? niin p證明 （略） 推論 如果 j 是零常返態(tài)， i 是任一狀態(tài)，則0lim )( ??? nijn p證 因為 首頁 )(0)()(0 knjjnkkijnij pfp?????)(1)( knjjNkkij pf???? )(1)( knjjnNkkij pf?????)(1)( knjjNkkij pf???? ????nNkkijf1)(固定 N ，先令 ??n ，由定理 9，上式第一項有 0lim )(1)( ?????? knjjNkkijn pf又由于級數 ?????1)( 1kijkij ff 收斂，故其尾部 ???? 1)(Nkkijf 當 ??N 時趨于 0 ，即第二項當 ??N 時趨于 0 ，從而推論得證。首頁 證 記 C為全體常返態(tài)所構成的集合， 則由定理 7知 C為閉集 將 C按相通關系分類： 那么再從余下的狀態(tài)中任取一個狀態(tài) 如此進行下去， 并且顯然滿足條件（ 1）和（ 2）。 若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是瞬時態(tài)。 1?iif再由定理 6知， j也是常返態(tài)， 這就是說， 自常返態(tài)出發(fā)，只能到達常返態(tài)，不能到達瞬時態(tài)。 因 由切普曼 可爾莫哥洛夫方程得 上式兩邊對所有的 s相加 ， 得 ????? 0)(nniipji ?ji ? 所以存在 0?m ， 0?n 使 0)( ?mijp ， 0)( ?njip 對于任意的 0?s ，)()()( smijnjiIisnmjj ppp???? ?? )()()( mljsilnjiIlIippp????? )()()( mijsiinji ppp?)(0snmjjsp ????? )()()(0mijsiinjisppp????)(0)()( siismijnji ppp ????又因為 i為常返態(tài)， 所以 ?????)(0siisp首頁 故得 從而 即狀態(tài) j也是常返態(tài) 定理 7 所有常返態(tài)構成一個閉集 證 設 i為常返態(tài)， ??????? )(0snmjjsp?????)(0njjnp如果 ji ? ，則 ij ? ，即 i和 j相通。 首頁 定理 5 證 令 n = 0， 1， 2， … 因此，從狀態(tài) i出發(fā)，訪問狀態(tài) i的平均次數為 i 是常返態(tài)的充要條件是 ????? 0)(nniip??????iXiXInnn ，當，當01那么過程訪問狀態(tài) i 的次數為 ??? 0nnIE [ 訪問狀態(tài) i 的次數 | iX ?0 ]?????? ?? ???iXIEnn 00| ]|[ 00iXIEnn ?? ???}|1{1 00iXIPnn ???? ???}|{ 00iXiXPnn ??? ???????0)(nniip由定理 4，得證。 將 “ 不返回 i”稱為成功 ， 則首次成功出現的次數服從幾何分布， 若 1?iif則每次回到 i 后都有正的概率 iif?1 不返回 i， 其均值為iif?11 ， 這就是說 平均回到 i 共iif?11 次 就不再回到 i 了。 證 若 1?iif則系統(tǒng)從狀態(tài) i出發(fā)，經過有限次轉移之后，必定以概率 1返回狀態(tài) i。 }0,m i n { 0 ???? njXiXnT nij ：如果這樣的 n不存在，就規(guī)定 ???ijT說明 ijT 是一個隨機變量，它的取值是系統(tǒng)從狀態(tài) i 出發(fā)使 jX n ? 的最小正整數 n 。 1C ， 2C又因狀態(tài)空間 I有閉子集 ， 故此鏈為非不可約鏈。 首頁 例 2 其一步轉移矩陣為 試討論哪些狀態(tài)是吸收態(tài) 、 閉集及不可約鏈 。 因此，狀態(tài)空間 I的各狀態(tài)都是互通的。 首頁 例 1 其一步轉移矩陣為 試研究各狀態(tài)間的關系 ， 并畫出狀態(tài)傳遞圖 。 3．不可約的 若除整個狀態(tài)空間 I 以外沒有其它的閉集 ， 則稱此馬氏鏈是不可約的 。 顯然，整個狀態(tài)空間構成一個閉集。 任意兩個類或不相交或者相同。 所以題中所求概率為 )2(45p )2(41p? )1(0)( rprpp ?????返回 首頁 第二節(jié) 馬爾可夫鏈的狀態(tài)分類 一、相通與閉集 1．相通 則稱自狀態(tài) i可到達狀態(tài) j 如果對狀態(tài) i 和 j，存在某個 0?n ,使 0)( ?nijp記為 ji ?如果 ji ? 且 ij ?則稱狀態(tài) i和狀態(tài) j相通 記為 ji ?說明 如果自狀態(tài) i不能到達狀態(tài) j， 則意味著對于一切 0?n ，有 0)( ?nijp首頁 定理 1 在狀態(tài)空間 I 中，相通關系 “ ? ”是等價關系即它滿足 （ 1）自反性 ii ? ， （ 1)0( ?iip ）（ 2）對稱性 若 ji ? ，則 ij ?若 ki ? ， jk ? ，則 ji ?證 （ 3）傳遞性 （ 1），（ 2）顯然，下證（ 3） 首頁 證 3 若 ki ? ， jk ?則由相通定義， 存在 0?m 和 0?n ，使 0)( ?mikp ， 0)( ?nkjp根據切普曼 柯爾莫哥洛夫方程，有 )()()( nrjmirIrnmij ppp ??? ?0)()( ?? nkjmik ppIk?即存在 0?? nm ，使 0)( ?? nmijp所以有 ji ?同理可證 若 kj ? ， ik ? ，則 ij ?首頁 說明 按相通關系是等價關系，可以把狀態(tài)空間 I 劃分為若干個不相交的集合（或者說等價類），并稱之為狀態(tài)類。以 表示比賽至第 n局時甲獲得的分數。設每局比賽后，勝者記“ +1”分，負者記“ —1”分，和局不記分。 },|,{ 0011 iXiXiXiXP nnmnmnnn ???? ???? ??= }|,{ 11 nnmnmnnn iXiXiXP ??? ???? ?特別 },|{ 00 iXiXiXP nnmnmn ??? ?? ?= }|{ nnmnmn iXiXP ?? ??首頁 則 性質 5 設 { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 馬氏鏈的子鏈也是馬氏鏈 對任意給定的 n 個整數， nkkk ???? ?210 ，有},|{ 1111 kkkkkk iXiXiXP nnnn ??? ?? ?= }|{ 11 ?? ?? nnnn kkkk iXiXP首頁 在馬氏鏈的研究中，須研究“從已知狀態(tài) i出發(fā)，經過 n次轉移后，系統(tǒng)將處于狀態(tài) j”的概率 . 三、 n步轉移矩陣 1． n步轉移概率 系統(tǒng)在時刻 m從狀態(tài) i經過 n步轉移后處于狀態(tài) j的概率 設 { 0, ?nX n } 為齊次馬氏鏈，其狀態(tài)空間為 I ，}|{ iXjXP mnm ??? Iji ?.稱為 n步轉移概率 由于馬氏鏈是齊次的，這個概率與 m無關 所以簡記為 )( nijp首頁 顯然有 2． n步轉移矩陣 0)( ?nijp ， 1)( ???nijIjp ， Iji ?.由所有 n 步轉移概率 )( nijp 為元素組成的矩陣)( )( nijn pP ? Iji ?.稱為 n步轉移矩陣 規(guī)定 ???????jijipPij ，當，當01)( )0(0)()( )1(1 ijij ppP ?? 首頁 3．絕對概率公式 定理 1 絕對概率由初始分布和 n維轉移概率完全確定 即有 )(0 )()(nijIin pipjp ???證 }{ jXPn ?},{ 0 iXjXP nIi??? ??}|{}{ 00 iXjXPiXP nIi???? ??)(0 )(nijIipip???注 若對定態(tài)分布，則 ijIipipjp )()( ???},{ 0 iXjXPin ??? ?首頁 4．切普曼 柯爾莫哥洛夫方程 定理 2 則 證 設 { 0, ?nX n } 為一個馬氏鏈，具有初始分布 )(0 ip ， Ii ?和 n 步轉移概率 )( nijp ， Iji ?. ， 0?n ，)()()( mkjIknikmnij ppp ??? ??? )( mnijp }|{ 0 iXjXP mn ???}|,{ 0 iXkXjXP nIkmn ???? ?? ?}|,{ 0 iXkXjXP nmnIk???? ???}|{ 0 iXkXP nIk??? ??},|{ 0 kXiXjXP nmn ???? ?}|{}|{ 0 kXjXPiXkXP nmnnIk????? ???)()( mkjIknik pp???首頁 注 （ 1）用一步轉移概率表示多步轉移概率 kjIkikij ppp ???)2(jkkkIkkiknij nnpppp ??2111,)1( ??? ?（ 2 ） n 步轉移矩陣 nP 與一步轉移矩陣 1P 之間的關系nn PP 1?首頁 注 （ 3 ） }{)( jXPjp nn ?? 為元素的行矩陣記為))(,),2(),1(()( NpppnP nnn ?? I={1， 2， … ， N} 由矩陣的乘法規(guī)則，得 nPPnP )0()( ?表示：在時刻 n，各狀態(tài)的概率等于其初始狀態(tài)的概率與 n步轉移概率矩陣之積。 首頁 性質 3 設 { 0, ?nX n } 為馬氏鏈，其狀態(tài)空間為 I ，表明 若已知現在，則過去與未來是獨立的。在以概率 p 移到 1?j 的假設下，到達 0 狀態(tài)先于到達 c 狀態(tài)的概率為 1?ju同理 以概率 q 移到 1?j 的前提下，到達 0 狀態(tài)先于到達 c 狀態(tài)的概率為 1?ju根據全概率公式有 qupuu jjj 11 ?? ??這一方程實質上是一差分方程，它的邊界條件是 0,10 ?? cuu首頁 于是 設 （ p + q ） 11 ?? ?? jjj qupuu))(( 11 jjjj uupquu ??? ??pqr ?1??? jjj uud則可得到兩個相鄰差分間的遞推關系 1?? jj rdd于是 0221 drdrrddjjjj ???? ?? ?欲求 au 先求 ju需討論 r 首頁 當