【正文】 因 由切普曼 可爾莫哥洛夫方程得 上式兩邊對(duì)所有的 s相加 ， 得 ????? 0)(nniipji ?ji ? 所以存在 0?m ， 0?n 使 0)( ?mijp ， 0)( ?njip 對(duì)于任意的 0?s ，)()()( smijnjiIisnmjj ppp???? ?? )()()( mljsilnjiIlIippp????? )()()( mijsiinji ppp?)(0snmjjsp ????? )()()(0。 首頁 定理 5 證 令 n = 0， 1， 2， … 因此，從狀態(tài) i出發(fā)，訪問狀態(tài) i的平均次數(shù)為 i 是常返態(tài)的充要條件是 ????? 0)(nniip??????iXiXInnn ，當(dāng)，當(dāng)01那么過程訪問狀態(tài) i 的次數(shù)為 ??? 0nnIE [ 訪問狀態(tài) i 的次數(shù) | iX ?0 ]?????? ?? ???iXIEnn 00| ]|[ 00iXIEnn ?? ???}|1{1 00iXIPnn ???? ???}|{ 00iXiXPnn ??? ???????0)(nniip由定理 4，得證。 將 “ 不返回 i”稱為成功 ， 則首次成功出現(xiàn)的次數(shù)服從幾何分布， 若 1?iif則每次回到 i 后都有正的概率 iif?1 不返回 i， 其均值為iif?11 ， 這就是說 平均回到 i 共iif?11 次 就不再回到 i 了。 證 若 1?iif則系統(tǒng)從狀態(tài) i出發(fā)，經(jīng)過有限次轉(zhuǎn)移之后，必定以概率 1返回狀態(tài) i。 }0,m i n { 0 ???? njXiXnT nij ：如果這樣的 n不存在，就規(guī)定 ???ijT說明 ijT 是一個(gè)隨機(jī)變量，它的取值是系統(tǒng)從狀態(tài) i 出發(fā)使 jX n ? 的最小正整數(shù) n 。 1C ， 2C又因狀態(tài)空間 I有閉子集 ， 故此鏈為非不可約鏈。 首頁 例 2 其一步轉(zhuǎn)移矩陣為 試討論哪些狀態(tài)是吸收態(tài) 、 閉集及不可約鏈 。 因此，狀態(tài)空間 I的各狀態(tài)都是互通的。 首頁 例 1 其一步轉(zhuǎn)移矩陣為 試研究各狀態(tài)間的關(guān)系 ， 并畫出狀態(tài)傳遞圖 。 3．不可約的 若除整個(gè)狀態(tài)空間 I 以外沒有其它的閉集 ， 則稱此馬氏鏈?zhǔn)遣豢杉s的 。 顯然，整個(gè)狀態(tài)空間構(gòu)成一個(gè)閉集。 任意兩個(gè)類或不相交或者相同。 所以題中所求概率為 )2(45p )2(41p? )1(0)( rprpp ?????返回 首頁 第二節(jié) 馬爾可夫鏈的狀態(tài)分類 一、相通與閉集 1．相通 則稱自狀態(tài) i可到達(dá)狀態(tài) j 如果對(duì)狀態(tài) i 和 j，存在某個(gè) 0?n ,使 0)( ?nijp記為 ji ?如果 ji ? 且 ij ?則稱狀態(tài) i和狀態(tài) j相通 記為 ji ?說明 如果自狀態(tài) i不能到達(dá)狀態(tài) j， 則意味著對(duì)于一切 0?n ，有 0)( ?nijp首頁 定理 1 在狀態(tài)空間 I 中，相通關(guān)系 “ ? ”是等價(jià)關(guān)系即它滿足 （ 1）自反性 ii ? ， （ 1)0( ?iip ）（ 2）對(duì)稱性 若 ji ? ，則 ij ?若 ki ? ， jk ? ，則 ji ?證 （ 3）傳遞性 （ 1），（ 2）顯然，下證（ 3） 首頁 證 3 若 ki ? ， jk ?則由相通定義， 存在 0?m 和 0?n ，使 0)( ?mikp ， 0)( ?nkjp根據(jù)切普曼 柯爾莫哥洛夫方程，有 )()()( nrjmirIrnmij ppp ??? ?0)()( ?? nkjmik ppIk ?即存在 0?? nm ，使 0)( ?? nmijp所以有 ji ?同理可證 若 kj ? ， ik ? ，則 ij ?首頁 說明 按相通關(guān)系是等價(jià)關(guān)系，可以把狀態(tài)空間 I 劃分為若干個(gè)不相交的集合（或者說等價(jià)類），并稱之為狀態(tài)類。以 表示比賽至第 n局時(shí)甲獲得的分?jǐn)?shù)。設(shè)每局比賽后，勝者記“ +1”分，負(fù)者記“ —1”分，和局不記分。 },|,{ 0011 iXiXiXiXP nnmnmnnn ???? ???? ??= }|,{ 11 nnmnmnnn iXiXiXP ??? ???? ?特別 },|{ 00 iXiXiXP nnmnmn ??? ?? ?= }|{ nnmnmn iXiXP ?? ??首頁 則 性質(zhì) 5 設(shè) { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 馬氏鏈的子鏈也是馬氏鏈 對(duì)任意給定的 n 個(gè)整數(shù)， nkkk ???? ?210 ，有},|{ 1111 kkkkkk iXiXiXP nnnn ??? ?? ?= }|{ 11 ?? ?? nnnn kkkk iXiXP首頁 在馬氏鏈的研究中，須研究“從已知狀態(tài) i出發(fā)，經(jīng)過 n次轉(zhuǎn)移后，系統(tǒng)將處于狀態(tài) j”的概率 . 三、 n步轉(zhuǎn)移矩陣 1． n步轉(zhuǎn)移概率 系統(tǒng)在時(shí)刻 m從狀態(tài) i經(jīng)過 n步轉(zhuǎn)移后處于狀態(tài) j的概率 設(shè) { 0, ?nX n } 為齊次馬氏鏈，其狀態(tài)空間為 I ，}|{ iXjXP mnm ??? Iji ?.稱為 n步轉(zhuǎn)移概率 由于馬氏鏈?zhǔn)驱R次的，這個(gè)概率與 m無關(guān) 所以簡(jiǎn)記為 )( nijp首頁 顯然有 2． n步轉(zhuǎn)移矩陣 0)( ?nijp ， 1)( ???nijIjp ， Iji ?.由所有 n 步轉(zhuǎn)移概率 )( nijp 為元素組成的矩陣)( )( nijn pP ? Iji ?.稱為 n步轉(zhuǎn)移矩陣 規(guī)定 ???????jijipPij ，當(dāng)，當(dāng)01)( )0(0)()( )1(1 ijij ppP ?? 首頁 3．絕對(duì)概率公式 定理 1 絕對(duì)概率由初始分布和 n維轉(zhuǎn)移概率完全確定 即有 )(0 )()(nijIin pipjp ???證 }{ jXPn ?},{ 0 iXjXP nIi??? ??}|{}{ 00 iXjXPiXP nIi???? ??)(0 )(nijIipip???注 若對(duì)定態(tài)分布，則 ijIipipjp )()( ???},{ 0 iXjXPin ??? ?首頁 4．切普曼 柯爾莫哥洛夫方程 定理 2 則 證 設(shè) { 0, ?nX n } 為一個(gè)馬氏鏈，具有初始分布 )(0 ip ， Ii ?和 n 步轉(zhuǎn)移概率 )( nijp ， Iji ?. ， 0?n ，)()()( mkjIknikmnij ppp ??? ??? )( mnijp }|{ 0 iXjXP mn ???}|,{ 0 iXkXjXP nIkmn ???? ?? ?}|,{ 0 iXkXjXP nmnIk???? ???}|{ 0 iXkXP nIk??? ??},|{ 0 kXiXjXP nmn ???? ?}|{}|{ 0 kXjXPiXkXP nmnnIk????? ???)()( mkjIknik pp???首頁 注 （ 1）用一步轉(zhuǎn)移概率表示多步轉(zhuǎn)移概率 kjIkikij ppp ???)2(jkkkIkkiknij nnpppp ??2111,)1( ??? ?（ 2 ） n 步轉(zhuǎn)移矩陣 nP 與一步轉(zhuǎn)移矩陣 1P 之間的關(guān)系nn PP 1?首頁 注 （ 3 ） }{)( jXPjp nn ?? 為元素的行矩陣記為))(,),2(),1(()( NpppnP nnn ?? I={1， 2， … ， N} 由矩陣的乘法規(guī)則，得 nPPnP )0()( ?表示：在時(shí)刻 n，各狀態(tài)的概率等于其初始狀態(tài)的概率與 n步轉(zhuǎn)移概率矩陣之積。 首頁 性質(zhì) 3 設(shè) { 0, ?nX n } 為馬氏鏈，其狀態(tài)空間為 I ，表明 若已知現(xiàn)在，則過去與未來是獨(dú)立的。在以概率 p 移到 1?j 的假設(shè)下，到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率為 1?ju同理 以概率 q 移到 1?j 的前提下，到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率為 1?ju根據(jù)全概率公式有 qupuu jjj 11 ?? ??這一方程實(shí)質(zhì)上是一差分方程，它的邊界條件是 0,10 ?? cuu首頁 于是 設(shè) （ p + q ） 11 ?? ?? jjj qupuu))(( 11 jjjj uupquu ??? ??pqr ?1??? jjj uud則可得到兩個(gè)相鄰差分間的遞推關(guān)系 1?? jj rdd于是 0221 drdrrddjjjj ???? ?? ?欲求 au 先求 ju需討論 r 首頁 當(dāng) 而 1?rcuu ?? 01 )( 110????? ? jjcjuujcjd????10010dr jcj???? 011 drr c???cjj uuu ?? )(11????? ? iicjiuu011drd icjiicji????????01 )1( drrr jcj ?????? ? 01drrr cj???兩式相比 ccjj rrru???1首頁 故 ccaa rrru???1???????? ????????? ?? ccapqpqpq )(1)()(當(dāng) 1?r00 1 cduu c ???而 0)( djcu j ??因此 cjcuj??故 cbcacua ??? 首頁 用同樣的方法可以求得乙先輸光的概率 由以上計(jì)算結(jié)果可知 當(dāng) 1?r 即 qp ? 時(shí)，甲先輸光的概率為???????? ????????? ? ccapqpqpq )(1)()(當(dāng) 1?r 即 qp ? 時(shí)，甲先輸光的概率為cb當(dāng) qp ? 時(shí)，乙輸光的概率為 ???????? ????????? ? capqpq )(1)(1當(dāng) qp ? 時(shí)，乙先輸光的概率為 ca首頁 例 3 排隊(duì)問題 顧客到服務(wù)臺(tái)排隊(duì)等候服務(wù)，在每一個(gè)服務(wù)周期中只要服務(wù)臺(tái)前有顧客在等待，就要對(duì)排在前面的一位提供服務(wù)，若服務(wù)臺(tái)前無顧客時(shí)就不能實(shí)施服務(wù)。現(xiàn)在的問題是求質(zhì)點(diǎn)從 a出發(fā)到達(dá) 0狀態(tài)先于到達(dá) c狀態(tài)的概率。如果一旦到達(dá) 0（即甲輸光）或 a + b（即乙輸光）這個(gè)游動(dòng)就停止。 pq ?? 1這個(gè)問題實(shí)質(zhì)上是帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)。 21因?yàn)橘|(zhì)點(diǎn)在 1， 5兩點(diǎn)被“吸收”， 故稱 有兩個(gè)吸收壁的隨機(jī)游動(dòng) 首頁 分析 例 2 賭徒輸光問題 賭徒甲有資本 a元，賭徒乙有資本 b元，兩人進(jìn)行賭博，每賭一局輸者給贏者 1元，沒有和局，直賭至兩人中有一人輸光為止。 6．絕對(duì)分布 概率分布 }{)( iXPip nn ?? ， Ii ? ， 0?n稱為馬氏鏈的絕對(duì)分布或稱絕對(duì)概率 定態(tài)分布 若絕對(duì)分布 )( ip n 與 n 無關(guān)，即 }{)( iXPip n ?? ， Ii ? ， 0?n則稱 { )( ip n ， Ii ? } 為馬氏鏈 { 0, ?nX n } 的定態(tài)分布首頁 例 1 不可越壁的隨機(jī)游動(dòng) 設(shè)一質(zhì)點(diǎn)在線段 [1， 5 ]上隨機(jī)游動(dòng)，狀態(tài)空間 I={1， 2，3， 4， 5}，每秒鐘發(fā)生一次隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是： （ 1）若移動(dòng)前在 2， 3， 4處，則均以概率 向左 或向右移動(dòng)一單位，或停留在原處； （ 2）若移動(dòng)前在 1處，則以概率 1移到 2處； （ 3）若移動(dòng)前在 5處，則以概率 1移到 4處。若 21 tt ? ，)( 1tX 與 )( 2tX 相互獨(dú)立，)()()]()([),( 212121 tmtmtXtXEttK ??0)()()()( 2121 ??? tmtmtE