【正文】 第三章 馬爾可夫過程 第一節(jié) 馬爾可夫鏈的定義及其性質 第二節(jié) 馬爾可夫鏈的狀態(tài)分類 第三節(jié) 平穩(wěn)分布與遍歷性 第四節(jié) 時間連續(xù)的馬爾可夫鏈 習題課 第一節(jié) 馬爾可夫鏈的定義及其性質 一、馬爾可夫鏈的定義 1．馬爾可夫鏈 設隨機過程 { )( tX , Tt ? } ，其中時間 T = {0,1, ? } ，狀態(tài)空間 I = {0,1,2, ? } ，若對任一時刻 n ，以及任意狀態(tài) jiiii n ,, 110 ?? ，有,)1(,)(|)1({ 1?????? ninXinXjnXP })0(,)1(, 01 iXiX ???})(|)1({ inXjnXP ????則稱 { )( tX , Tt ? } 為一個馬爾可夫鏈 （或馬氏鏈）簡記為 { nX , 0?n }首頁 注 : 而與以前的狀態(tài) 表明 )( tX 在時刻 n +1 的狀態(tài) jnX ?? )1( 的概率分布只與時刻 n 的狀態(tài) inX ?)( 有關，1)1( ??? ninX ，?， 0)0( iX ? 無關。有限馬氏鏈 狀態(tài)空間是有限集 I={0,1,2,… ， k} 2．一步轉移概率 馬氏鏈在時刻 n處于狀態(tài) i 的條件下，到時刻 n+1轉移到狀態(tài) j 的條件概率， 即 }|{1 iXjXP nn ???稱為在時刻 n的一步轉移概率， 記作 )( np ij首頁 注 : 由于概率是非負的，且過程從一狀態(tài)出發(fā)，經過一步轉移后，必到達狀態(tài)空間中的某個狀態(tài) 一步轉移概率滿足 3．一步轉移矩陣 稱為在時刻 n的一步轉移矩陣 （ 1 ） 0)( ?np ij , Iji ?,（ 2 ） 1)( ???np ijIj, Ii ?如果固定時刻 Tn ?則由一步轉移概率為元素構成的矩陣 1P ：首頁 即有 有限馬氏鏈 狀態(tài)空間 I={0， 1， 2， … ， k} ??????????????????????????)()()()()()(10111001001npnpnpnpnpnpPnn?????????????)()()()()()()()()(1011110001001npnpnpnpnpnpnpnpnpPkkkkkk???????首頁 4．齊次馬氏鏈 即 則稱此馬氏鏈為齊次馬氏鏈（即關于時間為齊次） 如果馬氏鏈的一步轉移概率 )( np ij 與 n 無關，ijnn piXjXP ???? }|{ 15．初始分布 設 }{)(00 iXPip ?? ， Ii ? ，如果對一切 Ii ? 都有0)(0 ?ip 1)(0 ???ipIi稱 )(0 ip 為馬氏鏈的初始分布首頁 注 馬氏鏈在初始時刻有可能處于 I中任意狀態(tài)，初始分布就是馬氏鏈在初始時刻的概率分布。 6．絕對分布 概率分布 }{)( iXPip nn ?? ， Ii ? ， 0?n稱為馬氏鏈的絕對分布或稱絕對概率 定態(tài)分布 若絕對分布 )( ip n 與 n 無關，即 }{)( iXPip n ?? ， Ii ? ， 0?n則稱 { )( ip n ， Ii ? } 為馬氏鏈 { 0, ?nX n } 的定態(tài)分布首頁 例 1 不可越壁的隨機游動 設一質點在線段 [1， 5 ]上隨機游動，狀態(tài)空間 I={1， 2，3， 4， 5}，每秒鐘發(fā)生一次隨機游動，移動的規(guī)則是： （ 1）若移動前在 2， 3， 4處，則均以概率 向左 或向右移動一單位，或停留在原處； （ 2）若移動前在 1處，則以概率 1移到 2處； （ 3）若移動前在 5處，則以概率 1移到 4處。 31用 nX 表示在時刻 n 質點的位置，則 { nX ， 0?n } 是一個有限齊次馬氏鏈，試寫出一步轉移矩陣 . 首頁 分析 ?????????????????555453525145444342413534333231252423222115141312111pppppppppppppppppppppppppP?????????????????????01000313131000313131000313131000101P故 1 2 3 4 5 首頁 其一步轉移矩陣為 ?????????????????????10000210210002102100021021000011P若將移動規(guī)則改為 （ 1）若移動前在 2， 3， 4處，則均以概率 向左或向右 移動一單位； （ 2）若移動前在 1， 5處，則以概率 1停留在原處。 21因為質點在 1， 5兩點被“吸收”， 故稱 有兩個吸收壁的隨機游動 首頁 分析 例 2 賭徒輸光問題 賭徒甲有資本 a元，賭徒乙有資本 b元，兩人進行賭博，每賭一局輸者給贏者 1元，沒有和局，直賭至兩人中有一人輸光為止。設在每一局中，甲獲勝的概率為 p，乙獲勝的概率為 ，求甲輸光的概率。 pq ?? 1這個問題實質上是帶有兩個吸收壁的隨機游動。從甲的角度看，他初始時刻處于 a，每次移動一格，向右移（即贏 1元）的概率為 p，向左移（即輸 1元）的概率為 q。如果一旦到達 0（即甲輸光）或 a + b（即乙輸光）這個游動就停止。這時的狀態(tài)空間為 {0， 1，2， … ， c}， c = a + b。現(xiàn)在的問題是求質點從 a出發(fā)到達 0狀態(tài)先于到達 c狀態(tài)的概率。 首頁 考慮質點從 j出發(fā)移動一步后的情況 解 設 cj ??0設 ju 為質點從 j 出發(fā)到達 0 狀態(tài)先于到達 c 狀態(tài)的概率。在以概率 p 移到 1?j 的假設下，到達 0 狀態(tài)先于到達 c 狀態(tài)的概率為 1?ju同理 以概率 q 移到 1?j 的前提下，到達 0 狀態(tài)先于到達 c 狀態(tài)的概率為 1?ju根據全概率公式有 qupuu jjj 11 ?? ??這一方程實質上是一差分方程，它的邊界條件是 0,10 ?? cuu首頁 于是 設 （ p + q ） 11 ?? ?? jjj qupuu))(( 11 jjjj uupquu ??? ??pqr ?1??? jjj uud則可得到兩個相鄰差分間的遞推關系 1?? jj rdd于是 0221 drdrrddjjjj ???? ?? ?欲求 au 先求 ju需討論 r 首頁 當 而 1?rcuu ?? 01 )( 110????? ? jjcjuujcjd????10010dr jcj???? 011 drr c???cjj uuu ?? )(11????? ? iicjiuu011drd icjiicji????????01 )1( drrr jcj ?????? ? 01drrr cj???兩式相比 ccjj rrru???1首頁 故 ccaa rrru???1???????? ????????? ?? ccapqpqpq )(1)()(當 1?r00 1 cduu c ???而 0)( djcu j ??因此 cjcuj??故 cbcacua ??? 首頁 用同樣的方法可以求得乙先輸光的概率 由以上計算結果可知 當 1?r 即 qp ? 時，甲先輸光的概率為???????? ????????? ? ccapqpqpq )(1)()(當 1?r 即 qp ? 時，甲先輸光的概率為cb當 qp ? 時，乙輸光的概率為 ???????? ????????? ? capqpq )(1)(1當 qp ? 時，乙先輸光的概率為 ca首頁 例 3 排隊問題 顧客到服務臺排隊等候服務，在每一個服務周期中只要服務臺前有顧客在等待，就要對排在前面的一位提供服務，若服務臺前無顧客時就不能實施服務。 設在第 n 個服務周期中到達的顧客數為一隨機變量 nY且諸 nY 獨立同分布：)nkP Y k p??（ ， ?,2,1,0?k ， 1??kkp記 nX 為服務周期 n 開始時服務臺前顧客數則有 ?????????0,1,11nnnnnn XYXYXX若若此時 { nX ， 1?n } 為一馬氏鏈，求其轉移矩陣 在第 n周期已有一個 顧客在服務，到第 n+1 周期已服務完畢 首頁 解 先求出轉移概率 )0|0( 0100 ??? XXPp )0(0 ?? YP 0p?)0|1( 0101 ??? XXPp )1( 0 ?? YP 1p?)1|0( 110 ??? ? nn XXPp )1|01( ????? nnn XYXP)0( ?? nYP 0p?)1|1( 111 ??? ? nn XXPp )1|11( ????? nnn XYXP)1( ?? nYP 1p?)2|0( 120 ??? ? nn XXPp )2|01( ????? nnn XYXP)1( ??? nYP 0?)2|1( 121 ??? ? nn XXPp )2|11( ?????nnn XYXP)0( ?? nYP 0p?)2|2( 122 ??? ? nn XXPp )1( ?? nYP 1p?首頁 所以轉移矩陣為 ?????????????????????????????210321043210432101000pppppppppppppppppP首頁 說明： 二 、 基本性質 性質 1 設 { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，則},{ 110 nn iXiXiXP ??? ?= }{ 0 iXP ? }|{ 011 iXiXP ??? }|{ 1122 iXiXP ?? ? }|{ 11 ?? ?? nnnn iXiXPnXXX , 10 ?的聯(lián)合分布可由初始分布及轉移概率所決定，即有 },{ 110 nn iXiXiXP ??? ?niiiiii npppip 111 20 )( ?? ? 首頁 則 性質 2 設 { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 },|{ 11 mnmnnnnn iXiXiXP ???? ??? ?}|{ 11 ?? ??? nnnn iXiXP一個馬氏鏈，如果按相反方向的時間排列，所成的序列也是一個馬氏鏈。 首頁 性質 3 設 { 0, ?nX n } 為馬氏鏈，其狀態(tài)空間為 I ，表明 若已知現(xiàn)在，則過去與未來是獨立的。 若 nrs ???0 ，則在 rr iX ? 的條件下，有}|,{ rrssnn iXiXiXP ???= }|{ rrnn iXiXP ?? }|{ rrss iXiXP ??首頁 則 性質 4 設 { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 若已知現(xiàn)在，則過去同時對將來各時刻的狀態(tài)都不產生影響。 },|,{ 0011 iXiXiXiXP nnmnmnnn ???? ???? ??= }|,{ 11 nnmnmnnn iXiXiXP ??? ???? ?特別 },|{ 00 iXiXiXP nnmnmn ??? ?? ?= }|{ nnmnmn iXiXP ?? ??首頁 則 性質 5 設 { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 馬氏鏈的子鏈也是馬氏鏈 對任意給定的 n 個整數， nkkk ???? ?210 ，有},|{ 111