【導(dǎo)讀】若對任一時刻n，以及任意狀態(tài)jiiiin,,,,,110??2．一步轉(zhuǎn)移概率馬氏鏈在時刻n處于狀態(tài)i的條件下，到時刻n+1轉(zhuǎn)移到狀態(tài)j的條件概率，稱為在時刻n的一步轉(zhuǎn)移概率，有限馬氏鏈狀態(tài)空間I={0，1，2，…若絕對分布)(ipn與n無關(guān)，nXn}的定態(tài)分布首頁。或向右移動一單位，或停留在原處；若移動前在5處，則以概率1移到4處。用nX表示在時刻n質(zhì)點的位置，因為質(zhì)點在1，5兩點被“吸收”，賭至兩人中有一人輸光為止。設(shè)在每一局中，甲。獲勝的概率為p，乙獲勝的概率為，這個問題實質(zhì)上是帶有兩個吸收壁的隨機游動?，F(xiàn)在的問題是求質(zhì)點從a出。發(fā)到達0狀態(tài)先于到達c狀態(tài)的概率。

　　

【正文】 常數(shù) )( j? 首頁 定理 1 則此馬氏鏈是遍歷的， 且 中的 是方程組 設(shè)有限馬氏鏈 { 0, ?nX n } 的狀態(tài)空間為 I ={ 0 ,1 , 2 ,? ,s }如果存在正整數(shù) 0n ，使對一切 Iji ?, 都有 0)( 0 ?nijp ，)(lim )( jp nijn ???? )( j????siijpij0)()( ??j =0， 1， 2， … ， s 的滿足條件 0)( ?j? 1)(0???jsj?的唯一解 注 1 定理表明不論從鏈中哪一狀態(tài) i出發(fā)，都能以正概率經(jīng)有限次轉(zhuǎn)移到達鏈中預(yù)先指定的其它任一狀態(tài)。 定理給出了求平穩(wěn)分布 的方法。 )( j?注 2 首頁 例 1 其一步轉(zhuǎn)移矩陣為 試證此鏈具有遍歷性，并求出平穩(wěn)分布。 設(shè)馬氏鏈 { 0, ?nX n } 的狀態(tài)空間 I ={ 1 ， 2 ， 3 }?????????????????3231032031032311P解 由于 ?? 212 )( PP????????????????329291949491949231首頁 所以 因此，該馬氏鏈具有遍歷性。 由定理 1得 解得 當 0n =2 時，對于一切 Iji ?, ， 0)2( ?ijp 。??????????????????1)3()2()1()3(32)2(32)3()3(31)1(32)2()2(31)1(31)1(????????????71)1( ?? ，72)2( ?? ，74)3( ??所以馬氏鏈的平穩(wěn)分布為 X )(i?1 2 3 7172741))3(),2(),1(())3(),2(),1(( P?????? ?首頁 定理 2 （ 1）若狀態(tài)是正常返，則該鏈存在平穩(wěn)分布， 且平穩(wěn)分布 （其中 是從狀態(tài) j出發(fā)首次返回狀態(tài) j的平均時間） （ 2）若所有狀態(tài)是瞬時態(tài)，或所有狀態(tài)是零常返態(tài)，則不存在平穩(wěn)分布。 （ 3） 若是有限馬氏鏈 ， 則一定存在平穩(wěn)分布 。 （ 4） 絕對分布的極限是平穩(wěn)分布 ， 即 設(shè) { 0, ?nX n } 是狀態(tài)空間為 I 的不可約非周期馬氏鏈，}1{})({ IjIjjj??? ， ??)()(lim jjp nn ???? Ij?j?首頁 例 2 設(shè)有 6個球（其中 2個紅球， 4個白球）分放于甲、乙兩個盒子中，每盒放 3個，今每次從兩個盒中各任取一球并進行交換，以 表示開始時甲盒中紅球的個數(shù)， （ ）表示經(jīng) n次交換后甲盒中的紅球數(shù)。 ( 1 ) 求馬氏鏈 { ， }的轉(zhuǎn)移概率矩陣； 0XnX1?nnX1?n( 2 ) 證明 { ， }是遍歷的； nX1?n（ 3）求 )(lim nijn p??2,1,0, ?ji（ 4）求 )(lim jpnn ??2,1,0?j首頁 解 其一步轉(zhuǎn)移矩陣為 （ 1 ）因 nX 表紅球數(shù)，所以狀態(tài)空間 I = { 0 , 1 , 2}?????????????????31320929592032311P甲 乙 紅球 0 白球 3 紅球 2 白球 1 紅球 1 白球 2 紅球 1 白球 2 紅球 2 白球 1 紅球 0 白球 3 首頁 并作出狀態(tài)傳遞圖 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 （ 2）由于它是一個有限馬氏鏈，故必有一個常返態(tài)， 又鏈中三個狀態(tài) 0、 2都相通，所以每個狀態(tài)都是常返態(tài)。 所以是一個不可約的有限馬氏鏈，從而每個狀態(tài)都是正常返的。 所以此鏈為非周期的。 故此鏈是不可約非周期的正常返鏈，即此鏈是遍歷的。 又由 03100 ??p 首頁 （ 2）可以利用定理證明遍歷性 （ 3 ）由于 )(lim )( jp nijn ???? （ 2,1,0?j ），所以先求平穩(wěn)分布 )( j?22123132092959203231?????????????????? PP首頁 解之得 ???????????????????????)2,1,0(,0)(1)2()1()0()2(31)1(92)2()2(32)1(95)0(32)1()1(92)0(31)0(jj??????????????51)0( ?? ，53)1( ?? ，51)2( ??故得 ???? 0)(01lim?nin p 51)0( ?????? 1)(11lim?nin p 53)1( ?? 首頁 （ 4） 51)0( ??53)1( ?????? 2)(21lim?nin p 51)2( ????? )0(lim nn p??? )1(lim nn p???)2(lim nnp51)2( ??首頁 例 3 市場占有率預(yù)測 設(shè)某地有 1600戶居民，某產(chǎn)品只有甲、乙、丙 3廠家在該地銷售。經(jīng)調(diào)查， 8月份買甲、乙、丙三廠的戶數(shù)分別為 480， 320， 800。 9月份里，原買甲的有 48戶轉(zhuǎn)買乙產(chǎn)品，有 96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有 32戶轉(zhuǎn)買甲產(chǎn)品，有 64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有 64戶轉(zhuǎn)買甲產(chǎn)品，有 32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài) 3分別表示甲、乙、丙三廠，試求 （ 1） 轉(zhuǎn)移概率矩陣； （ 2） 9月份市場占有率的分布； （ 3） 12月份市場占有率的分布； （ 4） 當顧客流如此長期穩(wěn)定下去市場占有率的分布 。 首頁 解 （ 1） 由題意得頻數(shù)轉(zhuǎn)移矩陣為 再用頻數(shù)估計概率，得轉(zhuǎn)移概率矩陣為 ???????????7 0 43264642 2 43296483 3 6N???????????1P（ 2）以 1600除以 N中各行元素之和，得初始概率分布（即初始市場占有率） )(),()0( 321 ?? pppP首頁 所以 9月份市場占有率分布為 （ 3） 12月份市場占有率分布為 1)0()1( PPP ? )(???????????)(?41)0()4( PPP ?)(?4??????????)5 9 8 6 9 3 1 (?首頁 （ 4）由于該鏈不可約、非周期、狀態(tài)有限正常返的，所以是遍歷的。 解方程組 ???????????????????1321321332123211???????????????即得當顧客流如此長期穩(wěn)定下去是市場占有率的分布為 )6 2 5 1 (),( 321 ????返回 首頁 討論對時間連續(xù)狀態(tài)離散的馬爾可夫過程 ，取時間參數(shù) ， 狀態(tài)空間 I={0,1,2,… } 第四節(jié) 時間連續(xù)的馬爾可夫鏈 一、定義及性質(zhì) 時間連續(xù)的馬爾可夫鏈 0?t設(shè)隨機過程 { )( tX ， 0?t } 的狀態(tài)空間為 I ，若對所有的 s ， 0?t ，及 Iji ?， ， )( ux ， su ??0 ，有isXjstXP ??? )(|)({ ， )()( uxuX ? ， su ??0 }})(|)({ isXjstXP ????轉(zhuǎn)移概率 })(|)({),( isXjstXPstsp ij ?????首頁 齊次 馬氏鏈 轉(zhuǎn)移概率僅由 t決定而與 s無關(guān) 2．性質(zhì) 性質(zhì) 1 )(),( tpstsp ijij ??設(shè) { )( tX ， 0?t } 是狀態(tài)空間為 I 時間連續(xù)的齊次馬氏鏈)( tp ij 對 Iji ?， 和 0?t ， 0?? ，滿足（ 1 ） 0)( ?tp ij（ 2 ） 1)( ???tp ijIj（ 3 ） )()()( ?? kjikIkij ptptp ????切普曼 ——柯爾莫哥洛夫方程 首頁 性質(zhì) 2 連續(xù)時間齊次馬氏鏈的有限維概率分布由它的初始分布和轉(zhuǎn)移矩陣所確定 注 性質(zhì) 3 對任意 nttt ???? ?100 ， Iiii n ?, 10 ? ，有00 )({ itXP ? ， 11 )( itX ? ，?， nn itX ?)( })()(})({ 10100 110 ?????? ? nniiii ttpttpitXP nn?對任意 210 tt ?? ， Iiii ?, 21 ，有11 )({ itXP ? | 22 )( itX ? ， itX ?)( ， 2tt ? }= 11 )({ itXP ? | 22 )( itX ? }注 對時間來說是可逆性 首頁 性質(zhì) 4 已知現(xiàn)在，那么過去與將來是獨立 注 性質(zhì) 5 （遍歷性定理） 馬爾可夫定理 設(shè) { , }是狀態(tài)空間 I={0,1， 2,…,s} 的時間連續(xù)的齊次馬氏鏈， 對任意 3210 ttt ??? ， Iiii ?321 , ，有1133 )(,)({ itXitXP ?? | 22 )( itX ? }= 2233 )(|)({ itXitXP ?? } 11 )({ itXP ? | 22 )( itX ? })(tX 0?t若存在 00 ?t使對于一切 Iji ?, 都有 0)( 0 ?tp ij ，則 )()(lim jtp ijt ???? 存在且與 i 無關(guān)，其中 )( j? （ j = 0 , 1 , 2 ,? ,s ）是方程組首頁 的滿足條件 的唯一解。 例 1 )()()(0tpijsiij??? ?? 0?t0)( ?j?1)(0???sjj?考慮一個電話總機接到的呼喚流，以 表示這個總機在 [0， t]中接到的呼喚次數(shù)，由于呼喚流在不相交的時間區(qū)間中接到的呼喚次數(shù)是相互獨立的，且 服從泊松分布，所以 是一個時間連續(xù)狀態(tài)離散的馬氏過程，而且是齊次的。寫出它的轉(zhuǎn)移概率。 )(tX)(tX )(tX首頁 當呼喚次數(shù) 時 轉(zhuǎn)移概率 當 時 其狀態(tài)空間 I={0， 1， 2， …} ji?)( tp ij 正是在 t 這段時間內(nèi)發(fā)生 ij ? 次呼喚的概率tijij eijttp ?? ????)!()()( 0??ji ? 0)( ?tp ij轉(zhuǎn)移概率為 ???????????jijieijttptijij0)!()()(??首頁 1．隨機連續(xù) 則稱 { }是隨機連續(xù)的。 定理 1 二、可爾莫哥洛夫微分方程 時間連續(xù)的齊次馬氏鏈 { , }是隨機連續(xù)的充要條件為：對任意的 ，有 設(shè) { )( tX , 0?t } 是時間連續(xù)的齊次馬氏鏈，若對任意 0?? ， Ii ? ，有0})0(||)()({|l i m 0 ??????? iXtXhtXPh ?)(tX)(tX 0?tIji ?，ijijh hp ???? )(lim 0??????jiji,01 ，隨機連續(xù)直觀意義 當系統(tǒng)經(jīng)過很短時間，其狀態(tài)幾乎不變。 首頁 標準轉(zhuǎn)