【正文】 定理 1 二、可爾莫哥洛夫微分方程 時(shí)間連續(xù)的齊次馬氏鏈 { , }是隨機(jī)連續(xù)的充要條件為：對(duì)任意的 ，有 設(shè) { )( tX , 0?t } 是時(shí)間連續(xù)的齊次馬氏鏈，若對(duì)任意 0?? ， Ii ? ，有0})0(||)()({|l i m 0 ??????? iXtXhtXPh ?)(tX)(tX 0?tIji ?，ijijh hp ???? )(lim 0??????jiji,01 ，隨機(jī)連續(xù)直觀意義 當(dāng)系統(tǒng)經(jīng)過很短時(shí)間，其狀態(tài)幾乎不變。寫出它的轉(zhuǎn)移概率。 解方程組 ???????????????????1321321332123211???????????????即得當(dāng)顧客流如此長期穩(wěn)定下去是市場占有率的分布為 )6 2 5 1 (),( 321 ????返回 首頁 討論對(duì)時(shí)間連續(xù)狀態(tài)離散的馬爾可夫過程 ，取時(shí)間參數(shù) ， 狀態(tài)空間 I={0,1,2,… } 第四節(jié) 時(shí)間連續(xù)的馬爾可夫鏈 一、定義及性質(zhì) 時(shí)間連續(xù)的馬爾可夫鏈 0?t設(shè)隨機(jī)過程 { )( tX ， 0?t } 的狀態(tài)空間為 I ，若對(duì)所有的 s ， 0?t ，及 Iji ?， ， )( ux ， su ??0 ，有isXjstXP ??? )(|)({ ， )()( uxuX ? ， su ??0 }})(|)({ isXjstXP ????轉(zhuǎn)移概率 })(|)({),( isXjstXPstsp ij ?????首頁 齊次 馬氏鏈 轉(zhuǎn)移概率僅由 t決定而與 s無關(guān) 2．性質(zhì) 性質(zhì) 1 )(),( tpstsp ijij ??設(shè) { )( tX ， 0?t } 是狀態(tài)空間為 I 時(shí)間連續(xù)的齊次馬氏鏈)( tp ij 對(duì) Iji ?， 和 0?t ， 0?? ，滿足（ 1 ） 0)( ?tp ij（ 2 ） 1)( ???tp ijIj（ 3 ） )()()( ?? kjikIkij ptptp ????切普曼 ——柯爾莫哥洛夫方程 首頁 性質(zhì) 2 連續(xù)時(shí)間齊次馬氏鏈的有限維概率分布由它的初始分布和轉(zhuǎn)移矩陣所確定 注 性質(zhì) 3 對(duì)任意 nttt ???? ?100 ， Iiii n ?, 10 ? ，有00 )({ itXP ? ， 11 )( itX ? ，?， nn itX ?)( })()(})({ 10100 110 ?????? ? nniiii ttpttpitXP nn?對(duì)任意 210 tt ?? ， Iiii ?, 21 ，有11 )({ itXP ? | 22 )( itX ? ， itX ?)( ， 2tt ? }= 11 )({ itXP ? | 22 )( itX ? }注 對(duì)時(shí)間來說是可逆性 首頁 性質(zhì) 4 已知現(xiàn)在，那么過去與將來是獨(dú)立 注 性質(zhì) 5 （遍歷性定理） 馬爾可夫定理 設(shè) { , }是狀態(tài)空間 I={0,1， 2,…,s} 的時(shí)間連續(xù)的齊次馬氏鏈， 對(duì)任意 3210 ttt ??? ， Iiii ?321 , ，有1133 )(,)({ itXitXP ?? | 22 )( itX ? }= 2233 )(|)({ itXitXP ?? } 11 )({ itXP ? | 22 )( itX ? })(tX 0?t若存在 00 ?t使對(duì)于一切 Iji ?, 都有 0)( 0 ?tp ij ，則 )()(lim jtp ijt ???? 存在且與 i 無關(guān)，其中 )( j? （ j = 0 , 1 , 2 ,? ,s ）是方程組首頁 的滿足條件 的唯一解。用狀態(tài) 3分別表示甲、乙、丙三廠，試求 （ 1） 轉(zhuǎn)移概率矩陣； （ 2） 9月份市場占有率的分布； （ 3） 12月份市場占有率的分布； （ 4） 當(dāng)顧客流如此長期穩(wěn)定下去市場占有率的分布 。經(jīng)調(diào)查， 8月份買甲、乙、丙三廠的戶數(shù)分別為 480， 320， 800。 故此鏈?zhǔn)遣豢杉s非周期的正常返鏈，即此鏈?zhǔn)潜闅v的。 所以是一個(gè)不可約的有限馬氏鏈，從而每個(gè)狀態(tài)都是正常返的。 （ 4） 絕對(duì)分布的極限是平穩(wěn)分布 ， 即 設(shè) { 0, ?nX n } 是狀態(tài)空間為 I 的不可約非周期馬氏鏈，}1{})({ IjIjjj??? ， ??)()(lim jjp nn ???? Ij?j?首頁 例 2 設(shè)有 6個(gè)球（其中 2個(gè)紅球， 4個(gè)白球）分放于甲、乙兩個(gè)盒子中，每盒放 3個(gè)，今每次從兩個(gè)盒中各任取一球并進(jìn)行交換，以 表示開始時(shí)甲盒中紅球的個(gè)數(shù)， （ ）表示經(jīng) n次交換后甲盒中的紅球數(shù)。??????????????????1)3()2()1()3(32)2(32)3()3(31)1(32)2()2(31)1(31)1(????????????71)1( ?? ，72)2( ?? ，74)3( ??所以馬氏鏈的平穩(wěn)分布為 X )(i?1 2 3 7172741))3(),2(),1(())3(),2(),1(( P?????? ?首頁 定理 2 （ 1）若狀態(tài)是正常返，則該鏈存在平穩(wěn)分布， 且平穩(wěn)分布 （其中 是從狀態(tài) j出發(fā)首次返回狀態(tài) j的平均時(shí)間） （ 2）若所有狀態(tài)是瞬時(shí)態(tài)，或所有狀態(tài)是零常返態(tài)，則不存在平穩(wěn)分布。 設(shè)馬氏鏈 { 0, ?nX n } 的狀態(tài)空間 I ={ 1 ， 2 ， 3 }?????????????????3231032031032311P解 由于 ?? 212 )( PP????????????????329291949491949231首頁 所以 因此，該馬氏鏈具有遍歷性。 定理給出了求平穩(wěn)分布 的方法。 2C 1C2C 返回 首頁 第三節(jié) 平穩(wěn)分布與遍歷性 一、平穩(wěn)分布 定義 1 其滿足 設(shè)馬氏鏈有轉(zhuǎn)移矩陣 )( ijpP ? ，若存在一個(gè)概率分布 { )( i? ， Ii ? } ，)( i? ???Ijjipj )(?則稱 { )( i? ， Ii ? } 為馬氏鏈 { 0, ?nX n } 的平穩(wěn)分布絕對(duì)分布 }{)( iXPipnn ?? ， Ii ? ， 0?n定態(tài)分布 }{)( iXPipn ?? ， Ii ? ， 0?n首頁 絕對(duì)概率公式 絕對(duì)概率由初始分布和 n維轉(zhuǎn)移概率完全確定 即 )(0 )()(nijIin pipjp ???注 若對(duì)定態(tài)分布，則 ijIipipjp )()( ???性質(zhì) 1 定態(tài)分布一定是平穩(wěn)分布 性質(zhì) 2 若初始分布是平穩(wěn)分布，則絕對(duì)分布也是平穩(wěn)分布 證 如果馬氏鏈 { 0, ?nX n } 的初始分布}{)( 00 iXPip ??是平穩(wěn)分布， 則 )(0 ip jiIjpjp )(0???首頁 從而得 }{)( iXPip nn ?? )(0 )(njiIjpjp???)(0 )(njiIjkjIkppkp? ?? ???????? （初始分布為平穩(wěn)分布） )(0 )(njikjIjIkppkp ?????)1(0 )(???? nkiIkpkp（切普曼 可爾莫哥洛夫方程） )(1 ip n ??由上式得 )( ip n )()( 11 ipip n ??? ? ? jiIjpjp )(0??? )(0 ip?于是這時(shí)絕對(duì)分布是定態(tài)分布，從而它也是平穩(wěn)分布。因此， 1C ， 2C 都是閉集可繼續(xù)討論正常返 首頁 9． 設(shè)馬氏鏈的狀態(tài)空間為 I = {1， 2， 3， 4}， 其一步轉(zhuǎn)移矩陣為 試研究各狀態(tài)間的關(guān)系。 首頁 8． 設(shè)馬氏鏈的狀態(tài)空間為 I = {1， 2， 3}， 其一步轉(zhuǎn)移矩陣為 試研究各狀態(tài)間的關(guān)系。因此，這個(gè)馬氏鏈又是以 3為周期的周期鏈。 所以 I中每一個(gè)狀態(tài)都是常返態(tài)， 且此馬氏鏈為有限狀態(tài)不可約 常返鏈。因此，所有狀態(tài)都是常返態(tài)，這是一個(gè)有限狀態(tài)不可約的馬氏鏈。 解 這是一個(gè)齊次馬氏鏈，其狀態(tài)空間為 I={—a， —a+1， … ， —1， 0， 1， 2， … ， a} 一步轉(zhuǎn)移矩陣是 ??????????????????????????01000101000202000101000101???????????aaaaaaaaaP首頁 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 6． 設(shè)馬氏鏈的狀態(tài)空間 I={1， 2， 3， 4}， 其一步轉(zhuǎn)移矩陣為 解 試對(duì)其狀態(tài)分類。 1??? qpr?????????????????????????????????0000001qrpqrpP},2,1,0,1,2,{ ?? ???I首頁 5． 設(shè)袋中有 a個(gè)球 ， 球?yàn)楹谏幕虬咨?， 今隨機(jī)地從袋中取一個(gè)球 ， 然后放回一個(gè)不同顏色的球 。試求轉(zhuǎn)移概率矩陣 。 設(shè) 表示在時(shí)刻 n質(zhì)點(diǎn)的位置，則 { ， }是一個(gè)齊次馬氏鏈，寫出其一步轉(zhuǎn)移概率。 設(shè) 表示在時(shí)刻 n質(zhì)點(diǎn)的位置，則 { ， }是一個(gè)齊次馬氏鏈，寫出其一步轉(zhuǎn)移概率矩陣。 故所有狀態(tài) i都是遍歷的。 又因?yàn)? ????? ? ?????nn nn nnf211 1)(000?所以狀態(tài) 0為正常返。 解 根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖 2100 ?p ， 211, ??iip ， 210 ?ip ， Ii ?… 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 圖 34 3 1/2 首頁 從圖可知，對(duì)任一狀態(tài) 都有 ， 故由定理可知， I 中的所以狀態(tài)都是相通的， Ii? 0?i因此只需考慮狀態(tài) 0是否正常返即可。 2．遍歷狀態(tài) 若狀態(tài) i是正常返且非周期，則稱 i為遍歷狀態(tài)。ji dd ?類似地可證得 ij dd ?故 ji dd ?首頁 （ 2） 所以 因?yàn)閷?duì)于 Ii ? 有 0?iip ，1?id從而 i為非周期態(tài)。 i定理 12 設(shè)馬氏鏈的狀態(tài)空間為 I ， Iji ?,（ 1 ）若 ji ? ，則 ji dd ? ；（ 2 ）若是不可約馬氏鏈，且 0?iip ，則此馬氏鏈?zhǔn)欠侵芷阪湣? 故此馬氏鏈為不可約常返鏈。 因此 ， I是一個(gè)不可約的閉集 再證 I中狀態(tài) 0是一個(gè)常返態(tài)： 由狀態(tài)的轉(zhuǎn)移規(guī)則，得 ij ?ji ?01210 ? ???? ??? ??? ??? ?? qpppp n?所以 )(00100nnff ???? }0|{0001??? ???XnTPn首頁 }0|0,1,2,1{ 01211??????? ???? XXnXXXP nnn??}1,0|2{}0|1{ 102011?????? ???XXXPXXPn}1,0|0{ 10 ????? ? nXXXP nn ??}1|2{}0|1{ 12011????? ???XXPXXPn}1|0{ 1 ??? ? nXXP nn?????11nnqp11???pq由定義知狀態(tài) 0為常返態(tài)。 由定理可知，此鏈所有狀態(tài)都是正常返的。 考慮狀態(tài) 1是否