第三章markov過(guò)程(編輯修改稿)
2024-08-16 16:11 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 ? ?2,1 ? ?5,4,3i i ? ? 0?niiP? ?1?nn i??id 1?n ? ? 0?niiP ??? 1?id in ??id ? ? 0?niiP?????????????????021021100001000010P解：不難直接算出 而 。而 的最大公約數(shù)為 2。所以 命題 如果 則 命題 如果狀態(tài) 有周期 ，則存在整數(shù) 使得對(duì)所有的恒有 推論 如果 ，則存在正整數(shù) 使得對(duì) 恒有 。 命題 令 為不可約、非周期、有限狀態(tài) Markov鏈的轉(zhuǎn)移概率矩陣．則必存在 使得當(dāng) 時(shí) n步轉(zhuǎn)移概率陣 的所有元素都非零． ? 常返與瞬過(guò) 引入一個(gè)重要的概率 ，它表示從出發(fā)在 n步轉(zhuǎn)移時(shí)首次到達(dá) 的概率。即： 記 ，它是從 出發(fā)最終轉(zhuǎn)入狀態(tài) 的概率。 ? ? ? ? ? ? ? ? 0,0 120220030020220 ????? ?nPPPPP ? ? ? ? ? ?83,41,21 800600400 ??? PPP? ??,10,8,6,4 ? ? 20 ?dji ? ? ? ? ?jdid ?i ??id N Nn?? ?? ? 0?indiiP? ? 0?mjiP N Nn? ? ?? ? 0?? indmjiPPN Nn? ? ?nP??nijfj ? ? 00 ?ijf? ? ? ?iXnkjXjXPf knnij ?????? 01,1, ?? ?????1nnijij ff i j? 定義 如果 我們稱狀態(tài) 是常返的，一個(gè)非常返狀態(tài)就稱為是瞬過(guò)的． ? 定理 狀態(tài) 常返的充分必要條件是 當(dāng)然與此等價(jià)地有，狀態(tài) 是瞬過(guò)的當(dāng)且僅當(dāng) 推論 如果 是常返的，且 ，則 也是常返的 ? 定義 一個(gè)常返狀態(tài) 當(dāng)且僅當(dāng) 時(shí)稱為是零常返的．而當(dāng)且僅當(dāng) 時(shí)稱為正常返的． ? 例 設(shè)馬氏鏈的狀態(tài)空間為 ，其一步轉(zhuǎn)移概率矩陣為 試討論該馬氏鏈各狀態(tài)的常返性。 1?iif ii ? ? ?????1iniiPi ? ? ?????1nniiPi ji? ji ??iu??iu? ?4,3,2,1?I?????????????10004/14/14/14/1002/12/1002/12/1P解：步轉(zhuǎn)移概率矩陣為： 由 得： 因此狀態(tài) 1， 2， 4都是常返態(tài)，狀態(tài) 3是非常返態(tài)。當(dāng) 時(shí)， 都不趨于 0。所以狀態(tài) 1， 2， 4都是正常返態(tài)。 ? ?????????????????????????100041414141002/12/1002/12/1111nkknnkknkknPnP? ? ? ? ? ? ? ? 1,4 1,2/1,2/1 44332211 ???? nPnPnPnP n? ? ? ? ? ? ? ? ???????????? ???? ???????? 1 331 441 221 11,nnnnnPnPnPnP??n? ? ? ? ? ?nPnPnP 442211 ,第三節(jié) Markov鏈的極限定理與平穩(wěn)分布 ? 定理 Markov鏈的基本極限定理 a)若狀態(tài)是瞬過(guò)的或者是零常返的，則 b)若狀態(tài)是周期為的常返狀態(tài)，則 c)當(dāng)狀態(tài)是非周期的正常返狀態(tài)（也稱為遍歷的），則 推論 如果狀態(tài) 是遍歷的則對(duì)所有 有 ： 定義 Markov鏈有轉(zhuǎn)移概率陣 。一個(gè)概率分布 如果滿足 則稱作是這一 Markov鏈的平穩(wěn)分布。 定理 若一個(gè)不可約 Markov鏈中的所有狀態(tài)都是遍歷的，則對(duì)所有 ，極限 存在且 為平穩(wěn)分布．也即
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1