【正文】 01,1,1,139。 ? ? ? ? ? ? ? ? 0,0 120220030020220 ????? ?nPPPPP ? ? ? ? ? ?83,41,21 800600400 ??? PPP? ??,10,8,6,4 ? ? 20 ?dji ? ? ? ? ?jdid ?i ??id N Nn?? ?? ? 0?indiiP? ? 0?mjiP N Nn? ? ?? ? 0?? indmjiPPN Nn? ? ?nP??nijfj ? ? 00 ?ijf? ? ? ?iXnkjXjXPf knnij ?????? 01,1, ?? ?????1nnijij ff i j? 定義 如果 我們稱狀態(tài) 是常返的，一個(gè)非常返狀態(tài)就稱為是瞬過的． ? 定理 狀態(tài) 常返的充分必要條件是 當(dāng)然與此等價(jià)地有，狀態(tài) 是瞬過的當(dāng)且僅當(dāng) 推論 如果 是常返的，且 ，則 也是常返的 ? 定義 一個(gè)常返狀態(tài) 當(dāng)且僅當(dāng) 時(shí)稱為是零常返的．而當(dāng)且僅當(dāng) 時(shí)稱為正常返的． ? 例 設(shè)馬氏鏈的狀態(tài)空間為 ，其一步轉(zhuǎn)移概率矩陣為 試討論該馬氏鏈各狀態(tài)的常返性。 jiiii n , 110 ??0?n ? ?0, ?nX n? ?? ?iXjXpiXiXiXjXpnnnnnn???????????111001 , ?nX? 定義 設(shè) 為一離散時(shí)間 Markov鏈。所以 命題 如果 則 命題 如果狀態(tài) 有周期 ，則存在整數(shù) 使得對所有的恒有 推論 如果 ，則存在正整數(shù) 使得對 恒有 。利用向前微分方程將 代入即有： ??tX ??tPij? ? ? ? ? ? ? ? ? ?? ? ? ? ? ?tPtPtPitPtPutPutPjjjjiijiiijiiij100039。0?????????????? jtPjutPajutPajtPtuPtaPtPjiijjiijiii??? 記 ，于是 應(yīng)滿足方程 設(shè)初始條件為 則 。所以狀態(tài) 1， 2， 4都是正常返態(tài)。 記 n步轉(zhuǎn)移概率為 ，以 為元 的矩陣 記作 ，稱為 Markov鏈的 n步轉(zhuǎn)移概率矩陣。 定義 狀態(tài) 的周期．為 Markov鏈的一個(gè)狀態(tài)，使 的所有 的最大公約數(shù)稱作是狀態(tài) 的周期記作 ．如果對所有 ，都有 則約定周期為 ； 的狀態(tài) 稱為是非周期的． 由定義立即可知如 不能被周期 整除則必有 ． 例 Markov鏈有狀態(tài) o， 1， 2， 3和轉(zhuǎn)移概率陣 試求狀態(tài) 0的周期。其中 和 分別稱為新生率和死亡率。 定義 隨機(jī)過程 ，若對任何 ，其條件概率分布函數(shù)滿足 則稱為是一個(gè) Markov過程。 定理 若一個(gè)不可約 Markov鏈中的所有狀態(tài)都是遍歷的，則對所有 ，極限 存在且 為平穩(wěn)分布．也即 ? ? 0lim ??? niin Pindiin udP ???lim? ?iniin uP1lim ???i ij? ? ? ? ?iniinnjin uPPiml1lim ??????ijPP ? ? ?0, ?ii?iji ij P????0??i ? ? jnijn P ????lim ? ?0, ?? jj?? jjijjjjjP ????????? 0,1 ? 反之，若 — 個(gè)不可約 Markov鏈存在一個(gè)平穩(wěn)分布，即滿足 (3． 1)式，且這個(gè) Markov鏈的所有狀態(tài)都是遍歷的．則該平穩(wěn)分布就是這一Markov鏈的極限分布，即對任何有 例 設(shè)齊次馬氏鏈