第三章markov過程(存儲版)
【正文】 ?hohktXtXhtXp k ?????? ?1? ? ? ? ? ?? ? ? ?hohktXtXhtXp k ??????? ?10? ? ? ? ? ?? ? 00 ????? ktXtXhtXp 第六節(jié) 生滅過程 ? 生滅過程 ? 假定 是狀態(tài) 上的 Markov鏈，其轉(zhuǎn)移概率 是平穩(wěn)的，即對所有 有 ，此外還假定： （ 1） （ 2） （ 3） （ 4） （ 5） 滿足上述假設(shè)條件的隨機(jī)過程稱為生滅過程。??????? ???????a unuan nn ??? ,??0, ?au?? ?? ?tXEii u,?? ? ? ? ? ?? ? ? ?? ? ? ? ? ?? ? ? ? ? ? ? ? 1,11 1,1,39。 ? ?? ? ? ? ? ??????1jij tjPtmtXE ? ?tm? ? ? ? ? ?tmuatm ??? ?39。 0,???????????? ??? ? ? ? ? ? ? ? ? ?? ? ? ? ? ?tPutPtPtPtPutPutPiiijijjijjjijij110039。 解 ： ? 所以當(dāng) 時，無零元素，由定理 1知，此鏈具有遍歷性。即： 記 ，它是從 出發(fā)最終轉(zhuǎn)入狀態(tài) 的概率。 兩個狀態(tài)如果是互達(dá)的就稱他們是處在同一類中． Markov鏈的所有狀態(tài)就由互達(dá)這一等價關(guān)系而分割成不同的等價類．由命題 么互不相交，要么完全重合．如果在互達(dá)性這一等價關(guān)系下 Markov鏈的所有狀態(tài)都居于同一類那么就稱這個 Markov鏈?zhǔn)遣豢杉s的．換言之，不可約過程的各個狀態(tài)都是互達(dá)的． 0?n ? ? 0?nijPji?j ji? ij i jji ?ji? ij?ji? kj? ki?? 例 若 Markov鏈有轉(zhuǎn)移概率矩陣 則顯見 和 是狀態(tài)在互達(dá)意義下的 兩個等價類。第三章 Markov過程 第一節(jié) Markov鏈的定義和例子 ? 定義 如果對任何一列狀態(tài) 及對任何 ，隨機(jī)過程 滿足Markov性質(zhì)： 則稱 為離散時間 Markov鏈。兩個互相可達(dá)的狀態(tài) 和 則稱為是互達(dá)的記作 . 命題 互達(dá)性是等價關(guān)系 1) 自反性， 2)若 ，則 ，對稱性， 3)若 ，則 ，則 ，傳遞性。 命題 令 為不可約、非周期、有限狀態(tài) Markov鏈的轉(zhuǎn)移概率矩陣．則必存在 使得當(dāng) 時 n步轉(zhuǎn)移概率陣 的所有元素都非零． ? 常返與瞬過 引入一個重要的概率 ，它表示從出發(fā)在 n步轉(zhuǎn)移時首次到達(dá) 的概率。 定理 若一個不可約 Markov鏈中的所有狀態(tài)都是遍歷的，則對所有 ，極限 存在且 為平穩(wěn)分布．也即 ? ? 0lim ??? niin Pindiin udP ???lim? ?iniin uP1lim ???i ij? ? ? ? ?iniinnjin uPPiml1lim ??????ijPP ? ? ?0, ?ii?iji ij P????0??i ? ? jnijn P ????lim ? ?0, ?? jj?? jjijjjjjP ????????? 0,1 ? 反之，若 — 個不可約 Markov鏈存在一個平穩(wěn)分布，即滿足 (3． 1)式，且這個 Markov鏈的所有狀態(tài)都是遍歷的．則該平穩(wěn)分布就是這一Markov鏈的極限分布，即對任何有 例 設(shè)齊次馬氏鏈 的狀態(tài)空間 ，一步轉(zhuǎn)移概率矩為 試證此鏈具有遍歷性，并求其極限分布 。0,1,139。 定義 隨機(jī)過程 ，若對任何 ，其條件概率分布函數(shù)滿足 則稱為是一個 Markov過程。1039。其中 和 分別稱為新生率和死亡率。當(dāng) 時， 都不趨于 0。 定義 狀態(tài) 的周期．為 Ma
高考資料相關(guān)推薦
鄂ICP備17016276號-1