馬爾科夫連ppt課件-文庫吧資料
2025-05-13 12:05本頁面
【正文】 ? ?????推論： 的極限矩陣的每一行滿足： 即而且該極限矩陣是唯一滿足上述關系的矩陣．35 定義 稱概率分布 {πj,j∈ I}為馬爾可夫鏈的平穩(wěn)分布，若它滿足 ??????????????0,1 jIjjIiijij p????定理 不可約非周期馬爾可夫鏈是正常返的充要條件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布 。 0 0 1 0 0 00 0 0 0 0 10 0 0 0 1 0P=1 / 3 1 / 3 0 1 / 3 0 01 0 0 0 0 00 1 / 2 0 0 0 1 / 2????????????例：分析狀態(tài)空間的分解定理： 任一馬爾可夫鏈的狀態(tài)空間 I，可唯一的分解成有限個或可列個互不相交的 子集 D,C1,C2, … 之和，使得 1） 每一 Cn是常返態(tài)組成的不可約閉集； 2） Cn中的狀態(tài)同類，或全是正常返，或全是零常返。 29 { } { 1 , 2 , 3 , 4 , 5 }0 .5 0 0 0 .5 00 .5 0 0 .5 0 00 0 1 0 01 0 0 0 00 1 0 0 0nXIP????????????例：設馬氏鏈 的狀態(tài)空間 ，轉移矩陣為 例：無限制隨機游動為不可約馬爾可夫鏈，各狀態(tài)周期為 2，當 p=q時是零常返， p≠q時是非常返。12 l i m 0.niinniiniiipip???????? ? ?推論：設常返，則 （） 零常返 （ ） 遍歷27 ()00niji j i j np i j i j i j j i??? ? ? ?定義：稱自狀態(tài)可達狀態(tài)，并記為 ，如果存在 使 ；稱狀態(tài)與 互通，并記為 ，如 且 ．? ?0 0 , 1 0{ 0 , 1 , 2 }1 1 1, , , , .2 2 2ni i iXIp p p i I??? ? ? ?例：設馬氏鏈 的狀態(tài)空間為 ，轉移概率為 分析其遍歷性i j j k i ki j j k i k? ? ?? ? ?定理：可達和互通關系都具有傳遞性，即 如果 ， ，則 ． 如果 ， ，則 ．ijijij?定理：如 ，則 (1) 與同為常返或非常返，如為常返，則同為 正常返或零常返． (2) 與 有相同的周期．28 狀態(tài)空間的分解 Ci? Ck?定義： 狀態(tài)空間 I的子集 C稱為閉集，如果對任意 及 都有 0?ikp定義： 閉集 C稱為不可約的，如果 C的狀態(tài)互通。 26 () l im0.ndiiniiiiiddpdi???????? ? ?定理：設常返且有周期 ，則 其中 為的平均返回時間。 非周期的正常返態(tài)稱為遍歷狀態(tài)。 對于常返態(tài) i，由定義知 {fii(n),n≥1}構成一概率分布 ????1)(nniii nf?表示由 i出發(fā)再返回 i的平均返回時間。 23 1 2 3 411 / 21 / 211例：狀態(tài)轉移概率圖 狀態(tài)的常返性 24 首中概率 它表示質點由 i出發(fā)，經(jīng) n步首次到達 j 的概率 )|,11,()( iXjXnvjXPf mnmvmnij ??????? ?? 表示質點由 i出發(fā)，經(jīng)有限步終于到達 j 的概率。 但這也并不是說對任意 n有 pii(nd)0。 如 d1就稱 i為周期的，如 d=1就稱 i為非周期的。 定義 如集合 {n: n≥1,pii(n)0}非空，則稱該集合的最大公約數(shù)d=d(i)={n:pii(n)0}為狀態(tài) i的周期。設每一局甲贏的概率為 p，輸?shù)母怕蕿?q=1p，求甲輸光的概率 。以 Xn表示時刻 n質點所處的位置，則 {Xn,n∈ T}是一個齊次馬爾可夫鏈，求一步和 k步轉移概率。若星期一、星期二均下雨，求星期四下雨的概率。若星期一下雨，求星期四下雨的概率。 )(},{ 0 IjjXPp j ???},{ Ijpj ?),()0( 21 ?ppT ?P13 定理 設 {Xn,n∈ T}為馬爾可夫鏈，則對任意 j∈ I和 n≥1，絕對概率 pj(n)具有下
教學課件相關推薦
鄂ICP備17016276號-1