馬爾科夫連ppt課件(編輯修改稿)
2025-06-03 12:05 本頁面
【文章內(nèi)容簡介】 ?? ? ? ?? ? ? ?? ? ? ?例：A 種啤酒的廣告改變方式后經(jīng)市場調(diào)查發(fā)現(xiàn)：買A 種啤酒及另三種啤酒B , C , D （設市場上只有這四種啤酒）的顧客每兩個月的平均轉移概率如下：設目前購買A , B , C , D 的顧客分布為( 2 5 % ,30%,35%,10%),求半年后A 種啤酒的市場占有率．例題：無限制隨機游動 設質點在數(shù)軸上移動，每次移動一格，向右移動的概率為 p，向左移動的概率為 q=1p，這種運動稱為無限制隨機游動。以 Xn表示時刻 n質點所處的位置，則 {Xn,n∈ T}是一個齊次馬爾可夫鏈，求一步和 k步轉移概率。 例題：有吸收壁隨機游動 甲、乙進行賭博，甲有 a元，乙有 b元，每賭一局輸家給贏家 1元，沒有和局，直到一人輸光為止。設每一局甲贏的概率為 p，輸?shù)母怕蕿?q=1p，求甲輸光的概率 。 20 馬爾可夫鏈的狀態(tài)分類 ?周期、非周期 ?常返、非常返 ?正常返、零常返 ?遍歷狀態(tài) 21 設馬爾可夫鏈的狀態(tài)空間 I={1,2,3,4,5,6,7,8,9}，狀態(tài)間的概率轉移圖如下圖 8 96 52743122 假設 {Xn,n≥0}是齊次馬爾可夫鏈，其狀態(tài)空間 I={0,1,2,3, …} ，轉移概率是 pij， i,j∈ I，初始分布為 {pj,j ∈ I}。 定義 如集合 {n: n≥1,pii(n)0}非空，則稱該集合的最大公約數(shù)d=d(i)={n:pii(n)0}為狀態(tài) i的周期。 引理 如 i的周期為 d，則存在正整數(shù) M，對一切 n≥M，有 pii(nd)0。 如 d1就稱 i為周期的，如 d=1就稱 i為非周期的。 如果 i有周期 D，則對一切非零的 n≠0(mod(D))都有 pii(n)=0。 但這也并不是說對任意 n有 pii(nd)0。例如上圖中狀態(tài) 1的 d=2，但pii(2)=0。 23 1 2 3 411 / 21 / 211例：狀態(tài)轉移概率圖 狀態(tài)的常返性 24 首中概率 它表示質點由 i出發(fā)，經(jīng) n步首次到達 j 的概率 )|,11,()( iXjXnvjXPf mnmvmnij ??????? ?? 表示質點由 i出發(fā)，經(jīng)有限步終于到達 j 的概率。 ????1)(nnijij ff定義 稱狀態(tài) i為常返的，如 fii=1；稱狀態(tài) i為非常返的，如 fii1。 對于常返態(tài) i，由定義知 {fii(n),n≥1}構成一概率分布 ????1)(nniii nf?表示由 i出發(fā)再返回 i的平均返回時間。 ( ) ( ) ( ) ( ) ( )10 , 1 , nnn k n k n k ki j i j j j i j j jkki j np f p f p????? ? ?????定理 對任一狀態(tài) 及 有25 定義 如 ui∞，則稱常返態(tài) i為正常返的；如 ui= ∞，則稱常返態(tài) i為零常返的。 非周期的正常返態(tài)稱為遍歷狀態(tài)。 常返性的判別 ( ) ( )001 .1nni i i inn iiip i pf????? ? ????定理：狀態(tài)常返的充要條件為 如非常返，則含義：當 i常返時，返回 i的次數(shù)為無限多次；當 i非常返時，返回的次數(shù)只能是有限多次。 26 () l im0.ndiiniiiiiddpdi???????? ? ?定理：設常返且有周期 ，則 其中 為的平均返回時間。當 ，1 l i m 0 。12 l i m 0.niinniiniiipip???????? ? ?推論：設常返，則 （） 零常返 （ ） 遍歷27 ()00niji j i j np i j i j i j j i??? ? ? ?定義：稱自狀態(tài)可達狀態(tài)，并記為 ，如果存在 使 ；稱狀態(tài)與 互通，并記為 ，如 且 ．? ?0 0 , 1 0{ 0 , 1 , 2 }1 1 1, , , , .2 2 2ni i iXIp p p i I??? ? ? ?例：設馬氏鏈 的狀態(tài)空間為 ，轉移概率為 分析其遍歷性i j j k i ki j j k i k? ? ?? ? ?定理：可達和互
教學課件相關推薦
鄂ICP備17016276號-1