馬爾可夫過程及其概率分布(已修改)
2025-02-01 13:11 本頁面
【正文】 第一節(jié) 馬爾可夫過程及其概率分布 一、馬爾可夫過程的概念 二、馬爾可夫過程的概率分布 三、應(yīng)用舉例 四、小結(jié) 一、馬爾可夫過程的概念 1. 馬爾可夫性 (無后效性 ) 所處的狀態(tài)為已知的在時刻系統(tǒng)過程或 0)( t所處狀態(tài)的條件分布與過程在時刻條件下 0, tt ?特性稱為之前所處的狀態(tài)無關(guān)的與過程在時刻 0t馬爾可夫性 或 無后效性 . 即 : 過程“將來”的情況與“過去”的情況是無關(guān)的 . 2. 馬爾可夫過程的定義 具有馬爾可夫性的隨機(jī)過程稱為 馬爾可夫過程 . 用分布函數(shù)表述馬爾可夫過程 ,}),({: 的狀態(tài)空間隨機(jī)過程設(shè) TttXI ?,個數(shù)值的任意如果對時間 nt,3,21 Ttnttt in ???? ?恰有 })(,)(,)(|)({ 112211 ?? ???? nnnn xtXxtXxtXxtXP ? },)(|)({ 11 RxxtXxtXP nnnnn ???? ??下的條件分布函數(shù)在條件 iin xtXtX ?)()(下的條件分布函數(shù)在條件 11 )()( ?? ? nnn xtXtX或?qū)懗? ),。,|,( 121121| 11 ??? nnnnttt tttxxxtxF nn ???),|,( 11| 1 ???? nnnntt txtxF nn.}),({ 性具馬爾可夫性或無后效這時稱過程 TttX ?并稱此過程 為 馬爾可夫過程 . 3. 馬爾可夫鏈的定義 時間和狀態(tài)都是離散的馬爾可夫過程稱為 馬爾 可夫鏈 , }.,2,1,0),({ ??? nnXX n簡記為 研究時間和狀態(tài)都是離散的隨機(jī)序列 .},( 21 RaaaI i ?? ?狀態(tài)空間為二、馬爾可夫過程的概率分布 },2,1,0),({ ??? nnXX n1. 用分布律描述馬爾可夫性 。0, 21 mtttrn r ????? ?和對任意的正整數(shù), ii Tmnmt ??有 1 1 2 2{ | , , , , }rrm n j t i t i t i m iP X a X a X a X a X a? ? ? ? ? ? ,}|{ imjnm aXaXP ??? ? .Ia i ?其中稱條件概率 }|{),( imjnmij aXaXPnmmP ???? ?nmam i ?在時刻條件下處于狀態(tài)為馬氏鏈在時刻 ,.的轉(zhuǎn)移概率轉(zhuǎn)移到狀態(tài) ja說明 : 轉(zhuǎn)移概率具有特點 .,2,1,1),(1??????jij inmmP ?2. 轉(zhuǎn)移概率 由轉(zhuǎn)移概率組成的矩陣 )),((),( nmmPnmmPij ???稱為馬氏鏈的 轉(zhuǎn)移概率矩陣 . 此矩陣的每一行元素之和等于 1. 它是隨機(jī)矩陣 . 3. 平穩(wěn)性 njinmmP ij 及時間間距只與當(dāng)轉(zhuǎn)移概率 ,),( ?有關(guān)時 , 稱轉(zhuǎn)移概率具有平穩(wěn)性 . 同時也稱此鏈?zhǔn)?齊次的 或 時齊的 . ),(),(, nPnmmP ijij ??記此時 .}|{)( imjnmij aXaXPnP ??? ?稱為馬氏鏈的 n步轉(zhuǎn)移概率 .))(()( 步轉(zhuǎn)移概率矩陣為 nnPnP ij?一步轉(zhuǎn)移概率 }.|()1( 1 imjmijij aXaXPPp ???? ?特別的 , 當(dāng) k=1 時 , 一步轉(zhuǎn)移概率 矩陣 的狀態(tài)1?mX的狀態(tài) mX??iaaa21?? jaaa 21????????????????????????????ijiijjppppppppp211222111211)1(P?記為 P )1(P三、應(yīng)用舉例 ,0)0(,}0),({ ?? XttX 且是獨立增量過程設(shè).}0),({ 是一個馬爾可夫過程證明 ?ttX證明 由獨立增量過程的定義知 , ,2,2,1,0 1 時當(dāng) ????? ? njttt nnj ?.)()()0()( 1 相互獨立與增量 ??? nnj tXtXXtX,)(0)0( 11 ?? ?? nn xtXX 與根據(jù)條件 即有 .)()( 1 相互獨立與 ?? nnj xtXtX例 1 .2,2,1),()( 相互獨立與此時 ?? njtXtX jn ?是一個即具有無后效性這表明 }0),({,)( ?ttXtX馬爾可夫過程 . 說明 : 泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程 。 維納過程是時間狀態(tài)都連續(xù)的馬氏過程 . 設(shè)每一級的傳真率為 p, 誤碼率為 q=1p. 設(shè)一個單位時間傳輸一級 , 只傳輸數(shù)字 0和 1的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng) ) 0X11X 2X ? 1?nXnnX ?2如圖 : 是第一級的輸入0X )1( ?nnX n 級的輸出是第分析 : ,},2,1,0,{ 是一隨機(jī)過程??nX n,}
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1