【文章內(nèi)容簡介】 增量 過程，故 有相同分布 N(0,σ2(t－ s)). )()()()( sWsstWsWtW ?????)()0()( stWWstW ????與140－ 45 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 維納過程的二維概率分布 均值函數(shù)向量 二階協(xié)方差矩陣 二維概率分布 二維概率密度函數(shù) 二維特征函數(shù) ? ?T00O ?st,tsssC2222??????????????st),C,O(N~))t(W),s(W( T ?)sys x y2tx()st(s212222e)st(s21)y,x。t,s(f ?????????ts,e)v,u。t,s( )tvs u v2su(2222??? ????140－ 46 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 維納過程的性質(zhì) 1) 維納過程是平穩(wěn)獨立增量過程。 2) 維納過程是正態(tài)過程。 3) 維納過程是馬爾可夫過程。 140－ 47 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 6）泊松過程 如果取非負(fù)整數(shù)值的計數(shù)過程 {N(t),t?0}滿足： 1) N(0)＝ 0； 2) 具有獨立增量； 3) 對任意 0?st,N(t)N(s)服從參數(shù)為 ?(ts)泊松分布， ?,2,1,0k,e!k )]st([k})P { N ( t ) N ( s )st(k????? ???則稱 {N(t),t?0}為 參數(shù) (或平均率 、 強(qiáng)度 )為 ?的 (齊次 )泊松過程 。 140－ 48 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 泊松過程的定義 2 如果取非負(fù)整數(shù)值得計數(shù)過程 {N(t),t?0}滿足下 列條件： a) N(0)＝ 0； b) 具有平穩(wěn)獨立增量； c) P{N(h)=1}＝ ?h+o(h)； d) P{N(h)?2}＝ o(h) 則稱 {N(t),t?0}為 參數(shù) (或平均率、強(qiáng)度 )為 ?的 (齊次 ) 泊松過程 。 140－ 49 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 泊松過程的概率分布和數(shù)字特征 1) 一維概率分布及均值和方差函數(shù) 1) 對任意 t0,N(t)～ ?(?t), P{N(t)=k}＝ ；tke!k )t( ????????????0ktki u k)t(i u N e!k)t(e]e[E)u(2) 均值函數(shù) m(t)＝ E[N(t)]＝ ?t； 3) 方差函數(shù) D(t)＝ D[N(t)]＝ ?t。 2. 一維特征函數(shù) )1e(ttte0ktkiuiuiu eeee!k)te( ????????? ???? ?140－ 50 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 泊松過程的概率分布和數(shù)字特征 3. 二維概率分布 P{N(s)=j, N(t)=k} ＝ P{N(s)=j,N(t)N(s)=kj} ts )st(jksje)!jk()]st([e!j)s( ???????????ts0,e)!jk(!j)st(s tjkjk ?????? ???＝ P{N(s)=j}P{N(ts)=kj} 140－ 51 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 泊松過程的概率分布和數(shù)字特征 4. 協(xié)方差函數(shù)和相關(guān)函數(shù) 協(xié)方差函數(shù) C(s,t)＝ ?min(s,t)， 相關(guān)函數(shù) R(s,t)＝ ?min(s,t)＋ ?2st。 140－ 52 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 泊松過程的性質(zhì) ? 泊松過程是平穩(wěn)獨立增量過程； ? 設(shè) {N(t),t?0}是 參數(shù)為 ?的泊松過程， {Tn,n=1,2,…} 為點間間距序列，則 Tn,n=1,2,… 是相互獨立同分 布的隨機(jī)變量，且都服從參數(shù)為 ?的 (負(fù) )指數(shù)分布。 ? 設(shè) {N(t),t?0}是 參數(shù)為 ?的泊松過程 ， {?n,n=1,2, … }為等待時間序列 ， 則 ? n～ ?(n,?)， 即概率密度 為： ?????????????。0t,0,0t,et)n()t(ft1nn即 n階愛而朗分布 。 140－ 53 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 馬爾可夫過程 定義 1 給定隨機(jī)過程 {X(t),t?T}，如果對于參數(shù)中任意 n個時刻 ti,i=1,2,…,n ， t1t2…t n有 P{X(tn)xn|X(t1)=x1,X(t2)=x2,…,X(t n1)=xn1} ＝ P{X(tn)xn|X(tn1)=xn1} () 則稱 隨機(jī)過程 {X(t),t?T}為 馬爾可夫過程 ，簡稱馬氏過程 。 具有 ()式性質(zhì)稱為具有 馬爾可夫性 、 無后效性或 無記憶性 。 140－ 54 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 轉(zhuǎn)移概率 定義 2 給定馬氏過程 {X(t),t?T}，條件概率 p(s,t。x,y)＝ P{X(t)y|X(s)=x} 稱為馬氏過程的 轉(zhuǎn)移概率 。 若轉(zhuǎn)移概率與 s無關(guān)，則此過程稱為 齊次 (時 )馬氏過程 。 馬氏過程 {X(t),t?T}中， X(t)的取值 x稱為 狀態(tài) ，X(t)＝ x表示過程在時刻 t處于狀態(tài) x，過程所取狀態(tài)的全體 E＝ {x： X(t)=x,t?T} 稱為 狀態(tài)空間 。 140－ 55 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 馬爾可夫過程的分類 參數(shù)集 T 離散 連續(xù) 狀態(tài)空間 E 離散 離散參數(shù)馬氏鏈 連續(xù)參數(shù)馬氏鏈 連續(xù) 離散參數(shù)馬氏序列 連續(xù)參數(shù)馬氏過程 140－ 56 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 1）離散參數(shù)馬氏鏈 設(shè) {X(n),n=0,1,2,… }為馬氏鏈 ， E={0,1,2, … }， 稱條件概率 pij(m,k)＝ P{X(m+k)=j|X(m)=i} 為馬氏鏈 {X(n),n=0,1,…} 在 m時刻的 k步轉(zhuǎn)移概率 . 特別地， k=1時， pij(m,1)＝ P{X(m+1)=j|X(m)=i} 稱為 一步轉(zhuǎn)移概率 ， 簡稱 轉(zhuǎn)移概率 。 狀態(tài)空間 E和參數(shù)集 T都是離散的馬爾可夫過 程稱為 離散參數(shù)馬氏鏈 ，簡稱 馬氏鏈 。即 140－ 57 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 2）齊次馬爾可夫鏈 若馬氏鏈 {X(n),n=0,1,2,…} 的轉(zhuǎn)移概率 pij(m,k)與 m 無關(guān)，即 pij(m,k)＝ P{X(m+k)=j|X(m)=i}＝ pij(k)； pij(m,1)＝ P{X(m+1)=j|X(m)=i}＝ pij(1)＝ pij； 則稱 {X(n),n=0,1,2,…} 為 齊次馬爾可夫鏈 ，簡稱 齊次馬氏鏈 。 。1)k(pEj ij???。1pEj ij???齊次馬氏鏈的 k步轉(zhuǎn)移矩陣記為： P(m,k)＝ P(k)＝ (pij(k))i,j?E 一步轉(zhuǎn)移矩陣，簡稱 轉(zhuǎn)移矩陣 ，記為： P(m,1)＝ P(1)＝ P＝ (pij)i,j?E 齊次馬氏鏈的轉(zhuǎn)移概率具有如下性質(zhì)： 0?pij(k)?1， 0?pij?1， 140－ 58 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 3）齊次馬氏鏈的性質(zhì) ? 齊次馬氏鏈 {X(n),n=0,1,2,…} 的轉(zhuǎn)移概率 pij(k)滿足 CK方程 (ChapmanKolmogrov)。 ????Er rjirij)s(p)k(p)sk(p采用矩陣記號為： P(k+s)＝ P(k)P(s)。 ? 齊次馬氏鏈 {X(n),n=0,1,2,…} 的 n步轉(zhuǎn)移矩陣等于一步轉(zhuǎn)移矩陣的 n次方，即： P(n)＝ Pn。 ? 絕對分布由初始分布和轉(zhuǎn)移概率確定，且滿足 )Ej()n(pp)n(pEiijij ?? ??或記為 。n0n PP~P~ ?140－ 59 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 3）齊次馬氏鏈的性質(zhì)（續(xù)） ? 齊次馬氏鏈的有限維分布由初始分布和轉(zhuǎn)移概率確定，且滿足 P{X(n1)=i1,X(n2)=i1,…,X(n k)=ik} )nn(p)nn(p)n(pp 1kkiiEi12ii1iii k1k211 ????????? ?? ?其中 P{X(n1)=i1,X(n2)=i1,…,X(n k)=ik}為齊次馬氏鏈的 k維概率分布。 140－ 60 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 3）齊次馬氏鏈的性質(zhì)（續(xù)） ? 設(shè) 齊次馬氏鏈 {X(n),n=0,1,2,…} 的狀態(tài)空間 E={1,2,…,s} 為有限，若存在正整數(shù) n0,對任意 i, j?E，有 pij(n0)0，則此馬氏鏈?zhǔn)潜闅v的，且極限分布是方程組 s,2,1j,ps1iijij ????? ??在滿足條件 1,0s1jjj ???? ??下的唯一解。 140－ 61 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 3）齊次馬氏鏈的性質(zhì)（續(xù)） ? 設(shè) 齊次馬氏鏈 {X(n),n=0,1,2,…} 具有遍歷性，則 Ej,)n(plim jjn ?????即遍歷的齊次馬氏鏈的絕對分布與轉(zhuǎn)移概率有相同的極限。 ? 遍歷的齊次馬氏鏈的極限分布是平穩(wěn)分布 ? 設(shè) {X(n),n=0,1,2,…} 的平穩(wěn)分布為 {vj,j?E}，則有 V＝ VPn， n=0,1,2,… 140－ 62 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 3）齊次馬氏鏈的性質(zhì)（續(xù)） ? 如果齊次馬氏鏈 {X(n),n=0,1,2,…} 的初始分布 {pj,j?E}恰好是平穩(wěn)分布，則對一切 n有 pj(n)＝ pj， n=0,1,2,… ， j?E 即 0n P~P~ ?140－ 63 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 3）齊次馬氏鏈的性質(zhì)（續(xù)） ? 設(shè) 齊次馬氏鏈 {X(n),n=0,1,2,…} 的狀態(tài)空間有 限 E={1,2,…,s} ，若存在正整數(shù) n0,對任意 i,j?E， n0步轉(zhuǎn)移概率 pij(n0)0，則此鏈?zhǔn)潜闅v的，且極限分布等于平穩(wěn)分布。 ???????????????????1,0PpEjjjEiijij 或記140－ 64 首返概率 平均返 回時間 周期 以三個層次區(qū)分狀態(tài)類型 狀態(tài) 非常返態(tài) 常返態(tài) 零常返態(tài) 正常返態(tài) 有周期 非周期 遍歷態(tài) 4）齊次馬氏鏈狀態(tài)的分類 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 140－ 65 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 5）連續(xù)參數(shù)馬爾可夫鏈 設(shè) 隨機(jī)過程 {X(t),t?0}，狀態(tài)空間 E={0,1,2, …} 。若對于 0t1t2…t ntn+1及非負(fù)整數(shù) i1,i2, …i n,in+1，有 P{X(tn+1)＝ in+1|X(t1)=i1,X(t2)=i2,…,X(t n)=in} ＝ P{X(tn+1)＝ in+1|X(tn)=in} 即馬爾可夫性成立，則稱 {X(t),t?0}為 連續(xù)參數(shù)馬爾可夫鏈 。 140－ 66 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 轉(zhuǎn)移概率函數(shù) 設(shè) {X(t),t?0}為連續(xù)參數(shù)馬氏鏈，對任意 i,j?E ＝ {0,1,2,…} ，任意非負(fù)實數(shù) s,t， 條件概率 pij(s,t)＝ P{X(t+s)=j|X(s)=i} 稱為此馬氏鏈 {X(t),t?0}的 轉(zhuǎn)移概率函數(shù) ，顯然 1)t,s(p,1)t,s(p0Ejijij ??? ??我們稱 P(s,t)＝ (pij(s,t))i,j?E 為此馬氏鏈的 轉(zhuǎn)移矩陣 。 140－ 67 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 連續(xù)參數(shù)齊次馬氏鏈 若 {X(t),t?0}為連續(xù)參數(shù)馬氏鏈的轉(zhuǎn)移概率 pij(s,t)與 時間起點 s無關(guān) ， 即 pij(s,t)＝ P{X(s+t)=j|X(s)=i}＝ pij(t) 則稱 {X(t),t?0}為 連續(xù)參數(shù)齊次馬氏鏈 。 。1)t(pEj ij???類似地， P(t)＝ (pij(t))i,j?E 稱為此齊次馬氏鏈的 轉(zhuǎn)移矩陣 。 0?pij(t)?1， 140－ 68 2022/8/22 計算機(jī)科學(xué)與工程學(xué)院 顧小豐 轉(zhuǎn)移概率函數(shù)的性質(zhì) 1) 0?pij(t)?1， i,j?E； 。1)t