隨機過程課程設計-連續(xù)馬爾科夫過程的轉移概率及應用(編輯修改稿)
2024-10-07 18:45 本頁面
【文章內(nèi)容簡介】 把矩陣00 01 010 11 101q=nnn n nnqqq q qQq q q????????叫 馬氏過程的速率矩陣，簡稱 Q矩陣。 但考慮到密度矩陣 ()ijQq? ，是由 ( ) ( )ijP t p? 的 導數(shù)組成 即 (0)QP?? 39。 0( ( ))ij ij tq p t ?? 跳躍強度的性質 0ijjIq? ?? 假設ik iikiqq? ??，則對一切 i, j 及 t ≥ 0，有 ? ? ? ? ? ?39。i j i k k j i i i j i jkip t q p t q p t Q P?? ? ?? 在適當?shù)恼齽t條件下有 ? ? ? ? ? ?39。i j i k k j i j j jkjp t p t q p t q???? ★ 向后方程的矩陣形式： ? ? ? ?39。P t QP t? ① ★ 向前方程的矩陣形式： ? ? ? ?39。P t P t Q? ② 其中 Q 矩陣為 0 0 0 1 0 21 0 1 1 1 22 0 2 1 2 2q q qq q qQq q q??????? ??? 矩陣 ??39。pt的元素為矩陣 ??pt 的元素的導數(shù)，而 ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?0 0 0 1 0 21 0 1 1 1 22 0 2 1 2 2=p t p t p tp t p t p tPtp t p t p t?????? 這樣，連續(xù)時間馬爾科夫鏈的轉移概率的求解問題就是矩陣微分方 程的求解問題，其轉移概率有其轉移速率矩陣 Q 決定。 若 Q 是一個有限維矩陣，則式①和式②的解為 隨機過程課程設計 5 ? ? ? ?0 !jQtjQtP t e j????? 定理 3 齊次馬爾可夫過程在 t 時刻處于狀 態(tài) jI? 的絕對概率 ??jpt 滿足方程： ? ? ? ? ? ?39。j j j j k k jkjp t p t q p t q?? ? ? ? 第 4 章 馬爾可夫過程研究的問題的分析 連續(xù)參數(shù) 隨機游動問題 有限圖上的隨機游動 (即有限馬爾可夫鏈 )近一二十年來在近似算法設計的重要應用，使它受到越來越廣泛的關注。這時算法的有效性大部分依賴于所設計隨機游動的性能好壞，而隨機游動的性能主要由它的幾個重要的參數(shù)來決定，如平均首達時間，平均覆蓋時間，收斂速度等。 例 設在 ? ?1,5 的線段上有一個質點作隨機游動，此質點只能停留在 1,2,3,4,5, 諸點上。 質點任何時刻都可能發(fā)生移動，其移動的規(guī)則是： （ 1）若在時刻 t 質點位于 2,3,4, 中的一點， ，則在 tt??（ ） 中以概率 ? ?t o t?? ? 向右移動一格，以概率 ? ?2 t o t? ? ? 向左移動一格； （ 2）若在時刻 t 質點位于 1，則在 tt??（ ） 中以概率 ? ?t o t?? ? 向右移動一格； （ 3）若在時刻 t 質點位于 5，則以概率 ? ?2 t o t? ? ? 向左移動一格 ； （ 4）在 tt??（ ） 發(fā)生其他移動的概率是 ? ?ot? 。 求 ?? jiPt滿足的微分方程。 轉移速率矩陣 ijQq????? 狀態(tài)轉移概率矩陣 ? ? ? ?ijpp????? ?? 從給定狀態(tài)轉移到任意狀態(tài)的轉移概率矩陣 記作 ??ip? ，為 ? ? ? ?ijpp????? ??的第 i 行的行矢量 從任意狀態(tài)轉移到特定狀態(tài)的轉移概率矩陣 記作 ??js ? ，為 ? ? ? ?ijpp????? ??的第 j 行的列矢量 t 時刻系統(tǒng)狀態(tài)的概率分布律矩陣 ? ? ? ? ? ? ? ? ? ?01, , ,ikW t w t w t w t w t??? ? ? ?? ? ? ? 隨機過程課程設計 6 第 5 章 計算結果及程序 解： 寫出馬爾科夫過程的 Q 矩陣，則相應的 Q 矩陣是， 1 1 0 0 02 3 1 0 0= 0 2 3 1 00 0 2 3 10 0 0 2 2Q???????????? 根據(jù)柯爾莫哥洛夫 費勒前進方程，可以列出 ?? jiPt滿足的微分方程： ? ? ? ? ,ij i k k jkjd p t p t q i j Idt???? 初始條件： ? ? ? ?? ??100 ijij ij ijp ? ???? 根據(jù)柯爾莫哥洛夫 費勒后退方程，可以列出 ?? jiPt 滿足的微分方程： ? ? ? ? ,ij i k k jkjd p t q t p i j Idt???? 初始條件： ? ? ? ?? ??100 ijij ij ijp ? ???? 程序 [x,y,z,m,n]=dsolve(39。Dx=1*x+2*y,Dy=1*x(1+2)*y+2*z,Dz=1*y(1+2) *z+2*m,Dm=1*z(1+2)*m+2*n,Dn=1*m2*n39。,39。x(0)=1,y(0)=0,z(0)=0,m(0)=0,n(0) =039。,39。t39。) x = 1/4*(15/1243/620*5^(1/2)1/62*2^(1/2)3/155*10^(1/2))*exp((31/2*10^ (1/2)1/2*2^(1/2))*t)+2/311/4*(3/155*10^(1/2)+15/1243/620*5^(1/2) +1/62*2^(1/2))*exp((3+1/2*10^(1/2)+1/2*2^(1/2))*t)1/4*(1/62*2^(1/2) +15/1243/155*10^(1/2)+3/620*5^(1/2))*exp((31/2*10^(1/2)+1/2*2^(1/2))
高考資料相關推薦
鄂ICP備17016276號-1