[理學]中南大學隨機過程第七章(已修改)
2025-10-26 00:36 本頁面
【正文】 隨機過程與排隊論 數(shù)學科學與計算技術(shù)學院 胡朝明 Email： 2021年 11月 10日星期三 2021/11/10 胡朝明 37－ 2 上一講內(nèi)容回顧 ?馬爾可夫過程 ? 馬爾可夫過程的概念 ? 馬爾可夫過程的分類 ? 離散參數(shù)馬氏鏈 ? k步轉(zhuǎn)移概率、 k步轉(zhuǎn)移矩陣 ? 齊次馬爾可夫鏈 2021/11/10 胡朝明 37－ 3 本講主要內(nèi)容 ?離散參數(shù)馬氏鏈 ? 齊次馬氏鏈的性質(zhì)鏈 ? 初始分布、絕對分布 、極限分布 ? 遍歷性 ? 平穩(wěn) 性 2021/11/10 胡朝明 37－ 4 167。 離散參數(shù)馬氏鏈 狀態(tài)空間 E和參數(shù)集 T都是離散的馬爾可夫過 程稱為 離散參數(shù)馬氏鏈 ，簡稱 馬氏鏈 。即 設 {X(n),n=0,1,2,…} 為隨機序列，狀態(tài)空間 E={0,1,2,…} 。如果對于任意非負整數(shù) k、 n1 n2…n jm及 in1,in2,…i nj,im,im+k?E馬爾可夫性 P{X(m+k)=im+k|X(n1)=in1, X(n2)=in2,…,X(n j)=inj,X(m)=im} ＝ P{X(m+k)=im+k|X(m)=im} 成立，則稱 {X(n),n=0,1,2,…} 為 離散參數(shù)馬爾可夫鏈 ，簡稱 馬氏鏈 。 2021/11/10 胡朝明 37－ 5 k步轉(zhuǎn)移概率 設 {X(n),n=0,1,2,… }為馬氏鏈 ， E={0,1,2, … }， 稱條件概率 pij(m,k)＝ P{X(m+k)=j|X(m)=i} 為馬氏鏈 {X(n),n=0,1,…} 在 m時刻的 k步轉(zhuǎn)移概率 . k步轉(zhuǎn)移概率的直觀意義是： 質(zhì)點在時刻 m時處于狀態(tài) i，再經(jīng)過 k步 (k個單位時間 )處于狀態(tài) j的條件概率 。 特別地， k=1時， pij(m,1)＝ P{X(m+1)=j|X(m)=i} 稱為 一步轉(zhuǎn)移概率 ， 簡稱 轉(zhuǎn)移概率 。 2021/11/10 胡朝明 37－ 6 k步轉(zhuǎn)移矩陣 稱矩陣 ???????????????????????????????????)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p))k,m(p()k,m(Pnn1n0nn11110n00100Ej,iij為馬氏鏈 {X(n),n=0,1,…} 在 m時刻的 k步轉(zhuǎn)移矩陣 。一步轉(zhuǎn)移矩陣 P(m,1)簡稱 轉(zhuǎn)移矩陣 。 1)k,m(p0)k,m(pEjijij ?? ?? 由轉(zhuǎn)移概率的定義，顯然有： 2021/11/10 胡朝明 37－ 7 齊次馬爾可夫鏈 若馬氏鏈 {X(n),n=0,1,2,…} 的轉(zhuǎn)移概率 pij(m,k)與 m 無關(guān)，即 pij(m,k)＝ P{X(m+k)=j|X(m)=i}＝ pij(k)； pij(m,1)＝ P{X(m+1)=j|X(m)=i}＝ pij(1)＝ pij； 則稱 {X(n),n=0,1,2,…} 為 齊次馬爾可夫鏈 ，簡稱 齊次馬氏鏈 。 。1)k(pEj ij???。1pEj ij???齊次馬氏鏈的 k步轉(zhuǎn)移矩陣記為： P(m,k)＝ P(k)＝ (pij(k))i,j?E 一步轉(zhuǎn)移矩陣，簡稱 轉(zhuǎn)移矩陣 ，記為： P(m,1)＝ P(1)＝ P＝ (pij)i,j?E 齊次馬氏鏈的轉(zhuǎn)移概率具有如下性質(zhì)： 0?pij(k)?1， 0?pij?1， 2021/11/10 胡朝明 37－ 8 例 1 貝努里序列 如上節(jié)例 2所述，貝努里序列是一個齊次馬氏鏈，其轉(zhuǎn)移矩陣為 ?????????pqpqP 一般地， 獨立同分布的離散隨機變量序列{X(n),n=0,1,2,…} 都是齊次馬氏鏈 。 2021/11/10 胡朝明 37－ 9 例 2 隨機游動 一質(zhì)點在數(shù)軸上的整數(shù)點上作隨機游動的， 以 X(n)表示時刻 n質(zhì)點的位置 。 質(zhì)點在某一 時刻 m 時處于狀態(tài) i， 即 X(m)=i， 則下一步以概率 q左移 到狀態(tài) i1， 即 pi,i1(m,1)=q；而以概率 p右移到狀 態(tài) i+1， 即 pi,i+1(m,1)=p。 因而質(zhì)點將來所處的狀 態(tài) X(m+1),X(m+2),… ,X(m+k)等僅與現(xiàn)在所處的 狀態(tài) X(m)=i有關(guān) ， 而與過去所處的狀態(tài)無關(guān) 。 因 此，隨機游動 {X(n),n=0,1,2,…} 是齊次馬氏鏈。 隨機游動的統(tǒng)計特征由它在邊界的特點決定， 下面給出幾種特殊的情形。 2021/11/10 胡朝明 37－ 10 (無限制 )隨機游動 狀態(tài)空間 E＝ {…, 2,1,0,1,2,…} 兩端無限 制。轉(zhuǎn)移概率： pi,i1＝
教學課件相關(guān)推薦
鄂ICP備17016276號-1