[理學(xué)]中南大學(xué)隨機(jī)過(guò)程第七章(已修改)
2024-10-31 00:36 本頁(yè)面
【正文】 隨機(jī)過(guò)程與排隊(duì)論 數(shù)學(xué)科學(xué)與計(jì)算技術(shù)學(xué)院 胡朝明 Email： 2021年 11月 10日星期三 2021/11/10 胡朝明 37－ 2 上一講內(nèi)容回顧 ?馬爾可夫過(guò)程 ? 馬爾可夫過(guò)程的概念 ? 馬爾可夫過(guò)程的分類 ? 離散參數(shù)馬氏鏈 ? k步轉(zhuǎn)移概率、 k步轉(zhuǎn)移矩陣 ? 齊次馬爾可夫鏈 2021/11/10 胡朝明 37－ 3 本講主要內(nèi)容 ?離散參數(shù)馬氏鏈 ? 齊次馬氏鏈的性質(zhì)鏈 ? 初始分布、絕對(duì)分布 、極限分布 ? 遍歷性 ? 平穩(wěn) 性 2021/11/10 胡朝明 37－ 4 167。 離散參數(shù)馬氏鏈 狀態(tài)空間 E和參數(shù)集 T都是離散的馬爾可夫過(guò) 程稱為 離散參數(shù)馬氏鏈 ，簡(jiǎn)稱 馬氏鏈 。即 設(shè) {X(n),n=0,1,2,…} 為隨機(jī)序列，狀態(tài)空間 E={0,1,2,…} 。如果對(duì)于任意非負(fù)整數(shù) k、 n1 n2…n jm及 in1,in2,…i nj,im,im+k?E馬爾可夫性 P{X(m+k)=im+k|X(n1)=in1, X(n2)=in2,…,X(n j)=inj,X(m)=im} ＝ P{X(m+k)=im+k|X(m)=im} 成立，則稱 {X(n),n=0,1,2,…} 為 離散參數(shù)馬爾可夫鏈 ，簡(jiǎn)稱 馬氏鏈 。 2021/11/10 胡朝明 37－ 5 k步轉(zhuǎn)移概率 設(shè) {X(n),n=0,1,2,… }為馬氏鏈 ， E={0,1,2, … }， 稱條件概率 pij(m,k)＝ P{X(m+k)=j|X(m)=i} 為馬氏鏈 {X(n),n=0,1,…} 在 m時(shí)刻的 k步轉(zhuǎn)移概率 . k步轉(zhuǎn)移概率的直觀意義是： 質(zhì)點(diǎn)在時(shí)刻 m時(shí)處于狀態(tài) i，再經(jīng)過(guò) k步 (k個(gè)單位時(shí)間 )處于狀態(tài) j的條件概率 。 特別地， k=1時(shí)， pij(m,1)＝ P{X(m+1)=j|X(m)=i} 稱為 一步轉(zhuǎn)移概率 ， 簡(jiǎn)稱 轉(zhuǎn)移概率 。 2021/11/10 胡朝明 37－ 6 k步轉(zhuǎn)移矩陣 稱矩陣 ???????????????????????????????????)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p)k,m(p))k,m(p()k,m(Pnn1n0nn11110n00100Ej,iij為馬氏鏈 {X(n),n=0,1,…} 在 m時(shí)刻的 k步轉(zhuǎn)移矩陣 。一步轉(zhuǎn)移矩陣 P(m,1)簡(jiǎn)稱 轉(zhuǎn)移矩陣 。 1)k,m(p0)k,m(pEjijij ?? ?? 由轉(zhuǎn)移概率的定義，顯然有： 2021/11/10 胡朝明 37－ 7 齊次馬爾可夫鏈 若馬氏鏈 {X(n),n=0,1,2,…} 的轉(zhuǎn)移概率 pij(m,k)與 m 無(wú)關(guān)，即 pij(m,k)＝ P{X(m+k)=j|X(m)=i}＝ pij(k)； pij(m,1)＝ P{X(m+1)=j|X(m)=i}＝ pij(1)＝ pij； 則稱 {X(n),n=0,1,2,…} 為 齊次馬爾可夫鏈 ，簡(jiǎn)稱 齊次馬氏鏈 。 。1)k(pEj ij???。1pEj ij???齊次馬氏鏈的 k步轉(zhuǎn)移矩陣記為： P(m,k)＝ P(k)＝ (pij(k))i,j?E 一步轉(zhuǎn)移矩陣，簡(jiǎn)稱 轉(zhuǎn)移矩陣 ，記為： P(m,1)＝ P(1)＝ P＝ (pij)i,j?E 齊次馬氏鏈的轉(zhuǎn)移概率具有如下性質(zhì)： 0?pij(k)?1， 0?pij?1， 2021/11/10 胡朝明 37－ 8 例 1 貝努里序列 如上節(jié)例 2所述，貝努里序列是一個(gè)齊次馬氏鏈，其轉(zhuǎn)移矩陣為 ?????????pqpqP 一般地， 獨(dú)立同分布的離散隨機(jī)變量序列{X(n),n=0,1,2,…} 都是齊次馬氏鏈 。 2021/11/10 胡朝明 37－ 9 例 2 隨機(jī)游動(dòng) 一質(zhì)點(diǎn)在數(shù)軸上的整數(shù)點(diǎn)上作隨機(jī)游動(dòng)的， 以 X(n)表示時(shí)刻 n質(zhì)點(diǎn)的位置 。 質(zhì)點(diǎn)在某一 時(shí)刻 m 時(shí)處于狀態(tài) i， 即 X(m)=i， 則下一步以概率 q左移 到狀態(tài) i1， 即 pi,i1(m,1)=q；而以概率 p右移到狀 態(tài) i+1， 即 pi,i+1(m,1)=p。 因而質(zhì)點(diǎn)將來(lái)所處的狀 態(tài) X(m+1),X(m+2),… ,X(m+k)等僅與現(xiàn)在所處的 狀態(tài) X(m)=i有關(guān) ， 而與過(guò)去所處的狀態(tài)無(wú)關(guān) 。 因 此，隨機(jī)游動(dòng) {X(n),n=0,1,2,…} 是齊次馬氏鏈。 隨機(jī)游動(dòng)的統(tǒng)計(jì)特征由它在邊界的特點(diǎn)決定， 下面給出幾種特殊的情形。 2021/11/10 胡朝明 37－ 10 (無(wú)限制 )隨機(jī)游動(dòng) 狀態(tài)空間 E＝ {…, 2,1,0,1,2,…} 兩端無(wú)限 制。轉(zhuǎn)移概率： pi,i1＝
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1