【正文】 二）純增殖過程?? 幾種重要的馬爾可夫過程 ? ?? ?? ? ? ?? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ?? ?? ?? ?? ?? ?? ? ? ? )( )( )( 0)(1)(1)(11000?(1100011000mntptpdttdpmtpdttdptpdttdptmntottpttpttpmtottpttptottpttpmpmPmttpntPnttnnnnnmmmnnnnnmmmmnnn??????????????????????????????????????????????????????????起始狀態(tài)為起始狀態(tài)為零得令起始狀態(tài)為起始狀態(tài)為零：樣，可以列出下列方程和前面研究泊松過程一它正整數(shù)。而在純增殖過程所處的狀態(tài)與內出現(xiàn)的跳躍數(shù)目。在純序列，殖過程要用的狀態(tài)有關。它一）泊松過程ttttotottttttt??????????,0( 幾種重要的馬爾可夫過程 ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ??????????????????????????????????nktotttonktottntkttPtotttnttttttotttttntnttttttnnnnn????????????11/,0,0,(10其它。是常數(shù)，則為齊次的泊如果過程；松過程是非齊次的泊松的函數(shù)，這種情況的泊可以為。，那么有使得對任何若存在一個夫過程，態(tài)離散且有限的馬爾可對于任何時間連續(xù)、狀IjptpptptpIritjjtjjitri??????????????l i ml i m 0,00 極限的研究 ? ? ? ?tptptjij 、時??? ?? ?? ?? ?? ?? ? ? ?10 00 ??????????????????????????????IkkIkjkkIkjkkiIkjkkijijjijjipqpqptttqtpdttdpIjitpdtdtpdtdtptpt并且還有已知條件：時變?yōu)樵诤透？耍绽士朔匠趟郧斑M方程，時，那么當趨于一個常數(shù)時當Qpp 極限的研究 ? ? ? ?tptptjij 、時??? ?? ?? ?? ?? ? ? ?? ? ? ?????????????????????????????????????????????????????????????????????????????????10101000000100000100010Ql i ml i ml i ml i m0 ppppppptptptptptetpetptittttt解得，所以有＝因為討論的方法求得。對任何件概率其充要條件是相應的條無關的極限趨于一個與初始分布時引理：當itpptptjijj 0??? ?? ? 。質點在任何時刻，留在機游動，此質點只能停的線段上有一質點作隨設在????????? 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例四 隨機游動 ? ?? ?? ?? ? ? ?? ? ? ?? ?的微分方程。為吸收壁。設該機器解：它是一個二個狀態(tài)率如何？時該機器正常工作的概工作的，問在是機器是正常。反之，如果機器處于故為損壞狀態(tài)的概率為在內機器從正常工作變。費勒在是一程不一樣，但它們的解雖然前進方程和后退方）個元素為第它的起始條件為）可寫出矩陣形式則方程（定義一列矩陣限狀態(tài)空間如果馬爾可夫過程為有194011(0,0,1,0,00 6 5,}, .. .,2,1,0{:10?????jtttptptptnITjjjTjnjjj???SQSSS 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例三 機器維修問題 ? ?? ?。哥洛夫－費勒后退方程）式方程組稱為柯爾莫（，得令 柯爾莫哥洛夫前進方程和后退方程 【 六 】 柯爾莫哥洛夫－費勒后退方程 ? ? ? ? ? ? ? ?? ?? ? ? ? ? ?? ? ? ?年已證明了這一結論。這時應采用另一組方，研究即固定所處的狀態(tài)，情況下感興趣的是最后方便的。已知對某人的服務是負指數(shù)分布的隨機變務，對顧客的服務時間時刻有一顧客正在被服表示在矩陣（續(xù)））求解：（ 柯爾莫哥洛夫前進方程和后退方程 【 五 】 例二 排隊問題 ? ? ? ?? ?? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?????????????????????????????????????????????23212022232120131210111312 0 0 1 21Q1qqqqqqqqqqqqqtottottotttott同理因此＝－狀態(tài)的概率為轉入內系統(tǒng)由狀態(tài)因此在，的概率為內有一顧客到達服務臺另一方面，在矩陣（續(xù)））求解：（ 柯爾莫哥洛夫前進方程和后退方程 【 五 】 例二 排隊問題 ? ?? ? ? ?? ?? ?? ?????????????????????????????????????????????????????000000,0 1 33233Q133313032 矩陣于是而因此，概率為內對一顧客服務結束的時在。變量是服從泊松分布的隨機內到達服務臺的顧客數(shù)有一服務臺tpjttItttji0}3,2,1,0{:1],0[???? 柯爾莫哥洛夫前進方程和后退方程 【 五 】 例二 排隊問題 ? ?? ?? ?? ?? ???????????????????00030201 Q0 , ,100Q1qqqtotttqtottttt所以素之和為零，矩陣中每一行的所有元因為在，所以概率為顧客到達服務臺的內有二個或二個以上的在，服務臺的概率為內有一個顧客到達，則在因顧客流是一泊松過程。如果服務臺空閑時到平均服務時間為指數(shù)分布的隨機變量顧客的服務時間是按負臺只有一個服務員，對。時系統(tǒng)處于零狀態(tài)，即；又設空間為于是這個系統(tǒng)的狀態(tài)就是系統(tǒng)所處的狀態(tài)，等候的顧客），該人數(shù)客和排隊（包括正在被服務的顧時刻系統(tǒng)內的顧客人數(shù)代表設就離開而不再回來。求時，當時當它的狀態(tài)空間為離散的馬爾可夫過程設有一參數(shù)連續(xù)、狀態(tài) ? 柯爾莫哥洛夫前進方程和后退方程 【 五 】 例一 ? ? ? ?? ? ? ?? ? ? ?? ? ? ?mjijimemtpmimemtpmAjimAjijippmjimAetpmtjimtiijiiimtji, .. .,2,1,11, .. .,2,11111,11)(00,10, .. .,2,1,1 ??????????????????????????????于是時，當時，當利用起始條件： 柯爾莫哥洛夫前進方程和后退方程 【 五 】 例二 排隊問題 ? ?? ?所滿足的微分方程。）稱為?？耍绽士朔椒匠蹋磩t率分布為時刻過程所處狀態(tài)的概設在布為已知過程的起始狀態(tài)分狀態(tài)的無條件概率過程取時刻導出布以及前進方程，可以根據(jù)起始狀態(tài)的概率分44 00 0 , 0,0,00 1010QppQpQPpPppPpppp?????????????ttttttdtdtttptptpttpppjtPtpjtnnj??? 柯爾莫哥洛夫前進方程和后退方程 【 五 】 例一 ? ?? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ?mjimAetpmjitmptptmptptpmtpdtdtpmqmiqmjijimIttmtjijiIkkijijkIkkijijijiiiji, .. .,2,1,1 , .. .,2,1,1 11, .. .,2,1。）也稱為柯爾莫哥洛夫方程（）個元素為第它的起始條件為）可寫出矩陣形式則方程（定義一行矩陣限狀態(tài)空間如果馬爾可夫過程為有211(0,0,1,0,00 2 1,}, . . . ,2,1,0{:10??????itttptptptnIiiiniiii???ΓQΓΓΓ 柯爾莫哥洛夫前進方程和后退方程 【 三 】 柯爾莫哥洛夫－費勒前進方程式 ? ? ? ? ? ?? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ? ? ?－費勒前進方程。哥洛夫－費勒前進方程。時，當? 柯爾莫哥洛夫前進方程和后退方程 【 二 】 跳躍強度（無窮小轉移率）及轉移率矩陣（ Q矩陣） 0 21011211100020220???????????????jinnnnnnnqjicbaqqqqqqqqqqqq時，）（或為零；）對角線上的元素為負