【正文】 如果馬爾可夫過程為有194011(0,0,1,0,00 6 5,}, .. .,2,1,0{:10?????jtttptptptnITjjjTjnjjj???SQSSS 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例三 機器維修問題 ? ?? ?。故作的概率為修理狀態(tài)修復到正常工修理狀態(tài)，在內(nèi)機器從。反之，如果機器處于故為損壞狀態(tài)的概率為在內(nèi)機器從正常工作變。，則它的狀態(tài)空間為的狀態(tài)為，該機器因損壞而修理為正常工作時的狀態(tài)的隨機過程。設該機器解：它是一個二個狀態(tài)率如何？時該機器正常工作的概工作的，問在是機器是正常。假如在修復時間為的隨機變量，它的平均時間也是一負指數(shù)分布，它損壞后的平均修復正常工作時間為機變量，它的平均間是一負指數(shù)分布的隨設某機器的正常工作時????????????????????????????????11100001,1,1}1,0{1010011qqtoteqqtotetttt 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例三 機器維修問題 ? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? ? ?? ??????? ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????sssssssssspspspspspspspptptptptp2210100010001001000100010001 0110101 0100,Q Q用拉普拉斯變換法求：根據(jù)后退方程有矩陣為所以 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例三 機器維修問題 ? ?? ? ? ?? ?? ?? ?? ?? ?? ? ? ?? ?? ? ? ? ? ?? ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? ??????????1000001000210001000101000 11111eppPpPeetptpsssssssspsptt所以有：由題意，所以有 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例四 隨機游動 ? ? ? ?? ?? ? ? ?? ? ? ?? ?? ?005301204,3,2151,53,12,432154321]5,1[55111211?????????????????????????????????kikikiiiiiiijiqqiqqqiqqqqitptotttttottttttottottttt，其它時，）（，其它，時，）（，其它，時，）（解：根據(jù)規(guī)則有滿足的微分方程。為吸收壁。求各為不可越壁，即發(fā)生移動的概率為，則在質(zhì)點位于刻）若在時向右移動一格；（中以概率，則在位于質(zhì)點）若在時刻向右移動一格；（右移動一格，以概率向中以概率中的一點，則在，質(zhì)點位于在時刻）若動的規(guī)則是：（都可能發(fā)生移動，其移諸點。質(zhì)點在任何時刻，，留在機游動，此質(zhì)點只能停的線段上有一質(zhì)點作隨設在????????? 柯爾莫哥洛夫前進方程和后退方程 【 七 】 例四 隨機游動 ? ?? ?? ?? ? ? ?? ? ? ?? ?的微分方程。便可以列出一系列包含或前進方程矩陣，后退方程根據(jù)矩陣為于是得tpttttjijjQPPQSSQ 00000000000000?????????????????????????????????????????? 極限的研究 ? ? ? ?tptptjij 、時??? ? ? ?? ? 趨于同一極限。對任何件概率其充要條件是相應的條無關(guān)的極限趨于一個與初始分布時引理：當itpptptjijj 0??? ?? ? 。無關(guān)，存在且與極限，那么有使得對任何可夫過程，若存在一個且有限的馬爾何時間連續(xù)、狀態(tài)離散馬爾可夫定理：對于任IjiiptptpIritjjitri??????,l i m0, 00? ?? ?? ?。，那么有使得對任何若存在一個夫過程，態(tài)離散且有限的馬爾可對于任何時間連續(xù)、狀I(lǐng)jptpptptpIritjjtjjitri??????????????l i ml i m 0,00 極限的研究 ? ? ? ?tptptjij 、時??? ?? ?? ?? ?? ?? ? ? ?10 00 ??????????????????????????????IkkIkjkkIkjkkiIkjkkijijjijjipqpqptttqtpdttdpIjitpdtdtpdtdtptpt并且還有已知條件：時變?yōu)樵诤透？耍绽士朔匠趟郧斑M方程，時，那么當趨于一個常數(shù)時當Qpp 極限的研究 ? ? ? ?tptptjij 、時??? ?? ?? ?? ?? ? ? ?? ? ? ?????????????????????????????????????????????????????????????????????????????????10101000000100000100010Ql i ml i ml i ml i m0 ppppppptptptptptetpetptittttt解得，所以有＝因為討論的方法求得。，這一結(jié)論可以用這節(jié)有，即不論初始分布如何時，所以當，問題中，我們已經(jīng)求得例：在前面的機器維修 幾種重要的馬爾可夫過程 ? ?? ? ? ?? ? ? ? ? ?? ?? ? 松過程。是常數(shù)，則為齊次的泊如果過程；松過程是非齊次的泊松的函數(shù)，這種情況的泊可以為。其中事件的概率為，出現(xiàn)兩個或兩個以上為內(nèi)出現(xiàn)一個事件的概率取何值，在如何，即不論內(nèi)出現(xiàn)的事件數(shù)，的特點是不論在它是馬爾可夫過程。它一）泊松過程ttttotottttttt??????????,0( 幾種重要的馬爾可夫過程 ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ??????????????????????????????????nktotttonktottntkttPtotttnttttttotttttntnttttttnnnnn????????????11/,0,0,(10其它。即跳躍的概率為內(nèi)出現(xiàn)兩個或兩個以上時在增殖過程中同樣假定來刻劃它的特征。在純序列，，殖過程要用的狀態(tài)有關(guān)。因此純增與所處，為內(nèi)出現(xiàn)一個跳躍的概率則，個跳躍，即內(nèi)出現(xiàn)中，如果無關(guān)。而在純增殖過程所處的狀態(tài)與內(nèi)出現(xiàn)的跳躍數(shù)目。即的概率不依賴于內(nèi)出現(xiàn)一個跳躍在泊松過程中，它是泊松過程的推廣。二）純增殖過程?? 幾種重要的馬爾可夫過程 ? ?? ?? ? ? ?? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ?? ?? ?? ?? ?? ?? ? ? ? )( )( )( 0)(1)(1)(11000?(1100011000mntptpdttdpmtpdttdptpdttdptmntottpttpttpmtottpttptottpttpmpmPmttpntPnttnnnnnmmmnnnnnmmmmnnn??????????????????????????????????????????????????????????起始狀態(tài)為起始狀態(tài)為零得令起始狀態(tài)為起始狀態(tài)為零：樣，可以列出下列方程和前面研究泊松過程一它正整數(shù)?？梢詾榱?，也可以為其，即，時它的起始狀態(tài)為設概率，即狀態(tài)的時刻取程在是常數(shù)，研究純增殖過下面假定二）純增殖過程 幾種重要的馬爾可夫過程 ? ?? ?? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ? ? ?? ?? ? ? ?? ? ? ?? ?tpsssssspsspspspspsspsspspssppmntptpdttdpmtpdttdpnmnnmnnnnnnnnnnnnnnnnmmmmmmnnnnnmmm由此可以求得已知初始條件：起始狀態(tài)為求解下面用拉普拉斯變換法二）純增殖過程?????????????????????????????????????????????????????????