【正文】 如果馬爾可夫過程為有194011(0,0,1,0,00 6 5,}, .. .,2,1,0{:10?????jtttptptptnITjjjTjnjjj???SQSSS 柯爾莫哥洛夫前進(jìn)方程和后退方程 【 七 】 例三 機(jī)器維修問題 ? ?? ?。故作的概率為修理狀態(tài)修復(fù)到正常工修理狀態(tài)，在內(nèi)機(jī)器從。反之，如果機(jī)器處于故為損壞狀態(tài)的概率為在內(nèi)機(jī)器從正常工作變。，則它的狀態(tài)空間為的狀態(tài)為，該機(jī)器因損壞而修理為正常工作時(shí)的狀態(tài)的隨機(jī)過程。設(shè)該機(jī)器解：它是一個(gè)二個(gè)狀態(tài)率如何？時(shí)該機(jī)器正常工作的概工作的，問在是機(jī)器是正常。假如在修復(fù)時(shí)間為的隨機(jī)變量，它的平均時(shí)間也是一負(fù)指數(shù)分布，它損壞后的平均修復(fù)正常工作時(shí)間為機(jī)變量，它的平均間是一負(fù)指數(shù)分布的隨設(shè)某機(jī)器的正常工作時(shí)????????????????????????????????11100001,1,1}1,0{1010011qqtoteqqtotetttt 柯爾莫哥洛夫前進(jìn)方程和后退方程 【 七 】 例三 機(jī)器維修問題 ? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? ? ?? ??????? ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????sssssssssspspspspspspspptptptptp2210100010001001000100010001 0110101 0100,Q Q用拉普拉斯變換法求：根據(jù)后退方程有矩陣為所以 柯爾莫哥洛夫前進(jìn)方程和后退方程 【 七 】 例三 機(jī)器維修問題 ? ?? ? ? ?? ?? ?? ?? ?? ?? ? ? ?? ?? ? ? ? ? ?? ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? ??????????1000001000210001000101000 11111eppPpPeetptpsssssssspsptt所以有：由題意，所以有 柯爾莫哥洛夫前進(jìn)方程和后退方程 【 七 】 例四 隨機(jī)游動(dòng) ? ? ? ?? ?? ? ? ?? ? ? ?? ?? ?005301204,3,2151,53,12,432154321]5,1[55111211?????????????????????????????????kikikiiiiiiijiqqiqqqiqqqqitptotttttottttttottottttt，其它時(shí)，）（，其它，時(shí)，）（，其它，時(shí)，）（解：根據(jù)規(guī)則有滿足的微分方程。為吸收壁。求各為不可越壁，即發(fā)生移動(dòng)的概率為，則在質(zhì)點(diǎn)位于刻）若在時(shí)向右移動(dòng)一格；（中以概率，則在位于質(zhì)點(diǎn)）若在時(shí)刻向右移動(dòng)一格；（右移動(dòng)一格，以概率向中以概率中的一點(diǎn)，則在，質(zhì)點(diǎn)位于在時(shí)刻）若動(dòng)的規(guī)則是：（都可能發(fā)生移動(dòng)，其移諸點(diǎn)。質(zhì)點(diǎn)在任何時(shí)刻，，留在機(jī)游動(dòng)，此質(zhì)點(diǎn)只能停的線段上有一質(zhì)點(diǎn)作隨設(shè)在????????? 柯爾莫哥洛夫前進(jìn)方程和后退方程 【 七 】 例四 隨機(jī)游動(dòng) ? ?? ?? ?? ? ? ?? ? ? ?? ?的微分方程。便可以列出一系列包含或前進(jìn)方程矩陣，后退方程根據(jù)矩陣為于是得tpttttjijjQPPQSSQ 00000000000000?????????????????????????????????????????? 極限的研究 ? ? ? ?tptptjij 、時(shí)??? ? ? ?? ? 趨于同一極限。對(duì)任何件概率其充要條件是相應(yīng)的條無關(guān)的極限趨于一個(gè)與初始分布時(shí)引理：當(dāng)itpptptjijj 0??? ?? ? 。無關(guān)，存在且與極限，那么有使得對(duì)任何可夫過程，若存在一個(gè)且有限的馬爾何時(shí)間連續(xù)、狀態(tài)離散馬爾可夫定理：對(duì)于任IjiiptptpIritjjitri??????,l i m0, 00? ?? ?? ?。，那么有使得對(duì)任何若存在一個(gè)夫過程，態(tài)離散且有限的馬爾可對(duì)于任何時(shí)間連續(xù)、狀I(lǐng)jptpptptpIritjjtjjitri??????????????l i ml i m 0,00 極限的研究 ? ? ? ?tptptjij 、時(shí)??? ?? ?? ?? ?? ?? ? ? ?10 00 ??????????????????????????????IkkIkjkkIkjkkiIkjkkijijjijjipqpqptttqtpdttdpIjitpdtdtpdtdtptpt并且還有已知條件：時(shí)變?yōu)樵诤透？耍绽士朔匠趟郧斑M(jìn)方程，時(shí)，那么當(dāng)趨于一個(gè)常數(shù)時(shí)當(dāng)Qpp 極限的研究 ? ? ? ?tptptjij 、時(shí)??? ?? ?? ?? ?? ? ? ?? ? ? ?????????????????????????????????????????????????????????????????????????????????10101000000100000100010Ql i ml i ml i ml i m0 ppppppptptptptptetpetptittttt解得，所以有＝因?yàn)橛懻摰姆椒ㄇ蟮谩?，這一結(jié)論可以用這節(jié)有，即不論初始分布如何時(shí)，所以當(dāng)，問題中，我們已經(jīng)求得例：在前面的機(jī)器維修 幾種重要的馬爾可夫過程 ? ?? ? ? ?? ? ? ? ? ?? ?? ? 松過程。是常數(shù)，則為齊次的泊如果過程；松過程是非齊次的泊松的函數(shù)，這種情況的泊可以為。其中事件的概率為，出現(xiàn)兩個(gè)或兩個(gè)以上為內(nèi)出現(xiàn)一個(gè)事件的概率取何值，在如何，即不論內(nèi)出現(xiàn)的事件數(shù)，的特點(diǎn)是不論在它是馬爾可夫過程。它一）泊松過程ttttotottttttt??????????,0( 幾種重要的馬爾可夫過程 ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ??????????????????????????????????nktotttonktottntkttPtotttnttttttotttttntnttttttnnnnn????????????11/,0,0,(10其它。即跳躍的概率為內(nèi)出現(xiàn)兩個(gè)或兩個(gè)以上時(shí)在增殖過程中同樣假定來刻劃它的特征。在純序列，，殖過程要用的狀態(tài)有關(guān)。因此純?cè)雠c所處，為內(nèi)出現(xiàn)一個(gè)跳躍的概率則，個(gè)跳躍，即內(nèi)出現(xiàn)中，如果無關(guān)。而在純?cè)鲋尺^程所處的狀態(tài)與內(nèi)出現(xiàn)的跳躍數(shù)目。即的概率不依賴于內(nèi)出現(xiàn)一個(gè)跳躍在泊松過程中，它是泊松過程的推廣。二）純?cè)鲋尺^程?? 幾種重要的馬爾可夫過程 ? ?? ?? ? ? ?? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ?? ?? ?? ?? ?? ?? ? ? ? )( )( )( 0)(1)(1)(11000?(1100011000mntptpdttdpmtpdttdptpdttdptmntottpttpttpmtottpttptottpttpmpmPmttpntPnttnnnnnmmmnnnnnmmmmnnn??????????????????????????????????????????????????????????起始狀態(tài)為起始狀態(tài)為零得令起始狀態(tài)為起始狀態(tài)為零：樣，可以列出下列方程和前面研究泊松過程一它正整數(shù)。可以為零，也可以為其，即，時(shí)它的起始狀態(tài)為設(shè)概率，即狀態(tài)的時(shí)刻取程在是常數(shù)，研究純?cè)鲋尺^下面假定二）純?cè)鲋尺^程 幾種重要的馬爾可夫過程 ? ?? ?? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ? ? ?? ?? ? ? ?? ? ? ?? ?tpsssssspsspspspspsspsspspssppmntptpdttdpmtpdttdpnmnnmnnnnnnnnnnnnnnnnmmmmmmnnnnnmmm由此可以求得已知初始條件：起始狀態(tài)為求解下面用拉普拉斯變換法二）純?cè)鲋尺^程?????????????????????????????????????????????????????????