【文章內容簡介】 ( ???? ??? nijjjnijmnjjmijnmnij fpfpfpji ?推論 ji ? 的充要條件是 0?ijf 且 0?jif首頁 3．常返態(tài)與瞬時態(tài) 則稱狀態(tài) i為常返態(tài) 則稱狀態(tài) i為瞬時態(tài) 注 若 1?iif若 1?iif“常返”一詞，有時又稱“返回”、“常駐”或“持久” “瞬時”也稱“滑過” 或“非常返” 定理 4 若 1?iif ，則系統(tǒng)以概率 1 無窮次返回 i；若 1?iif ，則系統(tǒng)以概率 1 只有有窮次返回 i。 證 若 1?iif則系統(tǒng)從狀態(tài) i出發(fā)，經過有限次轉移之后，必定以概率 1返回狀態(tài) i。 再由馬氏性 系統(tǒng)返回狀態(tài) i要重復發(fā)生 首頁 這樣 ， 系統(tǒng)從狀態(tài) i出發(fā) ， 又返回 ， 再出發(fā) ， 再返回 ， 隨著時間的無限推移 ， 將無限次訪問狀態(tài) i。 將 “ 不返回 i”稱為成功 ， 則首次成功出現(xiàn)的次數(shù)服從幾何分布， 若 1?iif則每次回到 i 后都有正的概率 iif?1 不返回 i， 其均值為iif?11 ， 這就是說 平均回到 i 共iif?11 次 就不再回到 i 了。 也就是說以概率 1只有有窮次返回 i。 首頁 定理 5 證 令 n = 0， 1， 2， … 因此，從狀態(tài) i出發(fā)，訪問狀態(tài) i的平均次數(shù)為 i 是常返態(tài)的充要條件是 ????? 0)(nniip??????iXiXInnn ，當，當01那么過程訪問狀態(tài) i 的次數(shù)為 ??? 0nnIE [ 訪問狀態(tài) i 的次數(shù) | iX ?0 ]?????? ?? ???iXIEnn 00| ]|[ 00iXIEnn ?? ???}|1{1 00iXIPnn ???? ???}|{ 00iXiXPnn ??? ???????0)(nniip由定理 4，得證。 首頁 說明 本定理的等價形式： i為瞬時態(tài)，當且僅當 定理 6 證 如果 i為常返態(tài) ， 且 ， 則 j也是常返態(tài) 。 因 由切普曼 可爾莫哥洛夫方程得 上式兩邊對所有的 s相加 ， 得 ????? 0)(nniipji ?ji ? 所以存在 0?m ， 0?n 使 0)( ?mijp ， 0)( ?njip 對于任意的 0?s ，)()()( smijnjiIisnmjj ppp???? ?? )()()( mljsilnjiIlIippp????? )()()( mijsiinji ppp?)(0snmjjsp ????? )()()(0mijsiinjisppp????)(0)()( siismijnji ppp ????又因為 i為常返態(tài)， 所以 ?????)(0siisp首頁 故得 從而 即狀態(tài) j也是常返態(tài) 定理 7 所有常返態(tài)構成一個閉集 證 設 i為常返態(tài)， ??????? )(0snmjjsp?????)(0njjnp如果 ji ? ，則 ij ? ，即 i和 j相通。 這是因為 若自 j出發(fā)不能到達 i，那么從 i出發(fā)到達 j后，就不能再返回 i，這與 i是常返態(tài)的 相矛盾。 1?iif再由定理 6知， j也是常返態(tài)， 這就是說， 自常返態(tài)出發(fā)，只能到達常返態(tài)，不能到達瞬時態(tài)。 故常返態(tài)全體構成一個閉集 首頁 4． 狀態(tài)空間的分解 如果已知類中有一個常返態(tài)，則這個類中其它狀態(tài)都是常返的； 若類中有一個瞬時態(tài)，則類中其它狀態(tài)都是瞬時態(tài)。 若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是瞬時態(tài)。 定理 8 任一馬氏鏈的狀態(tài)空間 I必可分解為 ?? ?????? kCCCNI 21其中 N是瞬時態(tài)集， ?，21 CC 是互不相交的由常返態(tài)組成的閉集而且 （ 1 ）對每一個確定的 h ， hC 內任意兩個狀態(tài)相通；（ 2 ） hC 和 gC （ gh ? ）中的狀態(tài)不相同。首頁 證 記 C為全體常返態(tài)所構成的集合， 則由定理 7知 C為閉集 將 C按相通關系分類： 那么再從余下的狀態(tài)中任取一個狀態(tài) 如此進行下去， 并且顯然滿足條件（ 1）和（ 2）。 CIN ?? 為瞬時態(tài)全體在 C 中任取一個狀態(tài) 1i ，凡是與 1i 相通的狀態(tài)組成一個集合，記為 1C ；在組成 1C 后，如果還有余下的狀態(tài)，2i凡是與 2i 相通的狀態(tài)組成一個集合 2C ；就可將 C 分解成 ?， 21 CC 等集合之和，首頁 5． 正常返態(tài)與零常返態(tài) 平均返回時間 從狀態(tài) i出發(fā)，首次返回狀態(tài) i的平均時間 稱為狀態(tài) i平均返回時間 . 根據(jù)的值是有限或無限 ， 可把常返態(tài)分為兩類： 設 i是常返態(tài)， 則稱 i為正常返態(tài)； )(11}{][ niiniiniii nfnTnPTE ?????????若 ??i?若 ??i? ，則稱 i為零常返態(tài)。 首頁 定理 9 設 i是常返態(tài)，則 （ 1） i是零常返態(tài)的充要條件是 （ 2） i是正常返態(tài)的充要條件是 0lim )( ??? niin p0lim )( ??? niin p證明 （略） 推論 如果 j 是零常返態(tài)， i 是任一狀態(tài)，則0lim )( ??? nijn p證 因為 首頁 )(0)()(0 knjjnkkijnij pfp?????)(1)( knjjNkkij pf???? )(1)( knjjnNkkij pf?????)(1)( knjjNkkij pf???? ????nNkkijf1)(固定 N ，先令 ??n ，由定理 9，上式第一項有 0lim )(1)( ?????? knjjNkkijn pf又由于級數(shù) ?????1)( 1kijkij ff 收斂，故其尾部 ???? 1)(Nkkijf 當 ??N 時趨于 0 ，即第二項當 ??N 時趨于 0 ，從而推論得證。 首頁 說明 用極限判斷狀態(tài)類型的準則 （ 2） i是零常返態(tài) （ 2） i是正常返態(tài) 0lim )( ??? niin p（ 1） i是瞬時態(tài) ??????)(0niinp（這時 0lim )( ??? niin p ）? ?????)(0niinp且 ??????)(0niinp且 0lim )( ??? niin p首頁 定理 10 證明 若 ji , 為常返態(tài)，且 ji ? ，則 ji , 同為正常返或同為零常返設 ji , 為常返態(tài)因為 ji ?所以存在正整數(shù) k 、 m ，使 0)( ?? ?kijp ， 0)( ?? ?jip對于任意正整數(shù) r ，由切普曼 可爾莫哥洛夫方程得 )()()()()( rjjmjirjjkijmrkii ppppp ??????)()()()()( riikijriimjimrkjj ppppp ??????令 ??r ，得 )()( limlim rjjrmrkiir pp ?????? ? ??)()( limlim riirmrkjjr pp ?????? ? ??由此可知 )(lim riir p?? 與)(lim rjjr p?? 或同為零，或同為正，由定理 9知 ji , 同為正常返或同為零常返首頁 6．有限馬氏鏈 對有限狀態(tài)的馬氏鏈我們給出不加證明的性質 定理 11 設 { ?,2,1,0, ?nXn } 是狀態(tài)空間 I 有限的馬氏鏈，則 （ 1）瞬時態(tài)集 N不可能是閉集； （ 2）至少有一個常返態(tài)； （ 3）不存在零常返態(tài)； （ 4）若鏈是不可約的，那么狀態(tài)都是正常返的 （ 5）其狀態(tài)空間可分解為 kCCCNI ????? ?21其中 N 是瞬時態(tài)集，kCCC ，， ?21是互不相交的由正常返態(tài)組成的閉集。 首頁 例 3 轉移矩陣 已知馬氏鏈 { ?,2,1,0, ?nX n } 的狀態(tài)空間}4,3,2,1{?I?????????????????00011000010041414141P試對其狀態(tài)分類。 解 按一步轉移概率， 畫出各狀態(tài)間的傳遞圖 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首頁 從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即 4個狀態(tài)都是相通的。 考慮狀態(tài) 1是否常返， 需要計算11f ：41)1(11 ?f}1|1,1{ 012)2(11 ???? XXXPf}1|2,1{ 012 ???? XXXP }1|3,1{ 012 ???? XXXP}1|4,1{ 012 ???? XXXP}1,4|1{ 012 ???? XXXP }1|4{ 01 ??? XXP414114 ??? pp首頁 類似地可求得 所以 41413413)3(11 ???? pppf4141342312)4(11 ?? ppppf0)(11 ?nf （ ?,6,5?n ）)(11111nnff ???? 141414141 ?????于是狀態(tài) 1是常返的。 又因為 ???? ??? 25)(1111nnfn?所以狀態(tài) 1是正常返的。 由定理可知，此鏈所有狀態(tài)都是正常返的。 首頁 例 4 設馬氏鏈的狀態(tài)空間 I={0,1,2,…} ，其一步轉移概率為 其中 試證此馬氏鏈是一個不可約常返態(tài)鏈 pp ii ?? 1 ， qp i ?0 ， Ii ?10 ?? p ， 1?? qp證 先證 I不可約 設 i， j是 I中任意兩個狀態(tài)， 若 ji ? ，則有 jjii pppp ? ???? ??? ???? ?? 11 ?即 ji ?若 ji ? ，則有jji ppppq ? ???? ??? ??? ??? ?? 110 ?即 ji ?于是對于任意的 Iji ?, ，都有 ji ?首頁 類似地可證 所以 即 I中任意兩個狀態(tài)都是相通的。 因此 ， I是一個不可約的閉集 再證 I中狀態(tài) 0是一個常返態(tài)： 由狀態(tài)的轉移規(guī)則，得 ij ?ji ?01210 ? ???? ??? ??? ??? ?? qpppp n?所以 )(00100nnff ???? }0|{0001??? ???XnTPn首頁 }0|0,1,2,1{ 01211??????? ???? XXnXXXP nnn??}1,0|2{}0|1{ 102011?????? ???XXXPXXPn}1,0|0{ 10 ????? ? nXXXP nn ??}1|2{}0|1{ 12011????? ???XXPXXPn}1|0{ 1 ??? ? nXXP nn?????11nnqp11???pq由定義知狀態(tài) 0為常返態(tài)。 因此，由定理知 I中所有狀態(tài)都是常返態(tài)。 故此馬氏鏈為不可約常返鏈。 首頁 三、狀態(tài)的周期與遍歷 1．周期狀態(tài) 對于任意的 ，令 其中 GCD表示最大公約數(shù) Ii?}01{ )( ??? niii pnG C Dd ：如果 1?id ，則稱 為周期態(tài)， iid 為周期如果 1?id則稱 為非周期態(tài)。 i定理 12 設馬氏鏈的狀態(tài)空間為 I ， Iji ?,（ 1 ）若 ji ? ，則 ji dd ? ；（ 2 ）若是不可約馬氏鏈，且 0?iip ，則此馬氏鏈是非周期鏈。首頁 證 所以存在正整數(shù) m、