【文章內(nèi)容簡(jiǎn)介】 ( ???? ??? nijjjnijmnjjmijnmnij fpfpfpji ?推論 ji ? 的充要條件是 0?ijf 且 0?jif首頁(yè) 3．常返態(tài)與瞬時(shí)態(tài) 則稱(chēng)狀態(tài) i為常返態(tài) 則稱(chēng)狀態(tài) i為瞬時(shí)態(tài) 注 若 1?iif若 1?iif“常返”一詞，有時(shí)又稱(chēng)“返回”、“常駐”或“持久” “瞬時(shí)”也稱(chēng)“滑過(guò)” 或“非常返” 定理 4 若 1?iif ，則系統(tǒng)以概率 1 無(wú)窮次返回 i；若 1?iif ，則系統(tǒng)以概率 1 只有有窮次返回 i。 證 若 1?iif則系統(tǒng)從狀態(tài) i出發(fā)，經(jīng)過(guò)有限次轉(zhuǎn)移之后，必定以概率 1返回狀態(tài) i。 再由馬氏性 系統(tǒng)返回狀態(tài) i要重復(fù)發(fā)生 首頁(yè) 這樣 ， 系統(tǒng)從狀態(tài) i出發(fā) ， 又返回 ， 再出發(fā) ， 再返回 ， 隨著時(shí)間的無(wú)限推移 ， 將無(wú)限次訪問(wèn)狀態(tài) i。 將 “ 不返回 i”稱(chēng)為成功 ， 則首次成功出現(xiàn)的次數(shù)服從幾何分布， 若 1?iif則每次回到 i 后都有正的概率 iif?1 不返回 i， 其均值為iif?11 ， 這就是說(shuō) 平均回到 i 共iif?11 次 就不再回到 i 了。 也就是說(shuō)以概率 1只有有窮次返回 i。 首頁(yè) 定理 5 證 令 n = 0， 1， 2， … 因此，從狀態(tài) i出發(fā)，訪問(wèn)狀態(tài) i的平均次數(shù)為 i 是常返態(tài)的充要條件是 ????? 0)(nniip??????iXiXInnn ，當(dāng)，當(dāng)01那么過(guò)程訪問(wèn)狀態(tài) i 的次數(shù)為 ??? 0nnIE [ 訪問(wèn)狀態(tài) i 的次數(shù) | iX ?0 ]?????? ?? ???iXIEnn 00| ]|[ 00iXIEnn ?? ???}|1{1 00iXIPnn ???? ???}|{ 00iXiXPnn ??? ???????0)(nniip由定理 4，得證。 首頁(yè) 說(shuō)明 本定理的等價(jià)形式： i為瞬時(shí)態(tài)，當(dāng)且僅當(dāng) 定理 6 證 如果 i為常返態(tài) ， 且 ， 則 j也是常返態(tài) 。 因 由切普曼 可爾莫哥洛夫方程得 上式兩邊對(duì)所有的 s相加 ， 得 ????? 0)(nniipji ?ji ? 所以存在 0?m ， 0?n 使 0)( ?mijp ， 0)( ?njip 對(duì)于任意的 0?s ，)()()( smijnjiIisnmjj ppp???? ?? )()()( mljsilnjiIlIippp????? )()()( mijsiinji ppp?)(0snmjjsp ????? )()()(0mijsiinjisppp????)(0)()( siismijnji ppp ????又因?yàn)?i為常返態(tài)， 所以 ?????)(0siisp首頁(yè) 故得 從而 即狀態(tài) j也是常返態(tài) 定理 7 所有常返態(tài)構(gòu)成一個(gè)閉集 證 設(shè) i為常返態(tài)， ??????? )(0snmjjsp?????)(0njjnp如果 ji ? ，則 ij ? ，即 i和 j相通。 這是因?yàn)? 若自 j出發(fā)不能到達(dá) i，那么從 i出發(fā)到達(dá) j后，就不能再返回 i，這與 i是常返態(tài)的 相矛盾。 1?iif再由定理 6知， j也是常返態(tài)， 這就是說(shuō)， 自常返態(tài)出發(fā)，只能到達(dá)常返態(tài)，不能到達(dá)瞬時(shí)態(tài)。 故常返態(tài)全體構(gòu)成一個(gè)閉集 首頁(yè) 4． 狀態(tài)空間的分解 如果已知類(lèi)中有一個(gè)常返態(tài)，則這個(gè)類(lèi)中其它狀態(tài)都是常返的； 若類(lèi)中有一個(gè)瞬時(shí)態(tài)，則類(lèi)中其它狀態(tài)都是瞬時(shí)態(tài)。 若對(duì)不可約馬氏鏈，則要么全是常返態(tài)，要么全是瞬時(shí)態(tài)。 定理 8 任一馬氏鏈的狀態(tài)空間 I必可分解為 ?? ?????? kCCCNI 21其中 N是瞬時(shí)態(tài)集， ?，21 CC 是互不相交的由常返態(tài)組成的閉集而且 （ 1 ）對(duì)每一個(gè)確定的 h ， hC 內(nèi)任意兩個(gè)狀態(tài)相通；（ 2 ） hC 和 gC （ gh ? ）中的狀態(tài)不相同。首頁(yè) 證 記 C為全體常返態(tài)所構(gòu)成的集合， 則由定理 7知 C為閉集 將 C按相通關(guān)系分類(lèi)： 那么再?gòu)挠嘞碌臓顟B(tài)中任取一個(gè)狀態(tài) 如此進(jìn)行下去， 并且顯然滿足條件（ 1）和（ 2）。 CIN ?? 為瞬時(shí)態(tài)全體在 C 中任取一個(gè)狀態(tài) 1i ，凡是與 1i 相通的狀態(tài)組成一個(gè)集合，記為 1C ；在組成 1C 后，如果還有余下的狀態(tài)，2i凡是與 2i 相通的狀態(tài)組成一個(gè)集合 2C ；就可將 C 分解成 ?， 21 CC 等集合之和，首頁(yè) 5． 正常返態(tài)與零常返態(tài) 平均返回時(shí)間 從狀態(tài) i出發(fā)，首次返回狀態(tài) i的平均時(shí)間 稱(chēng)為狀態(tài) i平均返回時(shí)間 . 根據(jù)的值是有限或無(wú)限 ， 可把常返態(tài)分為兩類(lèi)： 設(shè) i是常返態(tài)， 則稱(chēng) i為正常返態(tài)； )(11}{][ niiniiniii nfnTnPTE ?????????若 ??i?若 ??i? ，則稱(chēng) i為零常返態(tài)。 首頁(yè) 定理 9 設(shè) i是常返態(tài)，則 （ 1） i是零常返態(tài)的充要條件是 （ 2） i是正常返態(tài)的充要條件是 0lim )( ??? niin p0lim )( ??? niin p證明 （略） 推論 如果 j 是零常返態(tài)， i 是任一狀態(tài)，則0lim )( ??? nijn p證 因?yàn)? 首頁(yè) )(0)()(0 knjjnkkijnij pfp?????)(1)( knjjNkkij pf???? )(1)( knjjnNkkij pf?????)(1)( knjjNkkij pf???? ????nNkkijf1)(固定 N ，先令 ??n ，由定理 9，上式第一項(xiàng)有 0lim )(1)( ?????? knjjNkkijn pf又由于級(jí)數(shù) ?????1)( 1kijkij ff 收斂，故其尾部 ???? 1)(Nkkijf 當(dāng) ??N 時(shí)趨于 0 ，即第二項(xiàng)當(dāng) ??N 時(shí)趨于 0 ，從而推論得證。 首頁(yè) 說(shuō)明 用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則 （ 2） i是零常返態(tài) （ 2） i是正常返態(tài) 0lim )( ??? niin p（ 1） i是瞬時(shí)態(tài) ??????)(0niinp（這時(shí) 0lim )( ??? niin p ）? ?????)(0niinp且 ??????)(0niinp且 0lim )( ??? niin p首頁(yè) 定理 10 證明 若 ji , 為常返態(tài)，且 ji ? ，則 ji , 同為正常返或同為零常返設(shè) ji , 為常返態(tài)因?yàn)?ji ?所以存在正整數(shù) k 、 m ，使 0)( ?? ?kijp ， 0)( ?? ?jip對(duì)于任意正整數(shù) r ，由切普曼 可爾莫哥洛夫方程得 )()()()()( rjjmjirjjkijmrkii ppppp ??????)()()()()( riikijriimjimrkjj ppppp ??????令 ??r ，得 )()( limlim rjjrmrkiir pp ?????? ? ??)()( limlim riirmrkjjr pp ?????? ? ??由此可知 )(lim riir p?? 與)(lim rjjr p?? 或同為零，或同為正，由定理 9知 ji , 同為正常返或同為零常返首頁(yè) 6．有限馬氏鏈 對(duì)有限狀態(tài)的馬氏鏈我們給出不加證明的性質(zhì) 定理 11 設(shè) { ?,2,1,0, ?nXn } 是狀態(tài)空間 I 有限的馬氏鏈，則 （ 1）瞬時(shí)態(tài)集 N不可能是閉集； （ 2）至少有一個(gè)常返態(tài)； （ 3）不存在零常返態(tài)； （ 4）若鏈?zhǔn)遣豢杉s的，那么狀態(tài)都是正常返的 （ 5）其狀態(tài)空間可分解為 kCCCNI ????? ?21其中 N 是瞬時(shí)態(tài)集，kCCC ，， ?21是互不相交的由正常返態(tài)組成的閉集。 首頁(yè) 例 3 轉(zhuǎn)移矩陣 已知馬氏鏈 { ?,2,1,0, ?nX n } 的狀態(tài)空間}4,3,2,1{?I?????????????????00011000010041414141P試對(duì)其狀態(tài)分類(lèi)。 解 按一步轉(zhuǎn)移概率， 畫(huà)出各狀態(tài)間的傳遞圖 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首頁(yè) 從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即 4個(gè)狀態(tài)都是相通的。 考慮狀態(tài) 1是否常返， 需要計(jì)算11f ：41)1(11 ?f}1|1,1{ 012)2(11 ???? XXXPf}1|2,1{ 012 ???? XXXP }1|3,1{ 012 ???? XXXP}1|4,1{ 012 ???? XXXP}1,4|1{ 012 ???? XXXP }1|4{ 01 ??? XXP414114 ??? pp首頁(yè) 類(lèi)似地可求得 所以 41413413)3(11 ???? pppf4141342312)4(11 ?? ppppf0)(11 ?nf （ ?,6,5?n ）)(11111nnff ???? 141414141 ?????于是狀態(tài) 1是常返的。 又因?yàn)? ???? ??? 25)(1111nnfn?所以狀態(tài) 1是正常返的。 由定理可知，此鏈所有狀態(tài)都是正常返的。 首頁(yè) 例 4 設(shè)馬氏鏈的狀態(tài)空間 I={0,1,2,…} ，其一步轉(zhuǎn)移概率為 其中 試證此馬氏鏈?zhǔn)且粋€(gè)不可約常返態(tài)鏈 pp ii ?? 1 ， qp i ?0 ， Ii ?10 ?? p ， 1?? qp證 先證 I不可約 設(shè) i， j是 I中任意兩個(gè)狀態(tài)， 若 ji ? ，則有 jjii pppp ? ???? ??? ???? ?? 11 ?即 ji ?若 ji ? ，則有jji ppppq ? ???? ??? ??? ??? ?? 110 ?即 ji ?于是對(duì)于任意的 Iji ?, ，都有 ji ?首頁(yè) 類(lèi)似地可證 所以 即 I中任意兩個(gè)狀態(tài)都是相通的。 因此 ， I是一個(gè)不可約的閉集 再證 I中狀態(tài) 0是一個(gè)常返態(tài)： 由狀態(tài)的轉(zhuǎn)移規(guī)則，得 ij ?ji ?01210 ? ???? ??? ??? ??? ?? qpppp n?所以 )(00100nnff ???? }0|{0001??? ???XnTPn首頁(yè) }0|0,1,2,1{ 01211??????? ???? XXnXXXP nnn??}1,0|2{}0|1{ 102011?????? ???XXXPXXPn}1,0|0{ 10 ????? ? nXXXP nn ??}1|2{}0|1{ 12011????? ???XXPXXPn}1|0{ 1 ??? ? nXXP nn?????11nnqp11???pq由定義知狀態(tài) 0為常返態(tài)。 因此，由定理知 I中所有狀態(tài)都是常返態(tài)。 故此馬氏鏈為不可約常返鏈。 首頁(yè) 三、狀態(tài)的周期與遍歷 1．周期狀態(tài) 對(duì)于任意的 ，令 其中 GCD表示最大公約數(shù) Ii?}01{ )( ??? niii pnG C Dd ：如果 1?id ，則稱(chēng) 為周期態(tài)， iid 為周期如果 1?id則稱(chēng) 為非周期態(tài)。 i定理 12 設(shè)馬氏鏈的狀態(tài)空間為 I ， Iji ?,（ 1 ）若 ji ? ，則 ji dd ? ；（ 2 ）若是不可約馬氏鏈，且 0?iip ，則此馬氏鏈?zhǔn)欠侵芷阪?。首?yè) 證 所以存在正整數(shù) m、