【正文】 限齊次馬氏鏈，試寫出一步轉(zhuǎn)移矩陣 . 首頁 分析 ?????????????????555453525145444342413534333231252423222115141312111pppppppppppppppppppppppppP?????????????????????01000313131000313131000313131000101P故 1 2 3 4 5 首頁 其一步轉(zhuǎn)移矩陣為 ?????????????????????10000210210002102100021021000011P若將移動規(guī)則改為 （ 1）若移動前在 2， 3， 4處，則均以概率 向左或向右 移動一單位； （ 2）若移動前在 1， 5處，則以概率 1停留在原處。設(shè)在每一局中，甲獲勝的概率為 p，乙獲勝的概率為 ，求甲輸光的概率。從甲的角度看，他初始時刻處于 a，每次移動一格，向右移（即贏 1元）的概率為 p，向左移（即輸 1元）的概率為 q。這時的狀態(tài)空間為 {0， 1，2， … ， c}， c = a + b。 首頁 考慮質(zhì)點(diǎn)從 j出發(fā)移動一步后的情況 解 設(shè) cj ??0設(shè) ju 為質(zhì)點(diǎn)從 j 出發(fā)到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率。 設(shè)在第 n 個服務(wù)周期中到達(dá)的顧客數(shù)為一隨機(jī)變量 nY且諸 nY 獨(dú)立同分布：)nkP Y k p??（ ， ?,2,1,0?k ， 1??kkp記 nX 為服務(wù)周期 n 開始時服務(wù)臺前顧客數(shù)則有 ?????????0,1,11nnnnnn XYXYXX若若此時 { nX ， 1?n } 為一馬氏鏈，求其轉(zhuǎn)移矩陣 在第 n周期已有一個 顧客在服務(wù)，到第 n+1 周期已服務(wù)完畢 首頁 解 先求出轉(zhuǎn)移概率 )0|0( 0100 ??? XXPp )0(0 ?? YP 0p?)0|1( 0101 ??? XXPp )1( 0 ?? YP 1p?)1|0( 110 ??? ? nn XXPp )1|01( ????? nnn XYXP)0( ?? nYP 0p?)1|1( 111 ??? ? nn XXPp )1|11( ????? nnn XYXP)1( ?? nYP 1p?)2|0( 120 ??? ? nn XXPp )2|01( ????? nnn XYXP)1( ??? nYP 0?)2|1( 121 ??? ? nn XXPp )2|11( ?????nnn XYXP)0( ?? nYP 0p?)2|2( 122 ??? ? nn XXPp )1( ?? nYP 1p?首頁 所以轉(zhuǎn)移矩陣為 ?????????????????????????????210321043210432101000pppppppppppppppppP首頁 說明： 二 、 基本性質(zhì) 性質(zhì) 1 設(shè) { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，則},{ 110 nn iXiXiXP ??? ?= }{ 0 iXP ? }|{ 011 iXiXP ??? }|{ 1122 iXiXP ?? ? }|{ 11 ?? ?? nnnn iXiXPnXXX , 10 ?的聯(lián)合分布可由初始分布及轉(zhuǎn)移概率所決定，即有 },{ 110 nn iXiXiXP ??? ?niiiiii npppip 111 20 )( ?? ? 首頁 則 性質(zhì) 2 設(shè) { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 },|{ 11 mnmnnnnn iXiXiXP ???? ??? ?}|{ 11 ?? ??? nnnn iXiXP一個馬氏鏈，如果按相反方向的時間排列，所成的序列也是一個馬氏鏈。 若 nrs ???0 ，則在 rr iX ? 的條件下，有}|,{ rrssnn iXiXiXP ???= }|{ rrnn iXiXP ?? }|{ rrss iXiXP ??首頁 則 性質(zhì) 4 設(shè) { 0, ?nXn } 為馬氏鏈，其狀態(tài)空間為 I ，表明 若已知現(xiàn)在，則過去同時對將來各時刻的狀態(tài)都不產(chǎn)生影響。 若鏈?zhǔn)驱R次的，則有 nPPnP 1)0()( ?首頁 例 4 甲、乙兩人進(jìn)行比賽，設(shè)每局比賽中甲勝的概率是 p，乙勝的概率是 q，和局的概率是 ，（ ）。當(dāng)兩人中有一人獲得 2分結(jié)束比賽。 r 1??? rqpnX（ 1）寫出狀態(tài)空間； （ 2 ）求 2P ；（ 3）問在甲獲得 1分的情況下，再賽二局可以結(jié)束比賽的概率是多少？ 首頁 解 （ 1） 記甲獲得“負(fù) 2分”為狀態(tài) 1，獲得“負(fù) 1分”為狀態(tài) 2，獲得“ 0分”為狀態(tài) 3，獲得“正 1分”為狀態(tài) 4，獲得“正 2分”為狀態(tài) 5，則狀態(tài)空間為 }54321{ ，?I一步轉(zhuǎn)移概率矩陣 ?????????????????10000000000000011prqprqprqP首頁 （ 2）二步轉(zhuǎn)移概率矩陣 212 PP ???????????????????????100002022202000012222222rpppqrqrqpprpqrrqqpprpqrrpq首頁 （ 3） 在 2P 中 )2(45p 是在甲得 1 分的情況下經(jīng)二步轉(zhuǎn)移至 2 分從而結(jié)束比賽的概率； )2(41p 是在甲得 1 分的情況下經(jīng)二步轉(zhuǎn)移至— 2 分 （即乙得 2 分）從而結(jié)束比賽的概率。 若兩個狀態(tài)相通，則這兩個狀態(tài)屬于同一類。 2．閉集 設(shè) C為狀態(tài)空間 I 的一個子集， 若對任意 Ci ? 和任意 Cj ?有 0)( ?nijp （ 0?n ），則 C稱為閉集 注 1 若 C為閉集，則表示自 C內(nèi)任意狀態(tài) i出發(fā)，始終不能到達(dá) C以外的任何狀態(tài) j。 首頁 吸收態(tài) 指一個閉集中只含一個狀態(tài) 注 2 若狀態(tài)空間含有吸收狀態(tài) ， 那么這個吸收狀態(tài)構(gòu)成一個最小的閉集 。 如果閉集 C的狀態(tài)都是相通的 ， 則稱閉集 C是不可約的 。 設(shè)馬氏鏈 }0,{ ?nX n 的狀態(tài)空間 I = { 0 ， 1 ， 2}?????????????????32310414121021211P解 先按一步轉(zhuǎn)移概率 ， 畫出各狀態(tài)間的傳遞圖 首頁 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 圖 31 由圖可知 狀態(tài) 0可到達(dá)狀態(tài) 1， 經(jīng)過狀態(tài) 1又可到達(dá)狀態(tài) 2；反之 ， 從狀態(tài) 2出發(fā)經(jīng)狀態(tài) 1也可到達(dá)狀態(tài) 0。 又由于 I 的任意狀態(tài) i (i = 0， 1， 2)不能到達(dá) I 以外的任何狀態(tài) ， 所以 I是一個閉集 而且 I 中沒有其它閉集 所以此馬氏鏈?zhǔn)遣豢杉s的。 解 先按一步轉(zhuǎn)移概率 ， 畫出各狀態(tài)間的傳遞圖 設(shè)馬氏鏈的狀態(tài)空間為 I = { 1 ， 2 ， 3 ， 4 ， 5}?????????????????000100000100100002/102/102/1002/11P首頁 1 1 1/2 1/2 1/2 3 1 1/2 圖 32 4 5 2 1 閉集 ， 由圖可知 狀態(tài) 3為吸收態(tài) 且 故 1C = {3} 為閉集2C = {1,4 }3C = { 1,3 ,4}閉集， 閉集， 4C = {1,2 ,3,4 }其中 是不可約的。 首頁 二、首達(dá)時間和狀態(tài)分類 1． 首 達(dá)時間 系統(tǒng)從狀態(tài) i出發(fā) ， 首次到達(dá)狀態(tài) j的時刻 稱為從狀態(tài) i 出發(fā)首次進(jìn)入狀態(tài) j 的時間 ， 或稱自 i 到 j 的首達(dá)時間 。首頁 自狀態(tài) i出發(fā)，經(jīng)過 n步首次到達(dá)狀態(tài) j 的概率 自狀態(tài) i出發(fā)，經(jīng)有窮步終于到達(dá)狀態(tài) j的概率 注 1 }|{ 0)( iXnTPf ijnij ???}{1)( ????? ???ijnnijij TPff,{)( jXjXPf mnnij ??? ； }|1,2,1 0 iXnm ??? ?10 )( ??? ijnij ff首頁 對于首次到達(dá)時間 表示從狀態(tài) i出發(fā)首次返回狀態(tài) i所需的時間 相應(yīng)的 便是從狀態(tài) i出發(fā)，經(jīng)有限步終于返回狀態(tài) i的概率， ijT 當(dāng) ji ? 時}1,m i n { 0 ???? niXiXnT nii ：iif)(1niinii ff ???? }{ ???? iiTP}|{ 01iXnTP iin??? ??? 首頁 2．首次到達(dá)分解式 定理 2 證 對任意 Iji ?, 及 1?n ，有)()(1)( mnjjmijnmnij pfp????設(shè)系統(tǒng)從狀態(tài) i經(jīng) n步轉(zhuǎn)移到狀態(tài) j， 那么首次到達(dá) j 的時間 nT ij ?由條件概率及馬氏性得 }|{ 0)( iXjXPp nnij ??? }|,{01 iXjXmTP nijnm??????}|,{ 01iXjXmTP nijnm???? ??}|{ 01iXmTP ijnm??? ??},|{ 110 jXjXjXiXjXP mmn ?????? ??}|{}|{ 01jXjXPiXmTP mnijnm????? ??)()(1mnjjmijnmpf ????首頁 說明 ( m =1， 2， … ， n) 的所有可能值進(jìn)行分解， 定理 3 本定理表示 n 步轉(zhuǎn)移概率 )( nijp 按首次到達(dá)時間 ijT = m建立了 )( mijf 與 )( nijp 之間的關(guān)系公式0?ijf 的充要條件是 ji ?證 充分性 設(shè) ji ?則存在某 1?n ，使 0)( ?nijp由定理 2得 0)()(1)( ?? ??? mnjjmijnmnij pfp從而 )1(ijf ， )2(ijf ，?， )( nijf 中至少有一個為正，所以 0)(1?? ???mijmij ff首頁 必要性 由定理 2得 所以 設(shè) 0?ijf因?yàn)?)(1mijmij ff ????所以至少有一個 1?n ，使 0)( ?nijf0)()0()()()(1)( ???? ??? nijjjnijmnjjmijnmnij fpfpfpji ?推論 ji ? 的充要條件是 0?ijf 且 0?jif首頁 3．常返態(tài)與瞬時態(tài) 則稱狀態(tài) i為常返態(tài) 則稱狀態(tài) i為瞬時態(tài) 注 若 1?iif若 1?iif“常返”一詞，有時又稱“返回”、“常駐”或“持久” “瞬時”也稱“滑過” 或“非常返” 定理 4 若 1?iif ，則系統(tǒng)以概率 1 無窮次返回 i；若 1?iif ，則系統(tǒng)以概率 1 只有有窮次返回 i。 再由馬氏性 系統(tǒng)返回狀態(tài) i要重復(fù)發(fā)生 首頁 這樣 ， 系統(tǒng)從狀態(tài) i出發(fā) ， 又返回 ， 再出發(fā) ， 再返回 ， 隨著時間的無限推移 ， 將無限次訪問狀態(tài) i。 也就是說以概率 1只有有窮次返回 i。 首頁 說明 本定理的等價形式： i為瞬時態(tài)，當(dāng)且僅當(dāng) 定理 6 證 如果 i為常返態(tài) ， 且 ， 則 j也是