【正文】 關(guān)鍵詞： 馬爾可夫性 時(shí)齊馬爾可夫鏈 n步轉(zhuǎn)移概率 CK方程 馬氏鏈的有限維分布律 常返 暫留 正常返 零常返 互達(dá) 周期 不可約 平穩(wěn)分布 第十一章 馬爾可夫鏈 1 馬 爾 可 夫 鏈 的 定 義167。8 1 3 4 8 4. ( ),11 1 .0{ 4 | 1 , 1 , 2 } { 4 | 2 } ,npqpSnP S S S S P S S??? ? ? ? ? ?例 1甲 乙 兩 人 游 戲 每 一 局 甲 贏 元 的 概 率 為 ，輸 元 的 概 率 為 假 設(shè) 一 開 始 甲帶 了 元 錢 。 令 表 示 局 后 甲 所 擁 有 的 錢 數(shù) 。 計(jì) 算和它 們 是隨 機(jī) 游 動(dòng)否 相 等 ？浙江大學(xué)隨機(jī)過(guò)程 3 8 1 3 48 4 1 3 4{ 4 | 1 , 1 , 2 }{ 2 | 1 , 1 , 2 }P S S S SP S S S S S? ? ? ?? ? ? ? ? ?解 ：84{ 2 }P S S? ? ?34 pq?848 4 4{ 4 | 2 }{ 2 | 2 }P S SP S S S??? ? ? ?34 pq?84{ 2 }P S S? ? ?8 1 3 4 8 4{ 4 | 1 , 1 , 2 } { 4 | 2 }P S S S S P S S? ? ? ? ? ? ? ?1 0 1 10 1 1 ,010 1 11 , . .{ | , .. , , . . . ,. . , , } { | },k k k k knnkkn k n n nP S j S i S i S i P Sk n n n i iiijjSi? ? ????? ? ?? ? ? ?? ? ?????更 一 般 地 ： 狀 態(tài)M ark ov 性浙江大學(xué)隨機(jī)過(guò)程 4 :M ark ov 性 的 直 觀 含 義1{ }........... .knC S j??? 將 來(lái){ }... .. .. .. .. . .knB S i?? 現(xiàn) 在01 01{ , .. ., .}... .. ..kn n kA S i S i? ?? ? ?令 過(guò) 去(|M a r k o v :) ( | )P C A B P C B?性,已 知 到 現(xiàn) 在 為 止 的 所 有 信 息 來(lái) 預(yù) 測(cè) 將 來(lái)則 只 與 現(xiàn) 在 狀 態(tài) 有 關(guān) , 與 過(guò) 去 狀 態(tài) 無(wú) 關(guān) .浙江大學(xué)隨機(jī)過(guò)程 5 :M ark ov 性 的 直 觀 含 義( | ) ( | ) ( | )P AC B P A B P C B?在 已 知 現(xiàn) 在 狀 態(tài) 的 條 件 下 ,過(guò) 去 與 將 來(lái) 相 互 獨(dú) 立 .浙江大學(xué)隨機(jī)過(guò)程 6 。0101{ 0 , 1 , 2 , .. .} ,M a r ko v1 , .. . , .. ., , ,nkkXnk n n m ni i i j???? ? ? ? ?如 果 是 狀 態(tài) 離 散 的 隨 機(jī) 過(guò) 程并 且 具 有 性 ，即 對(duì) 任 何任 何 狀 態(tài)定 義 ：， 有01 0 1{ | , .. ., , } { | }kn n n k m n mP X j X i X i X i P X j X i?? ? ? ? ? ? ?{ 0 1 .. .} Ma r kov c ha innXn ? 馬 爾則 稱 ； ， ， 是 可 夫 鏈 （ ） .浙江大學(xué)隨機(jī)過(guò)程 7 : ( , ) 0 , ( , ) 1i j i jjIp m m n p m m n?? ? ???? ? ??性 質(zhì)( | )m i n()j,mm ijnP X j X p m m ni? ?? ??記 為＝ ＝在 時(shí) 處 于 狀 態(tài) 的 條 件 下 , 經(jīng) 過(guò) 步 后 轉(zhuǎn) 移 到 狀 態(tài) 的 轉(zhuǎn) 移 概 率( ( , )(, )n) ij I Ip m mP m m nn ?? ??記 為 對(duì) 應(yīng) 的 步 轉(zhuǎn) 移 矩 陣:1各 元 素 非 負(fù)性 ， 每 行 之 和 為質(zhì)浙江大學(xué)隨機(jī)過(guò)程 8 1, , ( | ,M a r ko v{}nnni j P X j X i nX? ??如 果 對(duì) 任 何 狀 態(tài) ） 不 依 賴 于則 稱 是 時(shí) 齊 的定 義 ：鏈1(| nij nP X i ip j X j?? ? ?： ） 稱 為 從 到 的 一 步 轉(zhuǎn) 移 概 率ij I IpP ??（ ） 稱 為 一 步 轉(zhuǎn) 移 概 率浙江大學(xué)隨機(jī)過(guò)程 9 ? ?1 | , 0 , 1 i j n n p j ip P X j X i i jq j i? ??? ? ? ? ?? ??… … n 2 1 X0 X1 X2 Xn Xn1 pqPqp??? ????一 步 轉(zhuǎn) 移 矩 陣 ， 狀 態(tài) 轉(zhuǎn) 移 圖 ：001n1npq p X Xn???只 傳 輸 和 1 的 串 聯(lián) 系 統(tǒng) 中 ， 設(shè) 每 一 級(jí) 的 傳 真 率 為 , 誤 碼 率為 。 以 表 示 第 一 級(jí) 的 輸 入 ， 表 示 第 級(jí) 的 輸 出（ ） 。{ } Ma r kov { 0 , 1 }nXI ?則 是 一 時(shí) 齊 鏈 ， 狀 態(tài) 空 間 ，012. ? 傳例 （ 輸 系 統(tǒng) ）ppqq0 1浙江大學(xué)隨機(jī)過(guò)程 10 1 3 4 5 2 . 隨例 3（ 機(jī) 游 動(dòng) ）{ 1 2 3 4 5 }5 ) ,Iii???設(shè) 一 醉 漢 在 ， ， ， ， 作 隨 機(jī) 游 動(dòng) ： 如 果 現(xiàn) 在 位 于 點(diǎn)（ 1 則 下 一 時(shí) 刻 各 以 1/3 概 率 向 左 或 向 右 移 動(dòng) 一 格 ，或 以 概 率 1/3 呆 在 原 處 ； 如 果 現(xiàn) 在 位 于 點(diǎn) 1 （ 或 點(diǎn) 5 ） ，則 下 一 時(shí) 刻 以 概 率 1 移 到 點(diǎn) 2 （ 或 點(diǎn) 4 ） 。15和 兩 點(diǎn) 稱 為 反 射 壁 ， 這 種 游 動(dòng) 稱 為 帶 兩 個(gè) 反 射 壁 的 隨 機(jī) 游 動(dòng) 。nXn用 表 示 時(shí) 刻 醉 漢 所 在 的 位 置 。{ } Ma r kovnX則 是 一 時(shí) 齊 鏈 ，1/3 1/31 2 3 4 5111/3 1/3 1/31/31/31/3浙江大學(xué)隨機(jī)過(guò)程 11 111333111333111333 1 2 3 4 51 1 0 0 0 02 0 0 3 0 04 0 05 0 0 0 1 0P?????????????????111333111333111333 1 2 3 4 51 0 1 0 0 02 0 0 3 0 04 0 05 0 0 0 1 0P?????????????????1 3 4 5 2 如果把 1這點(diǎn)改為吸收壁，即 Q一旦到達(dá) 1這一點(diǎn)， 則永遠(yuǎn)留在點(diǎn) 1時(shí)，此時(shí)的轉(zhuǎn)移概率矩陣為： 一步轉(zhuǎn)移概率矩陣為： 浙江大學(xué)隨機(jī)過(guò)程 12 例 4： 排隊(duì)模型 設(shè)服務(wù)系統(tǒng)由一個(gè)服務(wù)員和只可以容納兩個(gè)人的等候室組成。服務(wù)規(guī)則為：先到先服務(wù)，后來(lái)者需在等候室依次排隊(duì)，假設(shè)一個(gè)需要服務(wù)的顧客到達(dá)系統(tǒng)時(shí)發(fā)現(xiàn)系統(tǒng)內(nèi)已有 3個(gè)顧客，則該顧客立即離去。 設(shè)時(shí)間間隔 ⊿ t內(nèi)有一個(gè)顧客進(jìn)入系統(tǒng)的概率為 q，有一接受服務(wù)的顧客離開系統(tǒng) (即服務(wù)完畢 )的概率為 p,又設(shè)當(dāng) ⊿ t充分小時(shí)，在這時(shí)間間隔內(nèi)多于一個(gè)顧客進(jìn)入或離開系統(tǒng)實(shí)際上是不可能的，再設(shè)有無(wú)顧客來(lái)到與服務(wù)是否完畢是相互獨(dú)立的。 等候室 服務(wù)臺(tái) 系統(tǒng) 隨機(jī)到達(dá)者 離去者 浙江大學(xué)隨機(jī)過(guò)程 13 現(xiàn)用馬氏鏈來(lái)描述這個(gè)服務(wù)系統(tǒng)： 設(shè) Xn=X(n⊿t) 表示時(shí)刻 n⊿t 時(shí)系統(tǒng)內(nèi)的顧客數(shù)，即系統(tǒng)的狀態(tài)。 {Xn,n=0,1,2…} 是一隨機(jī)過(guò)程，狀態(tài)空間I={0,1,2,3},且如前例 例 2的分析可知，它是一個(gè)時(shí)齊馬氏鏈，它的一步轉(zhuǎn)移概率矩陣為： 0 1 2 30 1 0 01 ( 1 ) ( 1 ) ( 1 ) ( 1 ) 02 0 ( 1 ) ( 1 ) ( 1 ) ( 1 )3 0 0 ( 1 ) ( 1 )qqp q pq p q q pPp q pq p q q pp q pq p?????? ? ? ? ??? ? ? ? ?? ? ???等候室 服務(wù)臺(tái) 系統(tǒng) 隨機(jī)到達(dá)者 離去者 浙江大學(xué)隨機(jī)過(guò)程 14 例 5：設(shè)甲、乙兩袋共裝 5個(gè)球，每次任取一袋 ,并從袋中 取出一球放入另一袋 (若袋中無(wú)球則不取 )。 Xn表示 第 n次抽取后甲袋的球數(shù)， n=1,2,….{X n,n=1,2,…} 是一隨機(jī)過(guò)程，狀態(tài)空間 I={0,1,2,3,4,5},當(dāng) Xn=i 時(shí)， Xn+1=j的概率只與 i有關(guān)，與 n時(shí)刻之前如何取到 i值是無(wú)關(guān)的，這是時(shí)齊馬氏鏈，一步轉(zhuǎn)移矩陣為： 112211221122112211221122 0 1 2 3 4 5000000 0 0 010 0 0 020 0 0 030 0 0 0400005P????????? ??????????甲 乙 浙江大學(xué)隨機(jī)過(guò)程 15 例 6：卜里耶（ Polya)罐子模型。設(shè)一罐子裝有 r個(gè)紅球， t個(gè)黑球，現(xiàn)隨機(jī)從罐中取出一球，記錄其顏色，然后將 球放回，并加入 a個(gè)同色球。持續(xù)進(jìn)行這一過(guò)程， Xn表示 第 n次試驗(yàn)結(jié)束時(shí)罐中的紅球數(shù)， n=0， 1,2,…. {Xn,n=0， 1,2,…} 是一隨機(jī)過(guò)程， 狀態(tài)空間 I={r,r+a,r+2a,…}, 當(dāng) Xn=i 時(shí)， Xn+1=j的概率只 與 i有關(guān)，與 n時(shí)刻之前如何取到 i值是無(wú)關(guān)的， 這是一馬氏鏈，但不是時(shí)齊的 ,一步轉(zhuǎn)移概率為： 1()10nnij i ar t naiP X j X ijir t na????????? ? ? ???? ???? 其 它浙江大學(xué)隨機(jī)過(guò)程 16 1 2 ,2 0 1 2 10.1 ( 12 | 2 , 7 ) , ( 12 | 7 )( 2) { }nn n nnXnY X X nP Y Y Y P Y YY M ark ov??? ? ?? ? ? ? ?例 7 ： 獨(dú) 立 重 復(fù) 地 擲 骰 子 ， 用 表 示 第 次擲 出 的 點(diǎn) 數(shù) ， 令（ ） 計(jì) 算判 斷 是 否 是 鏈 ？浙江大學(xué)隨機(jī)過(guò)程 17 2 0 13 4 1 2 31 ( 1 2 | 2 , 7 )( 6 | 1 , 1 , 6 ) 1 / 6P Y Y YP X