【正文】 關(guān)鍵詞： 馬爾可夫性 時齊馬爾可夫鏈 n步轉(zhuǎn)移概率 CK方程 馬氏鏈的有限維分布律 常返 暫留 正常返 零常返 互達(dá) 周期 不可約 平穩(wěn)分布 第十一章 馬爾可夫鏈 1 馬 爾 可 夫 鏈 的 定 義167。8 1 3 4 8 4. ( ),11 1 .0{ 4 | 1 , 1 , 2 } { 4 | 2 } ,npqpSnP S S S S P S S??? ? ? ? ? ?例 1甲 乙 兩 人 游 戲 每 一 局 甲 贏 元 的 概 率 為 ，輸 元 的 概 率 為 假 設(shè) 一 開 始 甲帶 了 元 錢 。 令 表 示 局 后 甲 所 擁 有 的 錢 數(shù) 。 計 算和它 們 是隨 機 游 動否 相 等 ？浙江大學(xué)隨機過程 3 8 1 3 48 4 1 3 4{ 4 | 1 , 1 , 2 }{ 2 | 1 , 1 , 2 }P S S S SP S S S S S? ? ? ?? ? ? ? ? ?解 ：84{ 2 }P S S? ? ?34 pq?848 4 4{ 4 | 2 }{ 2 | 2 }P S SP S S S??? ? ? ?34 pq?84{ 2 }P S S? ? ?8 1 3 4 8 4{ 4 | 1 , 1 , 2 } { 4 | 2 }P S S S S P S S? ? ? ? ? ? ? ?1 0 1 10 1 1 ,010 1 11 , . .{ | , .. , , . . . ,. . , , } { | },k k k k knnkkn k n n nP S j S i S i S i P Sk n n n i iiijjSi? ? ????? ? ?? ? ? ?? ? ?????更 一 般 地 ： 狀 態(tài)M ark ov 性浙江大學(xué)隨機過程 4 :M ark ov 性 的 直 觀 含 義1{ }........... .knC S j??? 將 來{ }... .. .. .. .. . .knB S i?? 現(xiàn) 在01 01{ , .. ., .}... .. ..kn n kA S i S i? ?? ? ?令 過 去(|M a r k o v :) ( | )P C A B P C B?性,已 知 到 現(xiàn) 在 為 止 的 所 有 信 息 來 預(yù) 測 將 來則 只 與 現(xiàn) 在 狀 態(tài) 有 關(guān) , 與 過 去 狀 態(tài) 無 關(guān) .浙江大學(xué)隨機過程 5 :M ark ov 性 的 直 觀 含 義( | ) ( | ) ( | )P AC B P A B P C B?在 已 知 現(xiàn) 在 狀 態(tài) 的 條 件 下 ,過 去 與 將 來 相 互 獨 立 .浙江大學(xué)隨機過程 6 。0101{ 0 , 1 , 2 , .. .} ,M a r ko v1 , .. . , .. ., , ,nkkXnk n n m ni i i j???? ? ? ? ?如 果 是 狀 態(tài) 離 散 的 隨 機 過 程并 且 具 有 性 ，即 對 任 何任 何 狀 態(tài)定 義 ：， 有01 0 1{ | , .. ., , } { | }kn n n k m n mP X j X i X i X i P X j X i?? ? ? ? ? ? ?{ 0 1 .. .} Ma r kov c ha innXn ? 馬 爾則 稱 ； ， ， 是 可 夫 鏈 （ ） .浙江大學(xué)隨機過程 7 : ( , ) 0 , ( , ) 1i j i jjIp m m n p m m n?? ? ???? ? ??性 質(zhì)( | )m i n()j,mm ijnP X j X p m m ni? ?? ??記 為＝ ＝在 時 處 于 狀 態(tài) 的 條 件 下 , 經(jīng) 過 步 后 轉(zhuǎn) 移 到 狀 態(tài) 的 轉(zhuǎn) 移 概 率( ( , )(, )n) ij I Ip m mP m m nn ?? ??記 為 對 應(yīng) 的 步 轉(zhuǎn) 移 矩 陣:1各 元 素 非 負(fù)性 ， 每 行 之 和 為質(zhì)浙江大學(xué)隨機過程 8 1, , ( | ,M a r ko v{}nnni j P X j X i nX? ??如 果 對 任 何 狀 態(tài) ） 不 依 賴 于則 稱 是 時 齊 的定 義 ：鏈1(| nij nP X i ip j X j?? ? ?： ） 稱 為 從 到 的 一 步 轉(zhuǎn) 移 概 率ij I IpP ??（ ） 稱 為 一 步 轉(zhuǎn) 移 概 率浙江大學(xué)隨機過程 9 ? ?1 | , 0 , 1 i j n n p j ip P X j X i i jq j i? ??? ? ? ? ?? ??… … n 2 1 X0 X1 X2 Xn Xn1 pqPqp??? ????一 步 轉(zhuǎn) 移 矩 陣 ， 狀 態(tài) 轉(zhuǎn) 移 圖 ：001n1npq p X Xn???只 傳 輸 和 1 的 串 聯(lián) 系 統(tǒng) 中 ， 設(shè) 每 一 級 的 傳 真 率 為 , 誤 碼 率為 。 以 表 示 第 一 級 的 輸 入 ， 表 示 第 級 的 輸 出（ ） 。{ } Ma r kov { 0 , 1 }nXI ?則 是 一 時 齊 鏈 ， 狀 態(tài) 空 間 ，012. ? 傳例 （ 輸 系 統(tǒng) ）ppqq0 1浙江大學(xué)隨機過程 10 1 3 4 5 2 . 隨例 3（ 機 游 動 ）{ 1 2 3 4 5 }5 ) ,Iii???設(shè) 一 醉 漢 在 ， ， ， ， 作 隨 機 游 動 ： 如 果 現(xiàn) 在 位 于 點（ 1 則 下 一 時 刻 各 以 1/3 概 率 向 左 或 向 右 移 動 一 格 ，或 以 概 率 1/3 呆 在 原 處 ； 如 果 現(xiàn) 在 位 于 點 1 （ 或 點 5 ） ，則 下 一 時 刻 以 概 率 1 移 到 點 2 （ 或 點 4 ） 。15和 兩 點 稱 為 反 射 壁 ， 這 種 游 動 稱 為 帶 兩 個 反 射 壁 的 隨 機 游 動 。nXn用 表 示 時 刻 醉 漢 所 在 的 位 置 。{ } Ma r kovnX則 是 一 時 齊 鏈 ，1/3 1/31 2 3 4 5111/3 1/3 1/31/31/31/3浙江大學(xué)隨機過程 11 111333111333111333 1 2 3 4 51 1 0 0 0 02 0 0 3 0 04 0 05 0 0 0 1 0P?????????????????111333111333111333 1 2 3 4 51 0 1 0 0 02 0 0 3 0 04 0 05 0 0 0 1 0P?????????????????1 3 4 5 2 如果把 1這點改為吸收壁，即 Q一旦到達(dá) 1這一點， 則永遠(yuǎn)留在點 1時，此時的轉(zhuǎn)移概率矩陣為： 一步轉(zhuǎn)移概率矩陣為： 浙江大學(xué)隨機過程 12 例 4： 排隊模型 設(shè)服務(wù)系統(tǒng)由一個服務(wù)員和只可以容納兩個人的等候室組成。服務(wù)規(guī)則為：先到先服務(wù)，后來者需在等候室依次排隊，假設(shè)一個需要服務(wù)的顧客到達(dá)系統(tǒng)時發(fā)現(xiàn)系統(tǒng)內(nèi)已有 3個顧客，則該顧客立即離去。 設(shè)時間間隔 ⊿ t內(nèi)有一個顧客進入系統(tǒng)的概率為 q，有一接受服務(wù)的顧客離開系統(tǒng) (即服務(wù)完畢 )的概率為 p,又設(shè)當(dāng) ⊿ t充分小時，在這時間間隔內(nèi)多于一個顧客進入或離開系統(tǒng)實際上是不可能的，再設(shè)有無顧客來到與服務(wù)是否完畢是相互獨立的。 等候室 服務(wù)臺 系統(tǒng) 隨機到達(dá)者 離去者 浙江大學(xué)隨機過程 13 現(xiàn)用馬氏鏈來描述這個服務(wù)系統(tǒng)： 設(shè) Xn=X(n⊿t) 表示時刻 n⊿t 時系統(tǒng)內(nèi)的顧客數(shù)，即系統(tǒng)的狀態(tài)。 {Xn,n=0,1,2…} 是一隨機過程，狀態(tài)空間I={0,1,2,3},且如前例 例 2的分析可知，它是一個時齊馬氏鏈，它的一步轉(zhuǎn)移概率矩陣為： 0 1 2 30 1 0 01 ( 1 ) ( 1 ) ( 1 ) ( 1 ) 02 0 ( 1 ) ( 1 ) ( 1 ) ( 1 )3 0 0 ( 1 ) ( 1 )qqp q pq p q q pPp q pq p q q pp q pq p?????? ? ? ? ??? ? ? ? ?? ? ???等候室 服務(wù)臺 系統(tǒng) 隨機到達(dá)者 離去者 浙江大學(xué)隨機過程 14 例 5：設(shè)甲、乙兩袋共裝 5個球，每次任取一袋 ,并從袋中 取出一球放入另一袋 (若袋中無球則不取 )。 Xn表示 第 n次抽取后甲袋的球數(shù)， n=1,2,….{X n,n=1,2,…} 是一隨機過程，狀態(tài)空間 I={0,1,2,3,4,5},當(dāng) Xn=i 時， Xn+1=j的概率只與 i有關(guān)，與 n時刻之前如何取到 i值是無關(guān)的，這是時齊馬氏鏈，一步轉(zhuǎn)移矩陣為： 112211221122112211221122 0 1 2 3 4 5000000 0 0 010 0 0 020 0 0 030 0 0 0400005P????????? ??????????甲 乙 浙江大學(xué)隨機過程 15 例 6：卜里耶（ Polya)罐子模型。設(shè)一罐子裝有 r個紅球， t個黑球，現(xiàn)隨機從罐中取出一球，記錄其顏色，然后將 球放回，并加入 a個同色球。持續(xù)進行這一過程， Xn表示 第 n次試驗結(jié)束時罐中的紅球數(shù)， n=0， 1,2,…. {Xn,n=0， 1,2,…} 是一隨機過程， 狀態(tài)空間 I={r,r+a,r+2a,…}, 當(dāng) Xn=i 時， Xn+1=j的概率只 與 i有關(guān)，與 n時刻之前如何取到 i值是無關(guān)的， 這是一馬氏鏈，但不是時齊的 ,一步轉(zhuǎn)移概率為： 1()10nnij i ar t naiP X j X ijir t na????????? ? ? ???? ???? 其 它浙江大學(xué)隨機過程 16 1 2 ,2 0 1 2 10.1 ( 12 | 2 , 7 ) , ( 12 | 7 )( 2) { }nn n nnXnY X X nP Y Y Y P Y YY M ark ov??? ? ?? ? ? ? ?例 7 ： 獨 立 重 復(fù) 地 擲 骰 子 ， 用 表 示 第 次擲 出 的 點 數(shù) ， 令（ ） 計 算判 斷 是 否 是 鏈 ？浙江大學(xué)隨機過程 17 2 0 13 4 1 2 31 ( 1 2 | 2 , 7 )( 6 | 1 , 1 , 6 ) 1 / 6P Y Y YP X