【正文】 ?? ? ? ?? ? ? ? ?? ? ? ? ? ???令 輸 光 則輸 光輸 光11 , 0 ..i i i immiiih h h h i m{ h }h ???? ? ? ? ??即所 以 是 等 差 數(shù) 列 ，所 以i元 錢1i? 元 錢1i? 元 錢輸 光1/21/2 1ih?1ih?浙江大學(xué)隨機(jī)過程 20 Ma r kov Ma r kov 性當(dāng) 鏈 有 兩 個(gè) 吸 收 態(tài) 時(shí) ， 我 們 可 以 利 用 和全 概 率 公 式 建 立 方 程 ， 計(jì) 算 被 某 一 個(gè) 特 定 吸 收 態(tài) 吸 收的 概 率 。 用 表 示 時(shí) 老 鼠 所 在 的 位 置 。 2? ? ? ? ? ?, , , ij ik k jkp s s u v p s s u p s u s u vCK? ? ? ? ? ? ??? 方 程ksu? s u v?? tsij0? ? ? ? ? ? , , ,P s s u v P s s u P s u s u vCK? ? ? ? ? ???方 程 可 以 寫 成 矩 陣 形 ：式浙江大學(xué)隨機(jī)過程 24 CK? 方程的證明：? ? ? ?| | ,s u s s u v s s ukP X k X i P X j X i X k? ? ? ?? ? ? ? ??全 概 率 公 式＝ ＝ ＝? ? ? ? | |s u s s u v s ukP X k X i P X j X k? ? ? ?? ? ? ??馬 氏 性＝ ＝ ＝? ? ? ?, , i k k jkp s s u p s u s u v? ? ? ? ??? ? ? ?,|ij s u v sp s s u v P X j X i??? ? ? ? ?證畢！ 浙江大學(xué)隨機(jī)過程 25 { } Ma r kov nX 時(shí) 齊以 后 均 假 設(shè) 是 的 鏈)C K ( , )( , ) , m, ) , i j mmijmmijP n n m P nP n n mPp n n mp??????（（ ）由 方 程 ： 不 依 賴 于 ，記 稱 為 步 轉(zhuǎn) 移 矩 陣記 （ 從 到 的 步 轉(zhuǎn) 移 概 率)mmPP?（則浙江大學(xué)隨機(jī)過程 26 1211 1 1 2 1012()()11112 .. . ,( , .. . ) ( ) .. .kkk k knn ijiknnnnn n k n i i i in P X j P X i pn n nP X i X i P X i p p????? ? ? ?? ? ?? ? ? ??（ ）（ ） 對(duì) 任 何 ， （ ） （ ）（ ） 對(duì) 任 何命 題 ：? 有 限 維 分 布 完 全 由 初 始 分 布 和 一 步 轉(zhuǎn) 移 概 率 所 確 定00))n,nnn P??????（（（ ）（ ）把 初 始 分 布 和 步 分 布 分 別 寫 成 行 向 量 和則浙江大學(xué)隨機(jī)過程 27 0 0 01( | ) nn n ijiiP X j P X i P X j X i P X i p? ? ? ? ? ? ??? （ ）（ ） 由 全 概 率 公 式（ ） （ ） （ ）證 明 ：11 2 1 1 11211 1 2 111 2 1 1 1()()12( , ... )( ) ( | ) ... ( | , ... )( ) ...kkkkkkkn n kn n n n k n n knnnnn i i i iP X i X iP X i P X i X i P X i X i X iP X i p p????????? ? ? ? ? ? ???（ ） 由 乘 法 公 式浙江大學(xué)隨機(jī)過程 28 3 1441114243 144 0 1 200120P???????????? ?? ?? ? ? ?? ? ? ?? ? ? ?00 2 42 4 5 02 4 51 , 0 0 , 1 , 2 M a r k o v1 0 , 1 , 23 1 0 , 1 , 1 。0 1 213112121212浙江大學(xué)隨機(jī)過程 38 0 1 213112121212： 先 考 慮解 狀 態(tài) 0,(1)00 0,f ?( 2 )00 03 30 1 / 4 ,f p p??( 3 )0 0 0 3 3 3 3 0 1 / 8 ,f p p p??n ?當(dāng) 4 時(shí) ，( ) 2 400 03 33 30 01 12 23 33 30n n nf p p p p p p p p????2112 2n n?? ?()0 0 0 0 21 2 411 122nnnn n nff? ? ??? ? ?? ? ? ? ?? ? ?0? 是 一 個(gè) 常 返 態(tài)0 22411422nnnnnn??????? ? ???進(jìn) 一 步 地 ：0? 是 正 常 返 態(tài)浙江大學(xué)隨機(jī)過程 39 0 1 213112121212： 再 考 慮解 狀 態(tài) 3,(1 )33 1 / 2 ,f ?( 2 )33 30 03 1 / 4 ,f p p??( 3 )33 0,f ?()33n 5 0nf??當(dāng) 時(shí) ，()3 3 3 311nnff??? ? ??3? 是 一 個(gè) 常 返 態(tài)1113 2441 2 4 2? ? ? ? ? ? ? ?進(jìn) 一 步 地 ：3? 也 是 正 常 返 態(tài)( 4 )33 30 01 12 23 1 / 4 ,f p p p p??12： 狀 態(tài) 和 狀 態(tài) 的 常 返 性 又問 題 是 如 何 呢 ？( ) ( )11 33nnff（ 計(jì) 算 和 很 復(fù) 雜 ， 需 引 入 新 的 方 法 ）浙江大學(xué)隨機(jī)過程 40 , 1 , 0{ } M a r k o v{ 0 , 1 , 2 , .. .} , 1 , 0 1 , 0 .0ni i i i i iXI p p p q p p i?? ? ? ? ? ? ? ?爬例 2. （ ） 設(shè) 是 時(shí) 齊 鏈 ，討梯 子論 狀 態(tài) 的模 型常 返 性 。55 0 ( 5 ) ? ? ?因 ，（ 5 ） 為155 55 550. 5 0 , 2 0. 5 1nf f n f? ? ? ? ? ?（ ） （ ），5? 是 非 周 期 的 暫 留 態(tài) 。?各 狀 態(tài) 互 達(dá) ， 所 有 狀 態(tài) 非 周 期 正 常 返 。1 l im 0nn u?? ?（ ） 當(dāng) 時(shí) ， 各 狀 態(tài) 暫 留 ；0l im 0nnn nuu??? ?? ? ??（ 2 ） 當(dāng) 但 時(shí) ， 各 狀 態(tài) 零 常 返 ；0nnu?????（ 3 ） 當(dāng) 時(shí) ， 各 狀 態(tài) 正 常 返 。{ 0 , 1 , 2 , 3 }0 0 0 0 1 00 0 0 1 0 0 IP??????????解 ： ，0 1 2 3? ? ? ? ??設(shè) 平 穩(wěn) 分 布 （ ， ， ， ）則 0 1 2 310321102211? ? ? ???????? ? ? ??? ?????? ??1 1 1 14 8 8 2? ?解 得 （ ， ， ， ）0 1 2131121212120342????已 算 得 ，030311??????，恰 好121211??????，是 否 ？^_ ^完 全 正 確浙江大學(xué)隨機(jī)過程 57 Ma r ko v求 上 1 節(jié) 例 2 中 鏈 的 平例 2. 穩(wěn) 分 布 。12340 0 1 01 0 0 0 0 0 0P?????????浙江大學(xué)隨機(jī)過程 63 { } { 1 , 2 , 3 , 4 }nXI ?. 設(shè) 狀 態(tài) 空 間 ， 一 步 轉(zhuǎn) 移 矩 陣討 論 各 狀 態(tài) 的 周 期 和 常 返 性 ，計(jì) 算 正 常 態(tài) 的 平 均例 3回 轉(zhuǎn) 時(shí) 。()00 00 | 0n np P X X? ? ?： （方 法 一 ）ppqq0 1k n kkn qpk????????偶 數(shù)＝( n )P= 前 次 傳 輸 中 誤 碼 偶 數(shù) 次1 [ ( ) ]2k n k k n kkknnq p q pkk??? ? ? ?? ? ?? ? ? ?? ? ? ???11[ ( ) ( ) ] [ 1 ( 2 1 ) ]22 n n np q q p p? ? ? ? ? ? ? ?浙江大學(xué)隨機(jī)過程 68 ()00 00 | 0n np P X X? ? ?： （方 法 一 ）ppqq0 111[ ( ) ( ) ] [ 1 ( 2 1 ) ]22 n n np q q p p? ? ? ? ? ? ? ?() 11 0 1 , l i m2nijnp p i j??? ? ? ?（ ） 若 則 ， ，（ 極 限 與 出 發(fā) 點(diǎn) 無 關(guān) ）()3 0 , l im nijnp i j p????（ ） 若 則 ， ， 不 存 在( ) ( ) ( ) ( )0 0 1 1 1 0 0 12 1 , l im l im 1 l im l im 0n n n nn n n np p p p p? ? ? ? ? ? ? ?? ? ? ? ?（ ） 若 則 ，（ 極 限 與 出 發(fā) 點(diǎn) 有 關(guān) ）浙江大學(xué)隨機(jī)過程 69 方 法 二 ：ppqq0 1( 0 ) 1 , { }ndX??又 遍 歷1 0 1 { 0 1 } { }npX??（ ） 若 ， 則 ， 是 閉 的 等 價(jià) 類 ， 所 以 正 常 返3 0 ,p ?（ ） 若2 1 ,p ?（ ） 若0111, ) ( , )22?? ?平 穩(wěn) 分 布 (() 1l im2nijn p i j??? ? ?， ，110 1110 1( ) ( )00 11( ) ( )10 01l i m l i m 1l i m l i m 0nnnnnnnnpppp? ? ? ?? ? ? ?????則 ，()l im nijni j p???則 ， ， 不 存 在浙江大學(xué)隨機(jī)過程 70 例 6：設(shè)有 6個(gè)球 (2個(gè)紅球 ,4個(gè)白球 )隨機(jī)平分放入甲 , 乙兩個(gè)盒中 .今每次從兩盒中各任取一球并進(jìn)行交換 . 表示開始時(shí)甲盒中的紅球數(shù) , 表示經(jīng) n次交換 后甲盒中的紅球數(shù) . (1)求此馬氏鏈的初始分布 。當(dāng) 初 始 分 布 為 時(shí) ， Markov 鏈 嚴(yán) 平平 穩(wěn) 為分 布 穩(wěn) 過 程 。布林在斯坦福大學(xué)發(fā)明了這項(xiàng)技術(shù) , 并最終以拉里