【文章內(nèi)容簡介】 313 1 ( 0 ) ( 1 ) ( 2 ) 64P X P X p P X p P X p? ? ? ? ? ? ? ?? ? ? ?( 3 )13 0 0 01203 313 641 | 0 ( 0 ) 28( 4 ) 0 | 1( 1 ) 3 1P X X P X pP X XPX? ? ?? ? ? ? ??浙江大學(xué)隨機(jī)過程 32 23, C KPP ?也 可 不 計(jì) 算 ， 根 據(jù) 狀 態(tài) 轉(zhuǎn) 移 圖 和 方 程 ：( 2 )1 1 1 0 0 1 1 2 2 178p p p p p? ? ?( 3 ) ( 2 )0 1 0 1 1 1 78p p p??( 3 )11 12 22 21332p p p p??0 1 21 12123414浙江大學(xué)隨機(jī)過程 33 常 返 和 暫 留167。 31. 從 一 個(gè) 狀 態(tài) 出 發(fā) 是 不 是 一 定 能 夠 在 有 限 時(shí) 間 內(nèi) 返問 題 ：回 該 狀 態(tài) ？2. 如 果 能 夠 返 回 ， 那 么 平 均 返 回 時(shí) 間 （ ） 一 定平 均 回 轉(zhuǎn) 時(shí)有 限 嗎 ？3. 如 果 能 夠 返 回 ， 那 么 平 均 返 回 時(shí) 間 的 精 確 值 是 多 少 ？（ 常 返 ， 暫 留 ）正 常 返 ，（ 零 常 返 ）（ 平 穩(wěn) 分 布 ）浙江大學(xué)隨機(jī)過程 34 m in { mi: n)1}in n X i i? ? ? ? ? ?? ? ? ??定 義 ：的 首 中 時(shí) （ 約 定00( | ) 1( | ) 1iiP X iiP X i??? ? ? ??? ? ? ? ??常 返 ： 暫 留 : 狀 態(tài)1i i ii i i常 返 ： 從 出 發(fā) 以 概 率 在 有 限 時(shí) 間 內(nèi) 能 返 回 狀 態(tài)暫 留 ： 從 出 發(fā) 以 正 概 率 不 再 返 回 狀 態(tài)浙江大學(xué)隨機(jī)過程 35 0( | )ii EXii i?? ??????若 常 返 ， 定 義的 平 均 回 轉(zhuǎn) 時(shí)iii?????? ???正 常 返 ： 零 常 : 返常 返11i i ii i i正 常 返 ： 從 出 發(fā) 不 但 以 概 率 在 有 限 時(shí) 間 內(nèi) 返 回 狀 態(tài) ， 而 且 平 均 回 轉(zhuǎn) 時(shí) 有 限零 常 返 ： 從 出 發(fā) 雖 然 以 概 率 在 有 限 時(shí) 間 內(nèi) 返 回 狀 態(tài) ， 但 平 均 回 轉(zhuǎn) 時(shí) 無 限正 常 返 態(tài) 返 回 速 度 快 于 零 常 返 態(tài)浙江大學(xué)隨機(jī)過程 36 0|)iiP X i??? ? ?（ 和 的 計(jì) 算 ：() 1 1 0( , , .. ., | )nij n nf P X j X j X j X i?? ? ? ? ?令i n j??? 從 出 發(fā) 第 步 首 次 擊 中 的 概 率0( | ) ijij jf P X i? ???? ??? 從 出 發(fā) 能 擊 中 的 概 率()1nij ijnff??? ?則 1iiif? ? ?常 返()i1niinnfi ???? ?若 常 返 ， 則 浙江大學(xué)隨機(jī)過程 37 { } Ma r kov { 0 , 1 , 2 , 3 }0 0 0 0 1 00 0 0 1 0 0 nXIP??????????例 1. 設(shè) 是 時(shí) 齊 鏈 ， ， 其 一 步 轉(zhuǎn) 移矩 陣 ， 討 論 狀 態(tài) 0 和 3 的 常 返 性 。0 1 213112121212浙江大學(xué)隨機(jī)過程 38 0 1 213112121212： 先 考 慮解 狀 態(tài) 0,(1)00 0,f ?( 2 )00 03 30 1 / 4 ,f p p??( 3 )0 0 0 3 3 3 3 0 1 / 8 ,f p p p??n ?當(dāng) 4 時(shí) ，( ) 2 400 03 33 30 01 12 23 33 30n n nf p p p p p p p p????2112 2n n?? ?()0 0 0 0 21 2 411 122nnnn n nff? ? ??? ? ?? ? ? ? ?? ? ?0? 是 一 個(gè) 常 返 態(tài)0 22411422nnnnnn??????? ? ???進(jìn) 一 步 地 ：0? 是 正 常 返 態(tài)浙江大學(xué)隨機(jī)過程 39 0 1 213112121212： 再 考 慮解 狀 態(tài) 3,(1 )33 1 / 2 ,f ?( 2 )33 30 03 1 / 4 ,f p p??( 3 )33 0,f ?()33n 5 0nf??當(dāng) 時(shí) ，()3 3 3 311nnff??? ? ??3? 是 一 個(gè) 常 返 態(tài)1113 2441 2 4 2? ? ? ? ? ? ? ?進(jìn) 一 步 地 ：3? 也 是 正 常 返 態(tài)( 4 )33 30 01 12 23 1 / 4 ,f p p p p??12： 狀 態(tài) 和 狀 態(tài) 的 常 返 性 又問 題 是 如 何 呢 ？( ) ( )11 33nnff（ 計(jì) 算 和 很 復(fù) 雜 ， 需 引 入 新 的 方 法 ）浙江大學(xué)隨機(jī)過程 40 , 1 , 0{ } M a r k o v{ 0 , 1 , 2 , .. .} , 1 , 0 1 , 0 .0ni i i i i iXI p p p q p p i?? ? ? ? ? ? ? ?爬例 2. （ ） 設(shè) 是 時(shí) 齊 鏈 ，討梯 子論 狀 態(tài) 的模 型常 返 性 。0 1 21p 2p0p 1np? np......n0q1q2qnq浙江大學(xué)隨機(jī)過程 41 0 1 21p 2p0p 1np? np... ...n0q1q2qnq( 1 )00 00 01,f p p? ? ?解 ：()0 0 0 1 1 2 1 , 0 0 1 2 1()0 0 1 1 0 0 12 , . . . . . . ( 1 ) ,1 , . . . , 1 . ,nn n nnn n n nn f p p p p p p pu u p p p n f u u? ? ???? ? ? ? ?? ? ? ? ? ?令 則0 0 1 1 2 2 3( 1 ) ( ) ( ) .. . 1 l im .nnf u u u u u u??? ? ? ? ? ? ? ? ? ?0 l im 0 .nn u????是 常 返 態(tài) 當(dāng) 且 僅 當(dāng)0當(dāng) 是 常 返 態(tài) 時(shí) ，00. nnu??? ? ??是 正 常 返 態(tài) 當(dāng) 且 僅 當(dāng)： 如 何 判 斷 其它 狀 態(tài) 的問 題常 返 性 ？（ 很 難 ， 但 利 用的 關(guān) 系 就 容互 達(dá)易 判 斷 ）( 2 )0 0 0 1 1 0 0 10 0 1( 1 )f p p p pp p p? ? ???0 1 1 2 2 30( 1 ) 2 ( ) 3 ( ) . . . nnu u u u u u???? ? ? ? ? ? ? ? ?浙江大學(xué)隨機(jī)過程 42 21( 1 ) ,iipe? ??例 如 ， 如 果1 ,1nu n? ?那 么2221111( 1 )2 0i innu e e???? ? ? ?? ? ?那 么 ，? 0 是 暫 留 態(tài)22( 1 ) ,( 2 )iipi???如 果12iipi???如 果 ，21 ,( 1 )nu n? ?那 么? 0 是 零 常 返 態(tài)? 0 是 正 常 返 態(tài)0l im 0 ,nnn nuu??? ?? ? ??，0l im 0 ,nnn nuu??? ?? ? ??，浙江大學(xué)隨機(jī)過程 43 常 返 和 暫 留 的 等 價(jià) 描 述()01. ii 1 iniinp??? ? ???常 返從 出 發(fā) 以 概 率 返 回 狀 態(tài) 無 窮 多 次()02. iiiniinp??? ? ???暫 留從 出 發(fā) 以 概 率 0 返 回 狀 態(tài) 無 窮 多 次浙江大學(xué)隨機(jī)過程 44 . . . . 1i i i i i???以 概 率 1 返 回 以 概 率 1 返 回1. 若 常 返 ， 則 以 概 率 無 限 次 返 回0( | ) 1 ,ii ii f P X i?? ? ? ? ?2. 若 暫 留 ， 則 0i? 以 概 率 無 限 次 返 回10( | ) ( 1 ) 1 , 2 , . . .ni i iiiiP N n Xiif f nNi ?? ? ? ? ?從 出 發(fā) 訪 問 的 次 數(shù) （ 包 括 0 時(shí) 刻 ） 服 從 幾 何 分，布 ：iiiii不 再 返 回iif i不 再 返 回i不 再 返 回....iifiif1 iif?1 iif?1 iif?01( | )1i iiE N n X i f? ? ? ? ??0( | ) 1iP N X i? ? ? ?0( | ) 0iP N X i? ? ? ?浙江大學(xué)隨機(jī)過程 45 ()00( | ) 11nii iniiip E N X iif?????? ? ?? ??? ???若 常 返若 常 返10nnnXiYXi??? ???若證 明 ： 令若()0000( | ) ( | ) ni n i innE N X i E Y X i p????? ? ? ? ???0innNY??? ?則浙江大學(xué)隨機(jī)過程 46 可 達(dá) 和 互 達(dá) ：()ij:0j 0iijni j n p? ? ?設(shè) ， 是 兩 個(gè) 狀 態(tài) ，(1) 稱 ， 記 為 若 存 在 , 使可 達(dá), :,ij i j i j j i? ? ?(2) 稱 ， 記 為 若 且互 達(dá)i j j i( 3 ) i j j k i k???? ? ?性 質(zhì) ： 互 達(dá) 是 一 個(gè)(1) 自 反 性 ： ii(2) 對 稱 性 : 若 ， 則傳 遞 性 ： 若 ，系， 則等 價(jià) 關(guān)? 狀 態(tài) 空 間 可 分 成 不 交 的 互 達(dá) 等 價(jià) 類 的 并Ma r kov { }nX 不 可 約 ：(3) 稱 鏈 如 果 任 意 兩 個(gè) 狀 態(tài) 互 達(dá)浙江大學(xué)隨機(jī)過程 47 周 期 ：()i { 1 :) 0}( niid pi n ??定 義 狀 態(tài) 的 為 集 合 的 最 大 公 約 數(shù) （ 若 該 集 合 為 空 集 ， 則 定 義 d(i)=0), 即 可 返 回 步 數(shù) 的 最周 期大 公 約 數(shù) 。i ( ) 1di ?稱 ： 若非 周 期ii稱 ： 若 非遍 歷 周 期 正 常 返M a r k o v { }nX 常 返 （