【正文】 。 遍歷態(tài)： 在有限狀態(tài)的馬爾可夫鏈中，具有非周期性且常返的狀態(tài)被稱為遍歷態(tài)。 4. 周期性 周期性定義： 某狀態(tài) i的周期為正整數(shù) t（ t1），則對(duì)于除了 t， 2t， 3t， …以外的所有 n值， pii(n)=0，即 t是具有該屬性的最大整數(shù)值。一旦狀態(tài)進(jìn)入狀態(tài) 2，則過程將一直處于狀態(tài) 2。從 P中可看出，如果過程初始狀態(tài)為 0或 1，那么該過程不會(huì)離開這兩種狀態(tài)； （ 2）狀態(tài) 2是吸收狀態(tài)（一種特殊的常返態(tài)），因?yàn)檫^程進(jìn)入狀態(tài) 2后就不會(huì)再離開此狀態(tài)（矩陣第三行）。狀態(tài) i是吸收態(tài)，當(dāng)且僅當(dāng) pii=1。因此，當(dāng)且僅當(dāng) i不是非常返態(tài)時(shí)，必是常返態(tài)。因此，當(dāng)且僅當(dāng)若存在一個(gè)狀態(tài) j（ j≠i），只能從狀態(tài) i可達(dá)該狀態(tài) j，而從狀態(tài)j不可到達(dá)狀態(tài) i，則狀態(tài) i為非常返態(tài)或瞬時(shí)狀態(tài)。 不可約性定義： 如果系統(tǒng)中的所有狀態(tài)被歸為一類，即所有狀態(tài)之間都是互通的，則該馬爾可夫鏈被稱為 不可約 。 結(jié)論： （ 1）任何狀態(tài)的自身是互通的 ,因 為 （ 2）如果狀態(tài) i和狀態(tài) j是互通的，則狀態(tài) j和狀態(tài) i也是互通的； （ 3）如果狀態(tài) i和狀態(tài) j是互通的，且狀態(tài) j和狀態(tài) k也是互通的，則狀態(tài) i和 狀態(tài) k也是互通的。 ? 張三住院了；張三沒來上課 ? 張三住院了；李四沒來上課 ?信源編碼的目的：去除信源相關(guān)性，壓縮。 ?含義：由于信源符號(hào)間存在依賴關(guān)系，信源輸出的符號(hào)越多，越容易判斷將要輸出的符號(hào)是什么，即信源熵（不確定性）越小。?例 二階馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖如圖 ， 求信源熵。 ? 根據(jù)條件概率，可畫出狀態(tài)轉(zhuǎn)移圖 ? 狀態(tài)轉(zhuǎn)移概率 p(S1|S1)=p(S4|S4)= p(S2|S1)=p(S3|S4)= p(S3|S2)=p(S1|S3)=p(S4|S2)=p(S2|S3)= ? 狀態(tài)轉(zhuǎn)移矩陣為 0 00 10 : 0 . 51 : 0 . 51 : 0 . 80 : 0 . 8S1S21 01 1S3S41 : 0 . 2 0 : 0 . 51 : 0 . 5 0 : 0 . 2S1 S2 S3 S4 S1 S2 S3 S4 ( 0 | 0 0 ) ( 1 | 1 1 ) 0 .8( 1 | 0 0 ) ( 0 | 1 1 ) 0 .2( 0 | 0 1 ) ( 0 | 1 0 ) ( 1 | 0 1 ) ( 1 | 1 0 ) 0 .5ppppp p p p????? ? ? ?0 .8 0 .2 0 00 0 0 .5 0 .50 .5 0 .5 0 00 0 0 .2 0 .8?????????????? 遍歷馬爾可夫信源的熵 1 2 1l i m ( | , , , )NNNmH H X X X X?????? 時(shí) 間 足 夠 長(zhǎng) 后 ， 遍 歷 的 階 馬 爾 可 夫 信 源 可 視 作 平 穩(wěn) 信 源 ： 11 1 1( , , )( | , , ) ( | )mm m mj k kk k k k jS a ap a a a p a S????? 對(duì) 于 齊 次 、 遍 歷 的 馬 氏 鏈 ， 其 狀 態(tài) 由 惟 一 確 定 ， 1 1 2 1( | , , , )m m mH X X X X H????mm ?即 ， 階 遍 歷 馬 爾 可 夫 信 源 的 極 限 熵 階 條 件 熵 .1( , , )mk k ja a S? 上 式 左 右 兩 端 同 時(shí) 取 對(duì) 數(shù) ， 并 對(duì) 和 取 統(tǒng) 計(jì) 平 均 ， 取 負(fù) ，1 1 2 1( | , , , ) ,m m mH X X X X H?? ?=左 邊( ) ( | ) ,jjjSp S H X S?=右 邊1 ( ) ( | ) .jm j jSH H p S H X S???? ?即 ，求馬爾可夫信源的熵 1 . 3 . 5 . 2 寫 出 狀 態(tài) 轉(zhuǎn) 移 矩 陣 ， 根 據(jù) 定 理 判 斷 是 否存 在 穩(wěn) 態(tài) 分 布 ；? ?1212122. .1( ) , ( ) , , ( ) ,( ) ( ) ( ) 1( ) , ( ) , , ( ) .JJJW p S p S p SW P Wp S p S p Sp S p S p S??? ? ?? ?? 根 據(jù) 定 理 求 出 穩(wěn) 態(tài) 分 布 ；令根 據(jù) ，求3 . ( ) ( | )jjjSH p S H X S? ? ? 根 據(jù) 求 出 信 源 熵 .求馬爾可夫信源熵 —— 例子 ?例 二階馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖如圖 ， 求信源熵。 ?因此可以用馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖表示馬爾可夫信源 ( | )( | ) ( | )ki k i j ii k jp a Sp a S p S SS a S?????? ?0 1 1 1狀 態(tài) 1 狀 態(tài) 2輸 出 符 號(hào) ： 1狀態(tài)轉(zhuǎn)移圖的例子 ?例 二進(jìn)制一階馬爾可夫信源 ? 一階： N=1， qN=2，即有 2個(gè)狀態(tài) S1=0和 S2=1。將要輸出的符號(hào)與前 m個(gè)符號(hào)有關(guān)。將要輸出的符號(hào)僅與前 1個(gè)符號(hào)有關(guān)。例 230 0 * 0 0 * * * 0 * * *1. * * * * * * * * * , * * ** * 0 * * 0 * * * * * * .2PP? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? 根 據(jù) 定 理 ， 可 知 該 馬 氏 鏈 是 遍 歷 的 ， 其 穩(wěn) 態(tài) 分 布 存 在 。( 3 )ijjrjjnPpi j r W j rWW WP WW W W WW????????? 設(shè) 某 馬 爾 可 夫 鏈 的 狀 態(tài) 轉(zhuǎn) 移 矩 陣 為 其 穩(wěn) 態(tài) 分 布 為 ， 則若 是 該 鏈 的 穩(wěn) 態(tài) 分 布 矢 量 ， 即若 初 始 分 布 ， 則 對(duì) 所 有是 該 鏈 的 唯 一 穩(wěn) 態(tài) 分 布 。 1( 0 ) ( )( ) , 1 , 2 , , , 1 , 2 , , ,( 1 ) 1 。求解穩(wěn)態(tài)分布 ?定理 設(shè) P為某一馬爾可夫鏈的狀態(tài)轉(zhuǎn)移矩陣，則該鏈穩(wěn)態(tài)分布存在穩(wěn)態(tài)分布的充要條件是存在一個(gè)正整數(shù) N，使得矩陣PN中所有的元素均大于零。 ?穩(wěn)定 =平穩(wěn)？ NO ? 穩(wěn)定：經(jīng)過一個(gè)過程之后達(dá)到平穩(wěn) ? 平穩(wěn)：一定穩(wěn)定 ? 共同點(diǎn)：都指先驗(yàn)概率 ()0,l i m0.1,2nij jnj j i ij jijjii j ippp p p p ppp?????? ? ??? 若 齊 次 馬 爾 可 夫 鏈 對(duì) 一 切 存 在 不 依 賴 于 的 極 限且 滿 足 ， ，則 稱 其 具 有 ， 為 。 時(shí)齊馬爾可夫鏈中 一步轉(zhuǎn)移矩陣與多步轉(zhuǎn)移矩陣之間的關(guān)系 ?一步概率轉(zhuǎn)移矩陣 ?時(shí)齊馬爾可夫鏈中存在切普曼 柯爾莫哥洛夫方程 ?兩步轉(zhuǎn)移概率 ( ) ( ) ( )m r m rP P P? ?11 12 1321 22 2331 32 33p p pp p pPp p p?????????( )