【正文】 后面發(fā)出 Xi的概率只與 Xi1有關，又當 i》 3時， ? 。 ? 試用馬爾可夫信源的圖示法畫出狀態(tài)轉移圖，并計算次信源的熵 ? ? ? ?121 XXPXXP ii ???H解答 1 ? 根據(jù)狀態(tài)轉移圖，設狀態(tài)極限概率分別為 P（a）、 P（ b）和 P（ c），根據(jù)切普曼 柯爾莫哥洛夫方程有： 解答 2 ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?????????????????????13131213131213131cQbQaQbQaQcQcQbQaQbQcQbQaQaQ? ? ? ?? ?41,83???cQbQaQ解得：? ? ? ? ? ?符號比特 /4 3 ?? ?? ii EXHEQH得此一階馬爾可夫的信息熵為： ? 一階馬爾可夫信源的狀態(tài)圖如圖所示，信源 X的符號集為 {0,1,2}。 ? 求平穩(wěn)后信源的概率分布 ? 求信源的熵 H ? ? 求當 p=0和 p=1時信源的熵，并說明理由 狀態(tài)轉移圖 0 12ppp1 p 1 p1 p ? 設有一個馬爾可夫信源，它的狀態(tài)集為 {s1，s2， s3}，符號集為 {a1， a2， a3}，以及在某狀態(tài)下輸出符號的概率為 P（ ak│si）（ i，k=1,2,3），如圖 ? 求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號的極限概率； ? 計算信源處在某一狀態(tài)下輸出符號的條件熵 H（ X│sj）（ j=1,2,3）； ? 求出馬爾可夫信源熵 H ? 解答 1 ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ??????????????????????141210432103213213321211sQsQsQsQsQsQsQsQsQsQsQsQsQ? ? ? ?? ?73,72231???sQsQsQ解得：s1s2s3a1: 1 / 2a2: 1 / 4a2: 1 / 2a1: 1a3: 1 / 4a3: 1 / 2解答 2 符號的極限概率是： ? ? ? ? ? ?ikqiii EaPEQaPm???1? ? ? ? ? ? 731311 ?? ??iii saPsQaP? ? ? ? ? ? 722312 ?? ??iii saPsQaP? ? ? ? ? ? 723313 ?? ??iii saPsQaP結論 ? 可以看出，本題平穩(wěn)后符號的極限概率分布不等于狀態(tài)的極限概率分布，而對于一階馬爾可夫信源，根據(jù)定義，狀態(tài)集就是其符號集，由其條件概率來確定其狀態(tài)轉移概率，所以對于一階馬爾可夫信源來說，平穩(wěn)后符號的一維極限概率分布就等于其狀態(tài)的極限概率分布，但是對于一般的馬爾可夫信源的情況，平穩(wěn)后符號的極限概率分布一般不一定等于狀態(tài)的極限概率分布。 解答 3 ? 求信源處于某一狀態(tài)下輸出符號的條件熵 ? ? ? ? ? ? 3,2,1l og31??? ??jsaPsaPSXHkjkjkj? ? ? ? ? ? 符號比特 / og4141l og4121l og21l og31 111??????? ??k kksaPsaPSXH? ? ? ? ? ? 符號比特 /121,21,0l og31 222?????????? ??HsaPsaPSXHk kk? ? ? ? ? ? ? ? 符號比特 /00,0,1l og31 333???? ??HsaPsaPSXHk kk解答 4 ? 馬爾可夫信源熵 ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ?符號比特 /7601737233221131??????????? ???sXHsQsXHsQsXHsQsXHsQHjjj習題 ? 黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白 }，設黑色出現(xiàn)的概率為 P（黑） =，白色出現(xiàn)的概率 P（白） =。假設圖上黑白消息出現(xiàn)前后沒有關聯(lián)，求熵 H（ X）；假設消息出現(xiàn)前后有關聯(lián)，其依賴關系為 P（白 ︳ 白） =， P（黑 ︳ 白） = P（白 ︳ 黑）=， P（黑 ︳ 黑） =，求此一階馬爾可夫信源的熵 H2；分別求上述兩種信源的剩余度，并比較 H（ X）和 H2的大小，并說明其物理意義。 ? 解答 （ 1） H(X) ≈ /符號 （ 2）根據(jù)給出的依賴關系畫出狀態(tài)轉移圖，列出方程組求出狀態(tài)極限概率，帶入公式求出信息熵 續(xù) ?????????..黑白黑白P? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ?32Q31Q1. 8 Q0. 1 Q0Q. 2 Q0. 9 Q0?????????????白黑得出白黑黑白黑黑白白Q一階馬爾可夫信源的熵為： ? ? ? ?? ?? ? ? ?? ?? ? ? ? 符號比特白黑/. 1 , 0 . 90H32. 2 , 0 . 80H31.10. 1 l o . 9 l o . 8 l o . 2 l o g0QEXHEQHH i21ii2??????????? ???現(xiàn)計算得到的狀態(tài)的極限概率的值不完全等于題中原先給出的概率了。所以計算馬爾可夫信源的熵時不能用 P(黑 )和 P(白 )計算。如題目最初的 P(黑 )=1/3P(白 )=2/3，則此信源為二維平穩(wěn)信源。 續(xù) ? （ 3） 黑白消息給出的剩余度 ? 由前面計算所得可知： ? ? 1 1 2l o g8 8 2l o g11 ?????XH? 4 4 2l o g5 5 2l o g12 ??????H?? ? 212 ?? ?? 即HXH結果說明： 當信源的消息（符號）之間有依賴時，信源輸出消息的不確定性減弱。 信息熵正是反映信源的平均不確定性的大小。 信源剩余度放映信源消息依賴關系的強弱，剩余度越大，信源消息之間的依賴關系就越大。 連續(xù)信源和波形信源 連續(xù)信源的定義 ? 用連續(xù)隨機變量描述輸出消息的信源稱為連續(xù)信源。連續(xù)信源就是指其輸出在時間上和取值上都是連續(xù)的信源。 ? 基本連續(xù)信源的輸出是取值連續(xù)的單個隨機變量?？捎米兞康母怕拭芏?，變量間的條件概率密度和聯(lián)合概率密度來描述。 一、連續(xù)信源的熵 Hc(X) 連續(xù)信源熵的定義 ? 基本連續(xù)信源的數(shù)學模型為： 其中 R是全體實數(shù)集，是連續(xù)變量 x的取值范圍。 P(x)是概率密度函數(shù) 。 X P ＝ R P(x) RP ( x ) d x 1??? 根據(jù)離散化原則，連續(xù)變量 X可量化分層后用離散變量描述，來近似地逼近連續(xù)變量，即認為連續(xù)變量是離散變量的特殊情況。 ? 量化單位越小，所得的離散變量和連續(xù)變量就越接近，連續(xù)信源就能看成離散信源。連續(xù)變量的信息測度就可以用離散變量的信息測度來逼近。 見圖 （課本 142頁） ? 若把連續(xù)的區(qū)間 [a, b]分割成 n個等寬的小區(qū)間，每個區(qū)間的寬度為 則第 i個區(qū)間的概率為 ? 連續(xù)變量 X可以用取值為 xi(i=1,2…n) 的離散變量Xn來近似，即： Xn： {x1, x2, … ,x n} →X （連續(xù)）。這樣連續(xù)信源 X就被量化成離散信源 Xn。 a+iiia + ( i 1 )P = P ( x ) = P ( x )?? ???ban??? 離散信源 Xn的數(shù)學模型為： 且 ΣP(xi)△ = = H(Xn) = － ΣPi log Pi = － Σ[P(xi)△ ] log[P(xi)△ ] = － ΣP(xi)△ logP(xi) － ΣP(xi)△ log△ Xn P ＝ x1 , x2 , … , x i , … , x n P(x1) △ , P(x2) △ , … , P(xi) △ , … , P(xn) △ ╭ a+i△ ∣ P(x) dx ╯ a+(i－ 1)△ ╭ b ∣ P(x) dx = 1 ╯ a 當 n→∞ ，即△ → 0時，離散隨機變量 Xn趨向于連續(xù)隨機變量。因此，連續(xù)信源的的信息熵就是離散信源 Xn的極限值。 H(X) = H(Xn) = － ΣP(xi)△ logP(xi) － (log△ )ΣP(xi)△ = － P(x) logP(x) dx － log△ 上式第一項為定值；當 △ → 0時，第二項 →∞ ，所以避開第二項，定義連續(xù)信源的熵為： h(X) = － P(x) logP(x) dx 連續(xù)信源的絕對熵是無窮大的。 既然有限的 h(X)不能代表連續(xù)信源的平均不確定性的大小，也不能代表連續(xù)信源輸出的信息量，那么 為什么要定義連續(xù)信源的熵 h(X)呢？ 為了與離散信源的熵在形式上 統(tǒng)一 起來 ? 離散： H(X) = － ∑Pi logPi ? 連續(xù)： h(X) = － P(x) logP(x) dx 在實際問題中常常討論的是熵之間的差值，如果這兩個連續(xù)信源在離散逼近時所取的間隔△一致，則兩個無限大的項將互相抵消。因此， 連續(xù)信源的熵 h(X)稱為“ 差熵 /相對熵 /微分熵 ”，以區(qū)別于原來的絕對熵 H(X)。 我們可以定義兩個連續(xù)變量 X、 Y的聯(lián)合熵和條件熵： ? 聯(lián)合熵： h(XY) = － R P(xy) logP(xy) dx dy ? 條件熵： h(Y/X) = － R P(xy) logP(y/x) dx dy = － R P(x)P(y/x) logP(y/x) dx dy h(X/Y) = － R P(x)P(y/x) logP(x/y) dx dy 連續(xù)信源熵的性質 ? 可加性 h(XY) = h(X) + h(Y/X) = h(Y) + h(X/Y) 另外還有： h(X) ≤ h(X/Y) h(Y) ≤ h(Y/X) h(XY) ≤ h(X) + h(Y) 當且僅當 X與 Y統(tǒng)計獨立時，上述三式等號成立。 ? 凸狀性和極值性 差熵 h(X)是輸入概率密度函數(shù) P(x)的 ∩型凸函數(shù)。因此，對于某一概率密度函數(shù)，可以得到差熵的極大值。但與離散信源不同的是，其在不同的限制條件下，信源的最大熵是不同的。 ? 差熵可為負值 在某些情況下，差熵 h(X)可以得到負值。 因為 h(X)并非連續(xù)信源的絕對熵，它是一種相對熵，所以 h(X)不滿足非負性。 ? 變換性 連續(xù)信源輸出的隨機變量（或隨機矢量）通過確定的一一對應變換，其差熵會發(fā)生變化。 實際信源發(fā)出的消息大都要通過一系列的信息處理設備后才能在信道中傳輸。已知，在離散信源中若有確定的一一對應變換關系，則變化后信源的熵是不變的。而連續(xù)信源的差熵要發(fā)生改變，它不具有變換的不變性。 波形信源的定義 ?實際中某些信源的輸出常常是時間和取值都連續(xù)的消息，當固定某一時刻 t=t0時，它們的可能取值也是連續(xù)的又是隨機的，這樣的信源稱為隨機波形信源（也叫做隨機模擬信源）。 ?隨機波形信源輸出的消息是隨機的，可用隨機過程來描述。 ?隨機過程描述輸出消息的信源稱為隨機波形信源。隨機波形信源又可分為平穩(wěn)隨機波形信源和非平穩(wěn)隨機波形信源。