【正文】 。 ?隨機過程描述輸出消息的信源稱為隨機波形信源。 波形信源的定義 ?實際中某些信源的輸出常常是時間和取值都連續(xù)的消息，當固定某一時刻 t=t0時，它們的可能取值也是連續(xù)的又是隨機的，這樣的信源稱為隨機波形信源（也叫做隨機模擬信源）。已知，在離散信源中若有確定的一一對應變換關系，則變化后信源的熵是不變的。 ? 變換性 連續(xù)信源輸出的隨機變量（或隨機矢量）通過確定的一一對應變換，其差熵會發(fā)生變化。 ? 差熵可為負值 在某些情況下，差熵 h(X)可以得到負值。因此，對于某一概率密度函數(shù)，可以得到差熵的極大值。 我們可以定義兩個連續(xù)變量 X、 Y的聯(lián)合熵和條件熵： ? 聯(lián)合熵： h(XY) = － R P(xy) logP(xy) dx dy ? 條件熵： h(Y/X) = － R P(xy) logP(y/x) dx dy = － R P(x)P(y/x) logP(y/x) dx dy h(X/Y) = － R P(x)P(y/x) logP(x/y) dx dy 連續(xù)信源熵的性質(zhì) ? 可加性 h(XY) = h(X) + h(Y/X) = h(Y) + h(X/Y) 另外還有： h(X) ≤ h(X/Y) h(Y) ≤ h(Y/X) h(XY) ≤ h(X) + h(Y) 當且僅當 X與 Y統(tǒng)計獨立時，上述三式等號成立。 既然有限的 h(X)不能代表連續(xù)信源的平均不確定性的大小，也不能代表連續(xù)信源輸出的信息量，那么 為什么要定義連續(xù)信源的熵 h(X)呢？ 為了與離散信源的熵在形式上 統(tǒng)一 起來 ? 離散： H(X) = － ∑Pi logPi ? 連續(xù)： h(X) = － P(x) logP(x) dx 在實際問題中常常討論的是熵之間的差值，如果這兩個連續(xù)信源在離散逼近時所取的間隔△一致，則兩個無限大的項將互相抵消。因此，連續(xù)信源的的信息熵就是離散信源 Xn的極限值。這樣連續(xù)信源 X就被量化成離散信源 Xn。連續(xù)變量的信息測度就可以用離散變量的信息測度來逼近。 X P ＝ R P(x) RP ( x ) d x 1??? 根據(jù)離散化原則，連續(xù)變量 X可量化分層后用離散變量描述，來近似地逼近連續(xù)變量，即認為連續(xù)變量是離散變量的特殊情況。 一、連續(xù)信源的熵 Hc(X) 連續(xù)信源熵的定義 ? 基本連續(xù)信源的數(shù)學模型為： 其中 R是全體實數(shù)集，是連續(xù)變量 x的取值范圍。 ? 基本連續(xù)信源的輸出是取值連續(xù)的單個隨機變量。 連續(xù)信源和波形信源 連續(xù)信源的定義 ? 用連續(xù)隨機變量描述輸出消息的信源稱為連續(xù)信源。 信息熵正是反映信源的平均不確定性的大小。如題目最初的 P(黑 )=1/3P(白 )=2/3，則此信源為二維平穩(wěn)信源。 ? 解答 （ 1） H(X) ≈ /符號 （ 2）根據(jù)給出的依賴關系畫出狀態(tài)轉移圖，列出方程組求出狀態(tài)極限概率，帶入公式求出信息熵 續(xù) ?????????..黑白黑白P? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ?32Q31Q1. 8 Q0. 1 Q0Q. 2 Q0. 9 Q0?????????????白黑得出白黑黑白黑黑白白Q一階馬爾可夫信源的熵為： ? ? ? ?? ?? ? ? ?? ?? ? ? ? 符號比特白黑/. 1 , 0 . 90H32. 2 , 0 . 80H31.10. 1 l o . 9 l o . 8 l o . 2 l o g0QEXHEQHH i21ii2??????????? ???現(xiàn)計算得到的狀態(tài)的極限概率的值不完全等于題中原先給出的概率了。 解答 3 ? 求信源處于某一狀態(tài)下輸出符號的條件熵 ? ? ? ? ? ? 3,2,1l og31??? ??jsaPsaPSXHkjkjkj? ? ? ? ? ? 符號比特 / og4141l og4121l og21l og31 111??????? ??k kksaPsaPSXH? ? ? ? ? ? 符號比特 /121,21,0l og31 222?????????? ??HsaPsaPSXHk kk? ? ? ? ? ? ? ? 符號比特 /00,0,1l og31 333???? ??HsaPsaPSXHk kk解答 4 ? 馬爾可夫信源熵 ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ?符號比特 /7601737233221131??????????? ???sXHsQsXHsQsXHsQsXHsQHjjj習題 ? 黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白 }，設黑色出現(xiàn)的概率為 P（黑） =，白色出現(xiàn)的概率 P（白） =。 ? 試用馬爾可夫信源的圖示法畫出狀態(tài)轉移圖，并計算次信源的熵 ? ? ? ?121 XXPXXP ii ???H解答 1 ? 根據(jù)狀態(tài)轉移圖，設狀態(tài)極限概率分別為 P（a）、 P（ b）和 P（ c），根據(jù)切普曼 柯爾莫哥洛夫方程有： 解答 2 ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?????????????????????13131213131213131cQbQaQbQaQcQcQbQaQbQcQbQaQaQ? ? ? ?? ?41,83???cQbQaQ解得：? ? ? ? ? ?符號比特 /4 3 ?? ?? ii EXHEQH得此一階馬爾可夫的信息熵為： ? 一階馬爾可夫信源的狀態(tài)圖如圖所示，信源 X的符號集為 {0,1,2}。如果 X1為a時，則 X2為 a、 b、 c的概率為 1/3；如果為 b時，則 X2為 a、 b、 c的概率為 1/3；如果 X1為 c時，則 X2為 a、 b的概率為 1/2，為 c的概率為 0。所以其概率為 P(A∣ B) ? 根據(jù)貝葉斯定律可得P(A∣ B)=P(AB)/P(B)=P(A)P(B∣ A)/P(B)=*? 則得知“身高 ”這消息，能獲得的信息量 ? I(A∣ B)= log2P（ A∣ B） =log2（ 1/） ≈ 習題 ? 設離散無記憶信源 其發(fā)出的消息為（ 202120220213001203210110321010021032022223210），求 （ 1）此消息的自信息是多少？ （ 2）在此消息中平均每個符號攜帶的信息量是多少？ 解 （ 1） I=14I（ a1=0） +13I（ a2=1） +12I（ a3=2） +6I（ a4=3）≈ （ 2） I=≈ /符號 （ 3）此信源平均每個符號攜帶多少信息量？ 比特 /符號 ? ? ?????? ??????????? 8/1 34/1 24/1 18/3 0 4321 aaaaxP X? ? ? ? ? ? g41??? ??iii aPaPXH習題 ? 從大量統(tǒng)計資料知道，男性紅綠色盲的發(fā)病率為 7%，女性發(fā)病率為 %，如果你問一位男同志：“你是否是紅綠色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含有多少信息量？平均每個回答中含有多少信息量？如果你問一位女同志，則答案中含有的平均自信息量是多少？ ? 對于男性 ? 對于女性 ? ? b i tBH 0 4 %*%%*% ???? ? b itI %7/1lo g1 ??? ? ? b itI %93/1lo g2 ???? ? 3 ?AH習題 ? 每幀電視圖像可以認為是由 3*105個像素組成，所以像素均是獨立變化的，且每一像素又取 128個不同的亮度電平，并設亮度電平等概率出現(xiàn)。 26個英文字母再加 1個空格 等概率無記憶： H0=（比特 /符號） 非等概率： H1= （比特 /符號） 一階馬爾可夫： H2=（比特 /符號） 二階馬爾可夫： H3=（比特 /符號） H∞= （比特 /符號） 0????? ? ?? HH例題 2 ? 漢語信源 ? 近似后 ? 漢語信源剩余度為 漢字）（比特 / o g 420 ??H? ? 符號）（比特 / og1 0 0 01??? ??iii PPXH? ? 2 0???HXH?課后習題 ，當?shù)弥皟慎蛔用娉宵c數(shù)之和為 2”或“面朝上點數(shù)之和為 8”或“兩骰子面朝上點數(shù)是 3和 4”時，試問這三種情況分別獲得多少信息量？ ? ? ? ? o gl o g 22 ???? APAI? ? ? ? 536l o gl o g22 ???? BPBI? ? ? ? o gl o g 22 ???? CPCI習題 ? 如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量？（假設已知星期一至星期日的排序） P（ A） =1/7， I（ A） = P（ B） =1， I（ B） =0 習題 ? 居住在某地區(qū)的女孩中有 25%是大學生，在女大學生中有 75%是身高 ，而女孩中身高 。 ? 減少信源剩余度可以提高信息傳輸效率；而增加剩余度可以提高信息傳輸抗干擾能力。所以 信息熵與剩余度成反比關系 。 ? 為了衡量信源符號間的依賴程度，我們把離散平穩(wěn)有記憶信源的極限熵 H∞與該信源等概率分布時所達到的最大熵值 H0之比定義為該信源的“相對熵率/熵的相對率”： 0HH???續(xù) ? 而把 1減去相對熵率所得之差定義為該信源的剩余度 /冗余度： ? 信源的剩余度大小反映了離散信源輸出的符號序列中符號之間依賴關系的強弱。 信源剩余度 ? 信源剩余度的定義 ? 對于平穩(wěn)的 m階 M信源，可以用 m階 M信源的平均信息熵 Hm+1(X)來近似的表示實際信源熵 H∞(X)。相關程度越大，信源的實際熵越小，趨于極限熵 H∞(X)；相關程度越小，信源實際熵就越大。用來衡量信源的相關性程度。所以， 一般平穩(wěn)信源可以用 m階馬爾可夫信源來近似 。 ? 但當時齊、遍歷的馬爾可夫信源達到穩(wěn)定后，這時才可以看成一個平穩(wěn)信源。然后，下一單位時間輸出的隨機變量 X2與 X1有依賴關系，他們的依賴關系由條件概率表示。信源開始時。 時齊、遍歷馬爾可夫狀態(tài)鏈的極限概率 ? ? ? ? ? ?ijiEj EQEEPEQ ???jE? ? 1iE??? EiEQ? ?iEQ 是時齊、遍歷馬爾可夫狀態(tài)鏈的 極限概率 滿足： 時齊、遍歷的馬爾可夫信源的熵 ? ? ? ? ? ?ikikq1iq1ki Eal o g PEaPEQm? ?? ???? ? ? ?iqii EXHEQHm??? ?1時齊、遍歷的 m階馬爾可夫信源的熵 ? ? ? ? ? ?????? ???mq12111m xHHHiiimm EXHEQxxx ? 對于時齊、遍歷的 m階馬爾可夫信源，因為其任何時刻輸出的符號只與前 m個符號有關，所以，信源所處的狀態(tài)就是由前 m個符號組成的。 ? 信源處于某狀態(tài) Ei時，輸出一個信源符號所攜帶的平均信息量，即在狀態(tài) Ei下輸出一個符號的條件熵為： ? ? ? ? ? ?????q1kikiki Eal o g PEaPEsXH一般馬爾可夫信源的信息熵 H∞= H∞(X)= 令： 對于一般馬爾可夫信源，此極限與初始狀態(tài)概率分布