【正文】 信源剩余度為 漢字）（比特 / o g 420 ??H? ? 符號）（比特 / og1 0 0 01??? ??iii PPXH? ? 2 0???HXH?課后習題 ，當?shù)弥皟慎蛔用娉宵c數(shù)之和為 2”或“面朝上點數(shù)之和為 8”或“兩骰子面朝上點數(shù)是 3和 4”時，試問這三種情況分別獲得多少信息量？ ? ? ? ? o gl o g 22 ???? APAI? ? ? ? 536l o gl o g22 ???? BPBI? ? ? ? o gl o g 22 ???? CPCI習題 ? 如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量？（假設已知星期一至星期日的排序） P（ A） =1/7， I（ A） = P（ B） =1， I（ B） =0 習題 ? 居住在某地區(qū)的女孩中有 25%是大學生，在女大學生中有 75%是身高 ，而女孩中身高 。 解答 3 ? 求信源處于某一狀態(tài)下輸出符號的條件熵 ? ? ? ? ? ? 3,2,1l og31??? ??jsaPsaPSXHkjkjkj? ? ? ? ? ? 符號比特 / og4141l og4121l og21l og31 111??????? ??k kksaPsaPSXH? ? ? ? ? ? 符號比特 /121,21,0l og31 222?????????? ??HsaPsaPSXHk kk? ? ? ? ? ? ? ? 符號比特 /00,0,1l og31 333???? ??HsaPsaPSXHk kk解答 4 ? 馬爾可夫信源熵 ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ?符號比特 /7601737233221131??????????? ???sXHsQsXHsQsXHsQsXHsQHjjj習題 ? 黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白 }，設黑色出現(xiàn)的概率為 P（黑） =，白色出現(xiàn)的概率 P（白） =。 連續(xù)信源和波形信源 連續(xù)信源的定義 ? 用連續(xù)隨機變量描述輸出消息的信源稱為連續(xù)信源。連續(xù)變量的信息測度就可以用離散變量的信息測度來逼近。 我們可以定義兩個連續(xù)變量 X、 Y的聯(lián)合熵和條件熵： ? 聯(lián)合熵： h(XY) = － R P(xy) logP(xy) dx dy ? 條件熵： h(Y/X) = － R P(xy) logP(y/x) dx dy = － R P(x)P(y/x) logP(y/x) dx dy h(X/Y) = － R P(x)P(y/x) logP(x/y) dx dy 連續(xù)信源熵的性質(zhì) ? 可加性 h(XY) = h(X) + h(Y/X) = h(Y) + h(X/Y) 另外還有： h(X) ≤ h(X/Y) h(Y) ≤ h(Y/X) h(XY) ≤ h(X) + h(Y) 當且僅當 X與 Y統(tǒng)計獨立時，上述三式等號成立。已知，在離散信源中若有確定的一一對應變換關系，則變化后信源的熵是不變的。 。 ? 變換性 連續(xù)信源輸出的隨機變量（或隨機矢量）通過確定的一一對應變換，其差熵會發(fā)生變化。 既然有限的 h(X)不能代表連續(xù)信源的平均不確定性的大小，也不能代表連續(xù)信源輸出的信息量，那么 為什么要定義連續(xù)信源的熵 h(X)呢？ 為了與離散信源的熵在形式上 統(tǒng)一 起來 ? 離散： H(X) = － ∑Pi logPi ? 連續(xù)： h(X) = － P(x) logP(x) dx 在實際問題中常常討論的是熵之間的差值，如果這兩個連續(xù)信源在離散逼近時所取的間隔△一致，則兩個無限大的項將互相抵消。 X P ＝ R P(x) RP ( x ) d x 1??? 根據(jù)離散化原則，連續(xù)變量 X可量化分層后用離散變量描述，來近似地逼近連續(xù)變量，即認為連續(xù)變量是離散變量的特殊情況。 信息熵正是反映信源的平均不確定性的大小。 ? 試用馬爾可夫信源的圖示法畫出狀態(tài)轉移圖，并計算次信源的熵 ? ? ? ?121 XXPXXP ii ???H解答 1 ? 根據(jù)狀態(tài)轉移圖，設狀態(tài)極限概率分別為 P（a）、 P（ b）和 P（ c），根據(jù)切普曼 柯爾莫哥洛夫方程有： 解答 2 ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?????????????????????13131213131213131cQbQaQbQaQcQcQbQaQbQcQbQaQaQ? ? ? ?? ?41,83???cQbQaQ解得：? ? ? ? ? ?符號比特 /4 3 ?? ?? ii EXHEQH得此一階馬爾可夫的信息熵為： ? 一階馬爾可夫信源的狀態(tài)圖如圖所示，信源 X的符號集為 {0,1,2}。 ? 減少信源剩余度可以提高信息傳輸效率；而增加剩余度可以提高信息傳輸抗干擾能力。相關程度越大，信源的實際熵越小，趨于極限熵 H∞(X)；相關程度越小，信源實際熵就越大。然后，下一單位時間輸出的隨機變量 X2與 X1有依賴關系，他們的依賴關系由條件概率表示。 ? 這串狀態(tài)序列是時齊的馬爾可夫鏈，其在任何時刻 l，狀態(tài)之間的轉移可由一步轉移概率確定。 P(xkN|xk1xk2…x k(N－ 1)) = P(xkN|xk(N－ m) xk(N－ m+1) …x k(N－ 1)) （ m階 M信源） = P(xk(m+1)|xk1xk2 …x km) 其中： k1, k2, … , k m, … , k N = 1, 2, …, q m階馬爾可夫信源 ? 對 m階 M信源的數(shù)學描述為： 當 m=1時，任何時刻信源符號發(fā)出的概率只與前面一個符號有關，則稱為一階馬爾可夫信源。 ? Pij(l)=P(sl=Ej|sl1=Ei)是假設第 (l1)時刻信源處于 Ei狀態(tài)，在下一時刻狀態(tài)轉移到 Ej的狀態(tài)轉移概率。 ? H0(X) ≥ H1(X) ≥ H2(X) ≥ … ≥ H ∞(X) 其中： H0(X)為等概率無記憶信源的單個符號的熵； H1(X)為一般（不等概率）無記憶信源的單個符號的熵； … 依次類推。 ? H(X1) ≥ H(X1 / X2)； H(X2) ≥ H(X2 / X1) 條件熵小于無條件熵 離散二維平穩(wěn)信源 ? 近似等效為新的離散無記憶信源 [X1X2] ? 根據(jù)定義可以求出信息熵 ? ? ? ? ? ? ? ?? ? 1,21 112111121???????????????? ?? ??qiqjiiijijiqqqqaaPaaPaPaaPaaaaaaaaxxPXX ?聯(lián)合熵 ? ? ? ? ? ?? ?? ???qiqjjiji aaPaaPXXH1 121 l o g 表示原來信源 X輸出任意一對可能的消息的共熵，可用 1/2H(X1X2)作為二維離散平穩(wěn)信源 X的信息熵的近似值 條件熵 ? 符號之間有依賴性，可以求得已知前面一個符號 X1=ai時，信源輸出下一個符號的平均不確定性 ? 已知前面符號為 X1=ai時，信源再輸出一個符號的平均不確定性應是對全部可能的符號 aj的不確定性求統(tǒng)計平均。 ? 平穩(wěn)隨機序列就是 序列的 統(tǒng)計特性 與時間無關 ，即信源所發(fā)出符號 序列的 概率分布 與時間起點無關 。 ? 我們用 N重概率空間來描述離散無記憶信源 X的 N次擴展信源，一般記為 XN ? 信源 X的 N次擴展信源 XN是具有 qN個符號序列的離散信源，其 N重概率空間為： N 1212XP ( ) ( ) ( )PNNqqp p p? ? ?? ? ????????????????? ?? ??X11Nqiip???新信源（擴展信源） 其中每個 αi對應于一個由 N個 ai組成的序列。 ? 但是離散無記憶信源輸出的消息是一串符號序列（用隨機矢量描述）。 研究 ? 101001110001100000101000000 ? H(1 , 0 ) = H(1 , 0 , 0 ) = H(1 , 0 , 0 ….0 ) = 0 ? 確知事件，不存在不確定度，則 H(X ) = 0 可加性 ? 兩個統(tǒng)計獨立的 信源 X和 Y的聯(lián)合信源的熵等于這兩個信源的獨立熵之和。另一種是晴、陰、小雨和大雨出現(xiàn)的概率都相等，為 1/4。 例題 2 設信源 X只有兩個符號 x1和 x2 ，出現(xiàn)的概率分別為 P(x1)=q， P(x2)=(1－ q) ，求信源熵。 如果摸出紅球，那么這一事件的自信息量為： I (x1) = － log P (x1) = － log bit 如果摸出白球，那么這一事件的自信息量為： I (x2) = － log P (x2) = － log bit X P ＝ x1 x2 ? 如果每次摸出一個球又放回去，再進行第二次摸取，那么如此摸取 n次，紅球出現(xiàn)的次數(shù)為 nP(x1) 次 ，白球出現(xiàn)的次數(shù)為 nP(x2) 次，則摸 n次后總共提供的信息量為： nP(x1)I(x1) + nP(x2)I(x2) ? 平均每摸取一次所獲得的信息量為： H(X) = [ nP(x1)I(x1) + nP(x2)I(x2) ] 247。 （二） 不確定度 d(ai)與 自信息量 I(ai) ? 兩者的聯(lián)系 ? 數(shù)值上相等，單位也相等，但含義不同。 ? 我們需在 N維隨機矢量的聯(lián)合概率分布中 ， 引入條件概率分布來說明它們之間的關聯(lián) 。 可見 ，N次擴展信源是由離散無記憶信源輸出 N長的隨機序列構成的信源 。 ? 若在信源輸出的隨機序列 X= (Ｘ １ ， Ｘ ２ ， … ， Ｘ Ｎ )中 ， 每個隨機變量 Xi (i=1,2,… ， N)都是取值離散的離散型隨機變量 ， 即每個隨機變量Xi的可能取值是有限的或可數(shù)的；而且隨機矢量 X的各維概率分布都與時間起點無關 ， 也就是在任意兩個不同時刻隨機矢量 X的各維概率分布都相同 。 ? 信道的輸入端與輸出端對應，都是一個由同樣個數(shù)的符號所組成的符號序列代表的消息。 ? 它是最簡單 、 最基本的信源 ， 是組成實際信源的基本單元 。 ? 一般使用一個樣本空間及其概率測度 —— 概率空間 （ 信源空間 ） 來描述信源 ， 此概率空間也稱為信源的數(shù)學模型 。 ? 2） 信源的主要特性 ? 信源的最基本的特性是具有 統(tǒng)計不確定性 ， 即信源發(fā)出的消息是不確定的 、 隨機的 ， 因此可以用隨機變量 、 隨機矢量或隨機過程來描述信源輸出的消息 。 二、離散信源的數(shù)學模型 （ 一 ） 單消息 （ 符號 ） 信源 ? 信源可能輸出的符號集的取值是有限的或可數(shù)的 ， 而且每次只輸出其中一個符號代表一個消息 。 ? 又叫作離散信源的 N次擴展。 很多實際信源也滿足這個假設 。 ? 信源輸出的隨機矢量 X=(X１ X２ … XＮ ） 中 ， 各隨機變量 Xi (i=1,2,… N)之間是無依賴的 、 統(tǒng)計獨立的 ， 則 N維隨機矢量的聯(lián)合概率分布滿足： 1 1 2 2 N NP ( X ) P ( X ) P ( X ) P ( X )?離散無記憶信源 X的 N次擴展信源 ? 我們把這信源 X所輸出的隨機矢量 X所描述的信源稱為 離散無記憶信源 X的 N次擴展信源 。 這種信源稱為 有記憶信源 。 底數(shù) a的值 單位名稱 a = 2 bit (binary unit)比