【正文】 2/8）、大雨（ 1/8）和小雨（ 1/8）。又設(shè)某乙地的天氣預(yù)報(bào)為晴（ 7/8）、小雨占（ 1/8）。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為 1而其余為 0。另一種是晴、陰、小雨和大雨出現(xiàn)的概率都相等，為 1/4。試求這兩種極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩種極端情況所提供的平均信息量。 熵的性質(zhì) 非負(fù)性 對(duì)稱性 確定性 可加性 極值性 H(X/Y) ≤ H(X)； H(Y/X) ≤ H(Y) H(XY) ≤ H(X) + H(Y) 續(xù) 非負(fù)性 ? 離散 信源熵的值不會(huì)小于 0，即 H(X) ≥ 0。 ? 只有當(dāng)隨機(jī)變量是一個(gè)確知量 （ P(xi) = 1） 時(shí)等號(hào)才成立。 對(duì)稱性 ? 當(dāng)變量 P的順序任意互換后， H(X)的值不變，即 H(P1 , P2 , P3 …. P n ) = H(P2 , P3 , P4 …. P n , P1 ) ? 該性質(zhì)表明：信源熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，即與信源的總體統(tǒng)計(jì)特性有關(guān)。 ? 如果兩個(gè)信源的總體統(tǒng)計(jì)特性相同（含有的符號(hào)數(shù)和概率分布相同），那么兩個(gè)信源就是相同的。 續(xù) 確定性 ? 只要信源符號(hào)集中有一個(gè)符號(hào)出現(xiàn)的概率為 1，那么信源熵就等于零。 ? H(1 , 0 ) = H(1 , 0 , 0 ) = H(1 , 0 , 0 ….0 ) = 0 ? 確知事件，不存在不確定度，則 H(X ) = 0 可加性 ? 兩個(gè)統(tǒng)計(jì)獨(dú)立的 信源 X和 Y的聯(lián)合信源的熵等于這兩個(gè)信源的獨(dú)立熵之和。 H(XY) = H(X) + H(Y) ? 強(qiáng)可加性 兩個(gè)互相關(guān)聯(lián)的 信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上 X已知條件下信源 Y的條件熵。 H(XY) = H(X) + H(Y/X) 續(xù) 極值性 ? 當(dāng)且僅當(dāng)離散信源的各個(gè)符號(hào)以等概率出現(xiàn)時(shí)，熵最大。 ? H(X) ≤ H(1/m, 1/m…..1/m) = log m 條件熵小于無(wú)條件熵 ? H(X/Y) ≤ H(X)； H(Y/X) ≤ H(Y) ? 上式說(shuō)明：條件熵不可能大于信源熵，因?yàn)樾潘奘盏椒?hào)集Y后，對(duì)信源 X的平均不確定度下降了，它所能提供的信息量也必然下降，只有當(dāng) X與 Y相互獨(dú)立時(shí)（即 Y沒(méi)有提供有關(guān)X的任何信息），有 H(X/Y) ＝ H(X)； H(Y/X) ＝ H(Y) 聯(lián)合熵與信源熵滿足以下不等式 ? H(XY) ≤ H(X) + H(Y)；僅當(dāng) X與 Y相互獨(dú)立時(shí)等號(hào)成立。 離散序列信源的熵 實(shí)際情況 ? 最簡(jiǎn)單的離散信源每次輸出的只是單個(gè)符號(hào)的消息。 ? 很多實(shí)際信源輸出的消息是時(shí)間或空間上的一系列符號(hào)。 ? 例如電報(bào)系統(tǒng)，發(fā)出的是一串有、無(wú)脈沖的信號(hào)（有脈沖用“ 1”表示，無(wú)脈沖用“ 0”表示），這個(gè)電報(bào)系統(tǒng)就是二元信源。輸出的消息是一串“ 0”或“ 1”的序列。 研究 ? 101001110001100000101000000 ? 將信源輸出的序列看成是一組一組發(fā)出的 ? 二元無(wú)記憶信源的 N次擴(kuò)展信源（每 N個(gè)二元數(shù)字一組） 推廣 ? 離散無(wú)記憶信源的數(shù)學(xué)模型與最簡(jiǎn)單的離散信源的數(shù)學(xué)模型基本相同，可用 【 (X)】 概率空間描述。 ? 但是離散無(wú)記憶信源輸出的消息是一串符號(hào)序列（用隨機(jī)矢量描述）。 離散無(wú)記憶信源 X的信源空間 ? ? ?????????????qqpapapax . .. ,. .. ,,PX22111pq1ii ???描述 ? 該信源輸出的消息是一組長(zhǎng)度為 N的符號(hào)序列，可用 N維隨機(jī)矢量來(lái)描述，寫成： X = (X1 X2 X3 … XN)。 ? 其中序列中每個(gè)分量 Xi（ i=1， 2， ， N）都是隨機(jī)變量，且各個(gè)分量之間統(tǒng)計(jì)獨(dú)立（即無(wú)記憶、相互獨(dú)立），取于同一信源。 ? 隨機(jī)矢量的聯(lián)合概率分布等于隨機(jī)矢量中各個(gè)隨機(jī)變量的概率乘積。 離散無(wú)記憶信源 X的 N次擴(kuò)展信源 ? 由上述隨機(jī)矢量 X所組成的新信源稱為“離散無(wú)記憶信源 X的 N次擴(kuò)展信源”，或者“ N重符號(hào)序列離散無(wú)記憶信源”。 ? 我們用 N重概率空間來(lái)描述離散無(wú)記憶信源 X的 N次擴(kuò)展信源，一般記為 XN ? 信源 X的 N次擴(kuò)展信源 XN是具有 qN個(gè)符號(hào)序列的離散信源，其 N重概率空間為： N 1212XP ( ) ( ) ( )PNNqqp p p? ? ?? ? ????????????????? ?? ??X11Nqiip???新信源（擴(kuò)展信源） 其中每個(gè) αi對(duì)應(yīng)于一個(gè)由 N個(gè) ai組成的序列。 根據(jù)該信源的無(wú)記憶性（彼此統(tǒng)計(jì)獨(dú)立） 若 αi = (ai1, ai2, ai3 … aiN) 則 P(αi ) = P (ai1 ai2 ai3 … aiN) = P (ai1) P (ai2) … P (aiN) = Pi1 Pi2 … PiN 其中 i1, i2 … iN= 1, 2 … q 擴(kuò)展信源的信息熵 ? 根據(jù)信息熵的定義， N次擴(kuò)展信源的熵： H(X) = H(XN) = － ∑P(X) logP(X) ? ? ? ?iqiiXPPNN?? lo g1??????? P(X) logP(X) 例題 【 例 】 有一離散無(wú)記憶信源： 求這個(gè)離散無(wú)記憶信源的二次擴(kuò)展信源的序列熵（ N = 2）。 ? ? ?????????????413412211, aaaXPX ???311iip分析 ? 擴(kuò)展信源的每個(gè)符號(hào)是信源 的輸出長(zhǎng)度為 2的符號(hào)序列 ? 二次擴(kuò)展信源共有 9個(gè)不同的符號(hào)（信源有 3個(gè)不同的符號(hào)，所以信源中每?jī)蓚€(gè)符號(hào)組成的不同排列共有 32=9種） ? 無(wú)記憶信源滿足 X? ? ? ?3,2,1, 2121 ??? iippP iii? X2信源的符號(hào) 對(duì)應(yīng)的由兩個(gè)ai組成的符號(hào)序列 概率 p（ ） 1? 2? 3? 4? 5? 6? 7? 8? 9?11?? 21?? 31?? 12?? 22?? 32?? 13?? 23?? 33??i? 41 81 81 81 161 161 16116181離散無(wú)記憶信源二次擴(kuò)展的信源概率空間 解答 ? ? ? ? ? ?iii PPXH ?? l o g912 ????H（ X） = 代入可得： ? ? 32 ?XH發(fā)現(xiàn) H（ X） = ? ?32 ?XH? ?XH? ?XHH（ X） =2 = 結(jié)論 ? 可以證明：離散無(wú)記憶信源 X的 N次擴(kuò)展信源的熵等于離散信源 X的熵的 N倍， （見(jiàn)書 P42頁(yè)） ? 因此，信源的序列熵可表示為： H(X) = H(XN) = N H(X) 說(shuō)明 ? 已知每個(gè)信源符號(hào) ai含有的平均自信息量為 H（ X）， N個(gè) ai組成的平穩(wěn)無(wú)記憶序列平均含有的自信息量就為 NH（ X）。 （根據(jù)熵的可加性） ? 因此信源 XN每個(gè)輸出符號(hào) 含有的平均自信息量為 NH（ X）。 i?信源的序列熵可表示為： H(X) = H(XN) = N H(X) 平均每個(gè)符號(hào)的熵（平均符號(hào)熵） HN(X) = H(X) / N = N H(X) / N = H(X) ? 當(dāng)前后符號(hào)無(wú)依賴關(guān)系（無(wú)記憶）時(shí)，有以下推論： ? H(X1X2) = H(X1) + H(X2) ； ? H(X1 / X2) = H(X1) ； ? H(X2 / X1) = H(X2)。 ? 如果 X1和 X2都取自統(tǒng)一概率空間 X，且是平穩(wěn)的，則有： H(X1X2) ≤ 2H(X) 僅當(dāng) X1X2統(tǒng)計(jì)獨(dú)立時(shí)，有 H(X1X2) = 2H(X) 離散有記憶信源的序列熵 一般情況下，離散信源的輸出是空間或時(shí)間的離散符號(hào)序列，而且在序列中符號(hào)之間是有依賴關(guān)系的，信源在 t = i時(shí)刻將要發(fā)出什么樣的符號(hào)取決于 兩個(gè)方面： ? 與信源在 t = i 時(shí)隨機(jī)變量 xi的取值的概率分布 P(xi)有關(guān)。一般若 t 不同則概率分布也不同，即 P(xi) ≠ P(xj) ? 與 t = i 時(shí)刻以前信源發(fā)出的符號(hào)有關(guān)，即與條件概率 P(xi / xi1 xi2 …) 有關(guān)。一般若 t 不同則概率分布也不同，即 P(xi / xi1 xi2 …) ≠ P(x j / xj1 xj2 …) 以上所述的是一般隨機(jī)序列的情況，而它比較復(fù)雜，所以我們只討論 平穩(wěn)隨機(jī)序列 。 ? 平穩(wěn)隨機(jī)序列就是 序列的 統(tǒng)計(jì)特性 與時(shí)間無(wú)關(guān) ，即信源所發(fā)出符號(hào) 序列的 概率分布 與時(shí)間起點(diǎn)無(wú)關(guān) 。 ? 如果各維聯(lián)合分布均與時(shí)間起點(diǎn)無(wú)關(guān)，即當(dāng) t = i， t = j，其中 i、 j為任意整數(shù)，且 i≠j時(shí)有： (1) P(Xi) = P(Xj) (2) P(Xi Xi+1) = P(Xj Xj+1) (3) P(Xi Xi+1 Xi+2) = P(Xj Xj+1 Xj+2) …… (N) P(Xi Xi+1 … Xi+N－ 1) = P(Xj Xj+1 … Xj +N－ 1) (N+1) P(Xi Xi+1 … Xi+N) = P(Xj Xj+1 … Xi+N) 續(xù) ? 如果上述等式均成立，那么我們說(shuō)信源是 完全平穩(wěn)的 ，信源發(fā)出的序列也是完全平穩(wěn)的，這種 各維聯(lián)合分布均與時(shí)間起點(diǎn)無(wú)關(guān)的完全平穩(wěn)信源稱為“ 離散平穩(wěn)信源 ” 。 ? 如果僅滿足 (1)，則該信源稱為“一維平穩(wěn)信源”，表示無(wú)論在什么時(shí)刻信源均按 P(X)的概率分布發(fā)出符號(hào)Xi。 ? 如果滿足 (1)、 (2)，則該信源稱為“二維平穩(wěn)信源”，表示任何時(shí)刻信源發(fā)出的兩個(gè)符號(hào)的聯(lián)合概率分布完全相同。 ? 如果滿足 (1)、 (2) … (N) ，則該信源稱為“ N維離散平穩(wěn)有記憶信源 ”。所以， N維離散平穩(wěn)有記憶信源X=X1X2…X N的 各維聯(lián)合概率都是平穩(wěn)的 。 續(xù) 對(duì)于 N維離散平穩(wěn)有記憶信源，我們還得到： P(Xi) = P(Xj) P(Xi+1 / Xi ) = P(Xj+1 / Xj) P(Xi+2 / Xi Xi+1 ) = P(Xj+2 / Xj Xj+1 ) …… P(Xi+N / Xi Xi+1 … Xi+N1) = P(Xj+N / Xj Xj+1…. Xj+N1 ) 上面一系列等式表明： N維離散平穩(wěn)有記憶信源X=X1X2…X N的各維條件概率也是平穩(wěn)的。 二維離散平穩(wěn)信源及其信息熵 二維離散平穩(wěn)有記憶信源 二維離散平穩(wěn)有記憶信源 X=X1X2的信息熵（此處也叫序列熵、 聯(lián)合熵 ）： H(X) = H(X1X2) 有以下結(jié)論： ? H(X1X2) = H(X1) + H(X2 / X1) = H(X2) + H(X1 / X2) 信源的序列熵等于信源發(fā)出前一符號(hào) X1的信息熵加上前一符號(hào) X1已知時(shí)信源發(fā)出下一個(gè)符號(hào) X2的條件熵。 ? H(X1) ≥ H(X1 / X2)； H(X2) ≥ H(X2 / X1) 條件熵小于無(wú)條件熵 離散二維平穩(wěn)信源 ? 近似等效為新的離散無(wú)記憶信源 [X1X2] ? 根據(jù)定義可以求出信息熵 ? ? ? ? ? ? ? ?? ? 1,2