【正文】 111XHppppqiiqiiiqiiNN?????????? ??????同理計(jì)算式中其余各項(xiàng)，得到： H(XN) = H(X)+H(X)+…… +H(X)= N H(X) 證： [例 ] 求如下離散無(wú)記憶信源的二次擴(kuò)展信源及其熵。 ? 新信源輸出的 符號(hào) 是 N維離散 隨機(jī)矢量 X =(X1，X2,…… ,XN)，其中每個(gè)分量 Xi (i＝ 1,2,… ,N)都是隨機(jī)變量，它們都取值于同一信源符號(hào)集，并且分量之間統(tǒng)計(jì)獨(dú)立，則由隨機(jī)矢量 X 組成的新信源稱為 離散無(wú)記憶信源 X的 N次擴(kuò)展信源。 離散無(wú)記憶信源的擴(kuò)展信源 ? 一般情況下，對(duì)一個(gè)離散無(wú)記憶信源 X，其樣本空間為 {a1,a2, … ,aq} ，對(duì)它的輸出 消息序列 ，可用一組組長(zhǎng)度為 N的序列來(lái)表示它。 ? 例如在電報(bào)系統(tǒng)中，若信源輸出的是二個(gè)二元數(shù)字組成的符號(hào)序列，此時(shí)可認(rèn)為是一個(gè)新的信源，它由四個(gè)符號(hào)（ 00， 01， 10， 11）組成，我們把該信源稱為 二元無(wú)記憶信源的二次擴(kuò)展信源 。 ? 它表示：對(duì)任意概率矢量 P1＝ (p1,p2, … ,pq )和P2＝ (p’1,p’2, … ,p’q)，和任意的 0＜ ?＜ 1，有： H[? P1十 (1 ?)P2] ＞ ? H(P1)十 (1?)H(P2) ? 因?yàn)殪睾瘮?shù)具有上凸性，所以熵函數(shù)具有極值，其最大值存在。 ?取值于 [0， 1]區(qū)間，可畫(huà)出熵函數(shù) H(?) 的曲線來(lái)，如右圖所示。 該信源符號(hào)只有二個(gè)，設(shè)為 “ 0”和 “ 1”。 ? 這是一個(gè)很重要的結(jié)論，稱為 最大離散熵定理。 ),(...),(),(11121232222212?????????????????????????nniinnniinnniiniiniiniiniiniippppHpppppHpppH),...,()(),(),...,(223221221221????????????? niinniiniinniiniinnppppppHpppHpppH極值性 (定理 ) ? 在離散信源情況下，信源各符號(hào) 等概率分布 時(shí)，熵值達(dá)到最大。這樣，可使 多元信源的熵函數(shù)的計(jì)算簡(jiǎn)化成計(jì)算若干個(gè)二元信源的熵函數(shù) 。 熵的增加量等于由分割而產(chǎn)生的不確定性量。 H（ XY） =H（ X） + H（ Y/X） ? H（ Y/X）表示信源 X 輸出一符號(hào)的條件下，信源 Y再輸出一符號(hào)所能提供的平均信息量，稱為 條件熵 。 H(XY) = H(X)+ H(Y) ? 可加性是熵函數(shù)的一個(gè)重要特性，正因具有可加性，才使熵函數(shù)的形式是唯一的。 擴(kuò)展性 ? 性質(zhì)說(shuō)明： 信源的取值數(shù)增多時(shí)，若這些取值對(duì)應(yīng)的概率很小 (接近于零 )，則信源的熵不變。以后可看到在相對(duì)熵的概念下，可能出現(xiàn)負(fù)值。只有當(dāng)隨機(jī)變量是一確知量時(shí)熵才等于零。 ? [例 ] ???????????????????????????????????????6/12/13/1)( ,3/12/16/1)( ,2/16/13/1)(321321321 aaazPzaaayPyaaaxPx)/()21,61,31()( S y mb o lB i tHXH ??)/(4 5 )31,21,61()( S y ml o bB i tHYH ??)/(4 5 )61,21,31()( S y mb o lB i tHZH ??)()()( ZHYHXH ??確定性 ： H(1,0)=H(1,0,0)=H(1,0,0… ,0)=0 ? 性質(zhì)說(shuō)明 ：從總體來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其它符號(hào)則是幾乎不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其熵等于零。 ? 說(shuō)明： 從數(shù)學(xué)角度： H(P)=? pi 性質(zhì)： 對(duì)稱性 ： H(P) 的取值與分量 p1, p2 , ? 若當(dāng) q =2 時(shí)，因?yàn)? p1+p2 = 1, 所以將兩個(gè)符號(hào)的熵函數(shù)寫(xiě)成 H(p1)或 H(p2)。 一般 H(X)可寫(xiě)成： ),())(,),(),(( 2121 qq pppaPaPaP ????????P ),2,1(0,11qipp iqii ????????iqiiiqii ppaPaPXH ????????11l og)(l og)()()(),( 21 PHpppH q ?????熵函數(shù) ? H(P)是概率矢量 P的函數(shù)，稱為熵函數(shù)。這個(gè)矩函數(shù)的大小，與信源的符號(hào)數(shù)及其概率分布有關(guān)。 因?yàn)?，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。 甲地極端情況 ? 極端情況 1：晴天概率＝ 1 ?????????????0001小雨大雨陰晴)( xPX0l o g00l o g00l o g01l o g1)( ?????????XH)/(0)(0l o glim 0 符號(hào)b i tXH ???? ?????????????????1 / 41 / 41 / 41 / 4小雨大雨陰晴)( xPX)/(241l o g4141l o g4141l o g4141l o g41)( 符號(hào)b i tXH ??????????? 結(jié)論 ： 等概率分布 時(shí)信源的不確定性最大，所以 信息熵 （平均信息量） 最大 。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／ 4。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。 [例 ] 設(shè)甲地的天氣預(yù)報(bào)為：晴 (占 4／ 8)、陰 (占 2／ 8)、大雨(占 1／ 8)、小雨 (占 1／ 8)。 ? 在信源輸出后，信息熵 H(X)表示每個(gè)消息提供的平均信息量； ? 在信源輸出前，信息熵 H(X) 表示信源的平均不確定性； ? 信息熵 H(X) 表征了變量 X的隨機(jī)性。 H(X)的單位 ： r 進(jìn)制單位／符號(hào) （ r1） 熵的計(jì)算 [例 ]： 有一布袋內(nèi)放 l00個(gè)球，其中 80個(gè)球是紅色的，20個(gè)球是白色的。所以自信息 I(ai)是一個(gè)隨機(jī)變量 ， 不能用它來(lái)作為整個(gè)信源 的信息測(cè)度 。 解 ：收到某消息獲得的信息量 (即收到某消息后獲得關(guān)于某事件發(fā)生的信息量 ) ＝不確定性減少的量 ＝ (收到此消息前關(guān)于某事件發(fā)生的不確定性 ) (收到此消息后關(guān)于某事件發(fā)生的不確定性 ) 已知 8個(gè)燈泡等概率損壞，所以先驗(yàn)概率 P (x1)＝ 1/8 ，即 第二次測(cè)量 獲得的信息量 = I [P (x2)] I [P (x3)]=1(bit) 第三次測(cè)量 獲得的信息量 = I [P (x3)] =1(bit) ?至少要獲得 3個(gè)比特的信息量就可確切知道哪個(gè)燈泡已壞了。 ? 可以證明 對(duì)數(shù)函數(shù) 滿足上述條件： )(1l o g)]([)(irii aPaPfaI ??一 . 自信息 ? 設(shè)離散信源 X的概率空間為： )(l o g)(1l o g)]([)( iririi aPaPaPfaI ????I(ai)代表兩種 含義 ： （ 1） 當(dāng)事件 ai發(fā)生以前，表示事件 ai發(fā)生的不確定性 （ 2）當(dāng)事件 ai發(fā)生以后，表示事件 ai所提供的信息量 ?????????????)(......)()()(......)( 321321qqaPaPaPaPaaaaxPX 1)(1???qiiaP? 稱事件 ai發(fā)生所含有的信息量為 ai 的 自信息量 。即： I (ai) ＝ f [ p(ai)] ? 根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù) f [ p(ai)] 應(yīng)滿足以下條件： （ 1）它應(yīng)是先驗(yàn)概率 p(ai)的單調(diào)遞減函數(shù)，即當(dāng) p (a1) p (a2) 時(shí)，有 f [ p (a1)] f [ p (a2) ] ； （ 2）當(dāng) p (ai) =1時(shí)， f [ p (ai)] = 0 （ 3）當(dāng) p (ai) =0時(shí)， f [ p (ai)] = ? （ 4）兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。 ? 數(shù)學(xué)模型 ：連續(xù)型的概率空間。 連續(xù)信源 ? 特點(diǎn) ：輸出是單個(gè)符號(hào)（代碼）的消息， 輸出消息的符號(hào)集 A的取值是連續(xù)的，可用一維的連續(xù)型隨機(jī)變量 X 來(lái)描述。 ? 例： 投硬幣、書(shū)信、電報(bào)符號(hào)等等。要研究信息，還得從研究消息入手。第 1章 熵和互信息量 ?本章介紹 ? 信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型 ? 各類(lèi)信源的信息測(cè)度 熵及其性質(zhì) ? 引入信息理論的一些基本概念和重要結(jié)論 ? 通信系統(tǒng)模型： 信源 編碼器 信道 譯碼器噪聲源信宿干擾消息 信號(hào)信號(hào)＋干擾消息? 對(duì)信息論的學(xué)習(xí)可從信源開(kāi)始 ? 消息是信息的載荷者。信息是抽象的，消息是具體的。 ? 由于信源發(fā)送什么消息預(yù)先是不可知的，只能用概率空間來(lái)描述信源 信源的數(shù)學(xué)模型及分類(lèi) ? 單符號(hào)信源 ： 輸出是單個(gè)符號(hào)（代碼）的消息 ? 離散信源 ? 連續(xù)信源 ? 平穩(wěn)隨機(jī)序列信源 ： 信源輸出的消息由一系列符號(hào)序列所組成，可用 N維隨機(jī)矢量 X＝ (X1,X2,…,X N)描述，且隨機(jī)矢量 X 的各維概率分布都與時(shí)間起點(diǎn)無(wú)關(guān) 平穩(wěn)！ ? 離散平穩(wěn)信源 ? 連續(xù)平穩(wěn)信源 ? 無(wú)記憶（獨(dú)立）離散平穩(wěn)信源 ? 有記憶信源 ? m階馬爾可夫信源 ? 隨機(jī)波形信源 離散信源 (單符號(hào) ) ? 特點(diǎn) ： 輸出是單個(gè)符號(hào)（代碼）的消息，符號(hào)集的取值 A:{a1,a2,…,a q}是有限的或可數(shù)的，可用一維離散型隨機(jī)變量 X來(lái)描述。 ? 數(shù)學(xué)模型 ： 設(shè)每個(gè)信源符號(hào) ai出現(xiàn)的 (先驗(yàn) )概率 p(ai) (i=1,2,…, q) 滿足： ?????????????)(......)()()(......)(則321321qqaPaPaPaPaaaaxPX：1)(1???qiiap?概率空間 能表征離散信源的統(tǒng)計(jì)特性，因此也稱概率空間為信源空間。 ? 例：語(yǔ)音信號(hào)、熱噪聲信號(hào)、遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測(cè)得的連續(xù)數(shù)據(jù)等等。即： ?????????????)()