【正文】 個(gè)燈泡已損壞的平均不確定性。 例題 2 設(shè)信源 X只有兩個(gè)符號(hào) x1和 x2 ，出現(xiàn)的概率分別為 P(x1)=q， P(x2)=(1－ q) ，求信源熵。 例題 1 設(shè)離散信源含有 26個(gè)英文字母，且每個(gè)字母以等概率出現(xiàn)。 注意： ? 在 有噪聲 的情況下，信源熵并不等于平均獲得的信息量；只有在無噪聲的情況下，接收者才能正確無誤地接收到信源發(fā)出的全部消息。 ? 信源熵 H(X) 表示信源輸出后，平均每個(gè)消息或符號(hào)所能提供的信息量。 如果摸出紅球，那么這一事件的自信息量為： I (x1) = － log P (x1) = － log bit 如果摸出白球，那么這一事件的自信息量為： I (x2) = － log P (x2) = － log bit X P ＝ x1 x2 ? 如果每次摸出一個(gè)球又放回去，再進(jìn)行第二次摸取，那么如此摸取 n次，紅球出現(xiàn)的次數(shù)為 nP(x1) 次 ，白球出現(xiàn)的次數(shù)為 nP(x2) 次，則摸 n次后總共提供的信息量為： nP(x1)I(x1) + nP(x2)I(x2) ? 平均每摸取一次所獲得的信息量為： H(X) = [ nP(x1)I(x1) + nP(x2)I(x2) ] 247。 ? 對(duì)于特定的信源（即概率空間給定），其信源熵是一個(gè)確定的數(shù)值，不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。（注：數(shù)學(xué)期望就是隨機(jī)變量的 統(tǒng)計(jì) 平均值） ? 信息熵 H(X) = E[ I(X) ] = ∑P(xi ) I(xi ) = － ∑P(xi ) log P (xi) = ∑P(xi ) log [1/P (xi)] ? 單位為：比特 /符號(hào)（單符號(hào)信源）、比特 /符號(hào)序列（多符號(hào)信源） 。 ? 自信息量是用來消除不確定度的，消息只有被接收之后才有信息量，否則只有不確定度。 （二） 不確定度 d(ai)與 自信息量 I(ai) ? 兩者的聯(lián)系 ? 數(shù)值上相等，單位也相等，但含義不同。 離散信源的分類： 分類依據(jù)：前后符號(hào)之間的關(guān)系 馬爾可夫信源 平穩(wěn)序列信源 離散有記憶信源 平穩(wěn)無記憶信源 一般無記憶信源 離散無記憶信源 離散序列信源 離散信源的信息熵 信源空間 ： X P（ x） ＝ a1 a2 … a N p1 p2 … p N 一、離散消息的自信息量 （一） 自信息量 / 非平均自信息量 離散信源符號(hào)集合 A中的某一個(gè)符號(hào) ai作為一條消息發(fā)出時(shí)對(duì)外提供的信息量： I ? 自信息量的單位 ? 單位之間的關(guān)系 ： 1nit = ； 1 hart = 。 ? 當(dāng)記憶長度為 m+1時(shí) ， 稱這種有記憶信源為 m階 馬爾可夫信源 。實(shí)際上信源發(fā)出的符號(hào)往往只與前若干個(gè)符號(hào)的依賴關(guān)系強(qiáng) ， 而與更前面的符號(hào)依賴關(guān)系弱 。 ? 我們需在 N維隨機(jī)矢量的聯(lián)合概率分布中 ， 引入條件概率分布來說明它們之間的關(guān)聯(lián) 。 其他如英文 ， 德文等自然語言都是如此 。 例如 ， 在漢字組成的中文序列中 ， 只有根據(jù)中文的語法 、 習(xí)慣用語 、 修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章 。 有記憶信源 ? 一般情況下 ， 信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的 。 可見 ，N次擴(kuò)展信源是由離散無記憶信源輸出 N長的隨機(jī)序列構(gòu)成的信源 。 這類信源在不同時(shí)刻發(fā)出的符號(hào)之間是無依賴的 ， 彼此統(tǒng)計(jì)獨(dú)立的 ， 各個(gè)符號(hào)的出現(xiàn)概率是其自身的先驗(yàn)概率 。 也就是說發(fā)出的信源發(fā)出的符號(hào)是相互獨(dú)立的 ， 發(fā)出符號(hào)序列中各個(gè)符號(hào)之間也是相互獨(dú)立的 。 如中文自然語言文字 ，離散化平面灰度圖像都是這種離散型平穩(wěn)信源 。 ? 若在信源輸出的隨機(jī)序列 X= (Ｘ １ ， Ｘ ２ ， … ， Ｘ Ｎ )中 ， 每個(gè)隨機(jī)變量 Xi (i=1,2,… ， N)都是取值離散的離散型隨機(jī)變量 ， 即每個(gè)隨機(jī)變量Xi的可能取值是有限的或可數(shù)的；而且隨機(jī)矢量 X的各維概率分布都與時(shí)間起點(diǎn)無關(guān) ， 也就是在任意兩個(gè)不同時(shí)刻隨機(jī)矢量 X的各維概率分布都相同 。 為了便于分析 ， 我們假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列 ，也就是 序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無關(guān) 。 這 N維隨機(jī)矢量 X有時(shí)也稱為 隨機(jī) 序列 。 可以把這種信源輸出的消息看做時(shí)間上或空間上離散的一系列隨機(jī)變量 ，即為隨機(jī)矢量 。 ? 信道的輸入端與輸出端對(duì)應(yīng)，都是一個(gè)由同樣個(gè)數(shù)的符號(hào)所組成的符號(hào)序列代表的消息。 信源空間 ： 顯然有： X P（ x） ＝ a1 a2 … a N P(a1) P(a2) … P(a N) 例：對(duì)于二進(jìn)制數(shù)據(jù) 、 數(shù)字信源： X={0,1}，若這兩個(gè)符號(hào)是等概率出現(xiàn)的 ， 則有： X P（ x） ＝ a1 = 0 a2 = 1 P(a1) = P(a2) = （二）多符號(hào)離散信源 ? 是發(fā)出符號(hào)序列的信源 ? 信源每次發(fā)出一組含兩個(gè)以上信源符號(hào)的符號(hào)序列代表一個(gè)消息。 ? 當(dāng)信源給定 ， 其相應(yīng)的概率空間就已給定；反之 ， 如果概率空間給定 ， 這就表示相應(yīng)的信源已給定 。 這個(gè)隨機(jī)變量 X的樣本空間就是符號(hào)集 A={a1 a2 … aN}；而 X的 概率分布 就是各消息出現(xiàn)的 先驗(yàn)概率 ， 信源的概率空間必定是一個(gè)完備集 （ 即 ∑P＝ 1） 。 ? 它是最簡單 、 最基本的信源 ， 是組成實(shí)際信源的基本單元 。 ? 例如：語音信號(hào) 、 熱噪聲信號(hào) 、 圖像等等 。 ? 連續(xù)信源 ? 信源發(fā)出的消息在時(shí)間上和幅度上是連續(xù)分布的 。 ? 信源是由有限或無限個(gè)取值離散的符號(hào) 。 ? 一般使用一個(gè)樣本空間及其概率測(cè)度 —— 概率空間 （ 信源空間 ） 來描述信源 ， 此概率空間也稱為信源的數(shù)學(xué)模型 。 ? 實(shí)際通信中常見的信源有：語音 、 文字 、 圖像 、 數(shù)據(jù) … 。第二章 信源及信源熵 信源及信源熵 ? 信源的數(shù)學(xué)模型和分類 ? 離散信源熵和互信息 ? 離散序列信源的熵 ? 冗余度 ? 連續(xù)信源和波形信源 信源的數(shù)學(xué)模型和分類 信息論對(duì)信源研究的內(nèi)容： ? 信源的建模：用恰當(dāng)?shù)碾S機(jī)過程來描述信號(hào) ? 關(guān)心角度：信號(hào)中攜帶的信息 ? 信源輸出信號(hào)中攜帶信息的效率的計(jì)算 ? 熵率、冗余度 ? 信源輸出信息的有效表示 ? 信源編碼 ? 信息論不研究信源的內(nèi)部結(jié)構(gòu)，不研究信源為什么產(chǎn)生和怎樣產(chǎn)生各種不同的、可能的消息，而只研究信源的各種可能的輸出，以及輸出各種可能消息的不確定性。 信源特性與分類 ? 信源的統(tǒng)計(jì)特性 ? 1） 什么是信源 ？ ? 信源是信息的來源 ， 是產(chǎn)生消息 （ 符號(hào) ） 、 消息序列 （ 符號(hào)序列 ） 以及連續(xù)消息的來源 。 ? 2） 信源的主要特性 ? 信源的最基本的特性是具有 統(tǒng)計(jì)不確定性 ， 即信源發(fā)出的消息是不確定的 、 隨機(jī)的 ， 因此可以用隨機(jī)變量 、 隨機(jī)矢量或隨機(jī)過程來描述信源輸出的消息 。 一、離散信源和連續(xù)信源 ? 離散信源 ? 信源發(fā)出的消息在時(shí)間上和幅度上是離散分布的 。 ? 例如：投硬幣 、 書信文字 、 計(jì)算機(jī)的代碼 、 電報(bào)符號(hào) 、 阿拉伯?dāng)?shù)字碼等等 。 ? 信源符號(hào)集 A的取值是連續(xù)的 ， 或者取值為實(shí)數(shù)集（ － ∞， ＋ ∞） 。 二、離散信源的數(shù)學(xué)模型 （ 一 ） 單消息 （ 符號(hào) ） 信源 ? 信源可能輸出的符號(hào)集的取值是有限的或可數(shù)的 ， 而且每次只輸出其中一個(gè)符號(hào)代表一個(gè)消息 。 單符號(hào)離散信源的數(shù)學(xué)模型 ? 我們可用一維 離散型隨機(jī)變量 X來描述單符號(hào)離散信源輸出的消息 。 ? 該信源的數(shù)學(xué)模型就是離散型的概率空間 ， 我們 可以用信源取值隨機(jī)變量的范圍 X和對(duì)應(yīng)概率分布 P(x)共同組成的二元序?qū)?[X, P(x)]來表示 。 所以 ， 概率空間能表征這離散信源的統(tǒng)計(jì)特性 ， 因此有時(shí)也把這個(gè) 概率空間 稱為 信源空間 。 ? 又叫作離散信源的 N次擴(kuò)展。 平穩(wěn)信源 ? 很多實(shí)際信源輸出的消息往往是由一系列符號(hào)序列所組成的 。 這時(shí) ， 信源的輸出可用 N維 隨機(jī)矢量 X=(X１ ， X２ … XN)來描述 ， 其中 N可為有限正整數(shù)或可數(shù)的無限值 。 ? 一般來說 ， 信源輸出的隨機(jī)序列的統(tǒng)計(jì)特性比較復(fù)雜 ， 分析起來也比較困難 。 很多實(shí)際信源也滿足這個(gè)假設(shè) 。 這樣的信源稱為 離散平穩(wěn)信源 。 離散無記憶信源 ? 在某些簡單的離散平穩(wěn)信源情況下 ， 信源先后發(fā)出的一個(gè)個(gè)符號(hào)彼此是統(tǒng)計(jì)獨(dú)立的 。 ? 我們稱由信源空間 ［ X， P(x)］ 描述的信源 X為離散無記憶信源 。 ? 信源輸出的隨機(jī)矢量 X=(X１ X２ … XＮ ） 中 ， 各隨機(jī)變量 Xi (i=1,2,… N)之間是無依賴的 、 統(tǒng)計(jì)獨(dú)立的 ， 則 N維隨機(jī)矢量的聯(lián)合概率分布滿足： 1 1 2 2 N NP ( X ) P ( X ) P ( X ) P ( X )?離散無記憶信源 X的 N次擴(kuò)展信源 ? 我們把這信源 X所輸出的隨機(jī)矢量 X所描述的信源稱為 離散無記憶信源 X的 N次擴(kuò)展信源 。 ? 離散無記憶信源的 N次擴(kuò)展信源的數(shù)學(xué)模型是 X信源空間的 N重空間。 也就是信源輸出的平穩(wěn)隨機(jī)序列 X中 ， 各隨機(jī)變量 xi之間是有依賴的 。 所以 ， 在漢字序列中前后文字的出現(xiàn)是有依賴的 ， 不能認(rèn)為是彼此不相關(guān)的 。 這種信源稱為 有記憶信源 。 馬爾可夫信源 ? 表述有記憶信源要比表述無記憶信源困難得多 。為此 ， 可以限制隨機(jī)序列的記憶長度 。 也就是信源每次發(fā)出的符號(hào)只與前 m個(gè)符號(hào)有關(guān) ， 與更前面的符號(hào)無關(guān) 。 底數(shù) a的值 單位名稱 a = 2 bit (binary unit)比特 a = e nit (nature unit)奈特 a = 10 Hart (Hartly)哈特 【 例 】 設(shè)信源只有兩個(gè)符號(hào)“ 0”和“ 1”，且它們以消息的形式向外發(fā)送時(shí)均以等概率出現(xiàn)，求它們各自的自信息量。 ? 兩者的區(qū)別 ? 具有某種概率分布的隨機(jī)事件，不管其發(fā)生與否，都存在不確定度，不確定度是任何隨機(jī)事件 本身所具有的屬性 。 二、離散信息熵 —— 離散消息集合的平均不確定度 （一） 信息熵 ? 自信息量的數(shù)學(xué)期望值是信源的平均自信息量。 ? 信源熵 H(X) 是從平均意義上來表征信源的總體特征，可以表示信源的平均不確定度。 例 通過例子了解信息熵的含義： 一個(gè)布袋內(nèi)放 100個(gè)球，其中 80個(gè)為紅球， 20個(gè)為白球，任摸取一個(gè)，猜測(cè)是什么顏色。 n = － [ P(x1) log P(x1) + P(x2) log P(x2) ] = － Σ P(xi) log P(xi) 三種物理含義 ? 信息熵具有三種物理含義： ? 信源熵 H(X) 表示信源輸出前，信源的平均不確定度。 ? 信源熵 H(X)可用來表示變量 X的隨機(jī)性。 ? 信源熵 是表征信源平均不確定度的，是信源的總體特性，是客觀存在的， 平均自信息量 是消除信源不確定度時(shí)信宿所需的信息量，兩者數(shù)值相同，單位相同，但含義不同。求信源熵。 課本 23頁 【 例 】 檢查 8個(gè)串聯(lián)燈泡中哪一只是壞燈泡 第一次測(cè)量獲得的信息量是： I[P1(x)]I[P2(x)] 第二次測(cè)量獲得的信息量是： I[P2(x)]I[P3(x)] 第三次測(cè)量獲得的信息量是： I[P3(x)]0 課本 29頁（續(xù)例題 ） 【 例 】 進(jìn)一步分析例題 ，將 8個(gè)燈泡構(gòu)成一信源 X，每個(gè)燈泡損壞的概率都相等，計(jì)算該信源的信息熵。 只有獲得 3比特的信息量，才能完全消除平均不確定性，才能確定是哪個(gè)燈泡壞了。又設(shè)某乙地的天氣預(yù)報(bào)為晴（ 7/8）、小雨占（ 1/8）。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為 1而其余為 0。試求這兩種極端情況所提供的平均信息量。 熵的性質(zhì) 非負(fù)性 對(duì)稱性 確定性 可加性