【正文】 第 1章：概述 第 2章：信源熵 第 3章：信道容量 第 4章：信息率失真函數(shù) 第 5章：信源編碼 第 6章：信道編碼 第 7章：密碼體制的安全性測度 統(tǒng)計度量： 用事件統(tǒng)計發(fā)生概率的對數(shù)描述事物的不確定性，得到消息的信息量，建立熵的概念。 熵 概念是香農(nóng)信息論 最基本最重要 的概念。 事件 消息 信息 167。 單符號離散信源 167。 連續(xù)信源 167。 多符號離散信源 167。 離散信源無失真編碼定理 167。 各種熵之間的關(guān)系 167。 單符號離散信源的數(shù)學(xué)模型 167。 自信息和信源熵 167。 信源熵的基本性質(zhì)和定理 167。 加權(quán)熵的概念和基本性質(zhì) 167。 平均互信息 連續(xù)信源 離散信源 單符號離散信源 多符號離散信源 信源輸出的是一個個符號，這些符號的取值是有限的或可數(shù)的。 只涉及一個隨機(jī)事件的 離散信源?？捎秒x散隨機(jī)變量來描述 。 涉及多個隨機(jī)事件的離散信源。可用隨機(jī)矢量來描述。 輸出連續(xù)消息的信源?？捎秒S 機(jī)過程來描述。 信源 離 散 信 源 連 續(xù) 信 源 單符號 多符號 隨機(jī)變量 隨機(jī)矢量 隨機(jī)過程 信源分類 定義 如果信源發(fā)出的消息是離散的、有限或無限可列的符號或數(shù)字，且一個符號代表一條完整的消息，則稱這種信源為 單符號離散信源。 單符號離散信源的定義 ?單符號離散信源的實例 ? 擲骰子每次只能是 1,2,3,4,5,6中的某一個； ? 天氣預(yù)報可能是晴、陰、雨、雪、風(fēng)、冰雹 … 中的一種或其與溫度、污染等組合； ? 二進(jìn)制通信中傳輸?shù)闹皇? 0兩個數(shù)字；等等。 ?這種符號或數(shù)字都可以看作某一集合中的事件，每個符號或數(shù)字（事件）都是信源中的元素，它們的出現(xiàn)往往具有一定的概率。 ?信源又可以看作是具有一定概率分布的某一符號集合。 對于離散隨機(jī)變量，取值于集合 ( 2 . 1 . 1 ))(,),(,),(),( , , , , )( 2121?????????????niniapapapapaaaaXPX????單符號離散信源的數(shù)學(xué)模型為 ? ?ni aaaa , , , , , 21 ?? 1)(,1)(01??? ??niii apap滿足其中 )( iap () )()( ii aXPap ?? ia對任一 記 需要注意 的是：大寫字母 X、Y、 Z代表隨機(jī)變量，指的是信源整體。帶下標(biāo)的小寫字母 : 代表隨機(jī)事件的某一結(jié)果或信源的某個元素。 ,kji cba 、167。 加權(quán)熵的概念和基本性質(zhì) 167。 單符號離散信源的數(shù)學(xué)模型 167。 自信息和信源熵 167。 信源熵的基本性質(zhì)和定理 167。 平均互信息 167。 各種熵之間的關(guān)系 隨機(jī)變量 X、 Y分別取值于集合 。、 },,{},,{ 2121 mjni bbbbaaaa ????，},2,1 ,2,1|{ mjniba ji ?? ??聯(lián)合隨機(jī)變量 取值于集合 XY),()( jiji bYaXPbap ???記 無條件概率、條件概率、聯(lián)合概率滿足下面一些性質(zhì)和關(guān)系： 1)()()()()(0 ?? jijiijji bapbapabpbpap 、? ??? ????mjnijiniji bapbap1 111)(,1)()()(),()(11imjjijniji apbapbpbap ??????,1)( ,1)( 1)(111?????????mjijmjjnii abpbpap ，1 2 3 全概率公式 )()()()()()()(ijijijjijiapbapbpabpbpapbap＝，＝?相互獨立時與當(dāng) YX)()()()()( ijijijji abpapbapbpbap ???????mjjijiijnijijijibapbapabpbapbapbap11)()()()()()( ，＝4 5 6 Bayes公式 一、 信息量 自信息量 聯(lián)合 自信息量 條件 自信息量 信息量 ?I(ai)實質(zhì)上是無量綱的 ?? ?為研究問題的方便，根據(jù)對數(shù)的底定義信息量的量綱 ?對數(shù)的底取 2，則信息量的單位為 比特（ bit）； ?? ?取 e（自然對數(shù)），則單位為 奈特（ nat）； ?? ?取 10（常用對數(shù)），則單位為 哈特（ Hart）。 ?? ?利用換底公式容易求得： ）（ 2 . 1 . 3 )(l o g)( ii apaI ??自信息量 1 一個以等概率出現(xiàn)的二進(jìn)制碼元 (0,1)所包含的自信息量是多少？ 時，當(dāng)21)1()0( ?? pp?221: (0 ) ( 1 ) l o g l o g 2 12I I b i t? ? ? ? ?有( ) l og ( )iiI a p a?? 2例 [] 這四種氣候的自信息量分別為 : ?????????????????81 ,81 ,41 ,21)( ),( ),( ),()(4321 雪雨陰晴 xxxxXPX某地二月份天氣的概率分布統(tǒng)計如下： 。b itaI 3)( 4 ?，b itaI 3)( 3 ?，b itaI 2)( 2 ?，b itaI 1)( 1 ?)(l o g)(2 ii apaI ??一次擲兩個骰子，作為一個離散信源，求下列事件產(chǎn)生后提供的信息量。 3； 4； 解： 一個色子有 6個符號，兩個骰子的總數(shù)（信源符號數(shù)）為 36。 ?? a. 事件樣本數(shù) =5 2=10（另外一個不能為 3） b. 事件樣本數(shù) =5 2+1=11（加上一個雙 4） ?? c. 事件樣本數(shù) =6 3=18（第一個的 6個符號分別與第二個的 3個符號構(gòu)成事件 ） ?? 則： p(a)=10/36=5/18。 p(b)=11/36。 p(c)=18/36=1/2。 ?? I(a)=log(18/5)= (bit)。 I(b)=log(36/11)= (bit)。 I(c)=log2=1 (bit)。 )(l o g)( 2 ii apaI ??自信息 量具有下列性質(zhì) : 圖 對數(shù)曲線 1 是非負(fù)值 。 )(iaI)(l o g)( 2 ii apaI ??0)(1)( ?? ii aIap 時，當(dāng)2 ??? )(0)( ii aIap 時，當(dāng)3 )()( ii apaI 是 的 單調(diào)遞減 函數(shù) 。 4 圖 自信息量曲線 )(l o g)( 2 ii apaI ??? ?? ??nimjjibap1 11)( 。???????)(,),(,),(,),( , , , , , , 11111111mnnmmnnmbapbapbapbapbabababa????????????)( XYPXY，其中 ),2,1。,2,1(1)(0 mjnibap ji ?? ????聯(lián)合自信息量 2 信源模型 2 . 1 . 4 )(l o g)( ）（jiji bapbaI ?? )()( ji bIaI ??，有相互獨立時與當(dāng) )()()(, jiji bpapbapYX ?代入式 ()就有 )(l o g)(l o g)( jiji bpapbaI ???若兩個單符號離散信源（符號集合 X, Y）統(tǒng)計獨立 , 則 X中出現(xiàn) ai、 Y中出現(xiàn) bj的聯(lián)合自信息量等于它們各自獨立發(fā)生所得的自信息量之和。 )(lo g)( ijij abpabI ?? )(lo g)( jiji bapbaI ?? 條件自信息量 3 定義：設(shè)在 bj條件下，隨機(jī)事件 ai的條件概率為 P(ai / bj)，則 ai的出現(xiàn)所帶來的信息量被稱為它的條件自信息量，表示為 不確定度表示含有多少信息，信息量表示隨機(jī)事件發(fā)生后可以得到多少信息 的變化而變化。 自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系式： 聯(lián)合自信息量和條件自信息也滿足 非負(fù) 和 單調(diào)遞減 性 ，同時，它們也都是隨機(jī)變量，其值隨著變量 ji ba 、 )()( iji abIaI ?? )()( jij baIbI ?? )(l o g )( jiji bapbaI ??)) p ((l o g iji abap??)) p ((l o g jij babp??二 、 互信息量和條件互信息量 ?????niii apap11)(,1)(0由前可知， 離散信源 X的數(shù)學(xué)模型為 )(,),(,),(),( , , , , ,)( 2121?????????????niniapapapapaaaaXPX????互信息量 1 信宿 Y的數(shù)學(xué)模型為 ?????mjjj bpbp11)(,1)(0 )b(,),(,),(),(b , ,b , ,b ,)( 2121?????????????mjmjpbpbpbpbYPY????圖 簡單通信系統(tǒng)模型 信源 X 信宿 Y 有擾信道 C 干擾源 N ),2,1。,2,1( 2 .1 .7 )()(l o g)。(mjniapbapbaIabijijiij?? ??? ）（的互信息量為對定義例 [] 某地二月份天氣構(gòu)成的信源為 ?????????????????81 ,81 ,41 ,21)( ),( ),( ),()( 4321 雪雨陰晴 aaaaXPX 一天有人告訴你：今天不是晴天。 。息把這句話作為收到的消 1b后，各種天氣發(fā)生的概當(dāng)收到 1b 率變成后驗概率了。其中 。41)(14 ?bap,21)(12 ?bap,0)( 11 ?bap,41)(13 ?bap息量。與各種天氣之間的互信計算出 1b)(14121l o g)()(l o g)。( 2212212 b i tapbapbaI ???可計算出對天氣 2a的互信息量、對同理可計算出 4