【正文】 達(dá) 2021/6/15 4 通信系統(tǒng)模型簡介 信道 信源 信源編碼 加密 信道編碼 干擾源 信宿 信源解碼 解密 信道解碼 加密密鑰 解密密鑰 2021/6/15 5 第 2章 信源及信源熵 ? 重點掌握 ? 信源的分類和數(shù)學(xué)描述 ? 自信息量、互信息 ? 離散信源熵 ? 離散序列信源的熵 ? 熵的性質(zhì) ? 一般了解 ? 連續(xù)信源熵 ? 冗余度 2021/6/15 6 信源分類 離散 信源 { 離散 無記憶 信源 離散 有記憶 信源 { { 發(fā)出單個符號的無記憶信源 發(fā)出符號序列的無記憶信源 發(fā)出符號序列的有記憶信源 發(fā)出符號序列的馬爾可夫信源 2021/6/15 7 ? ? ? ? ? ??????????????????nnxpxpxpxxxPX??2121 ? ? ? ? 1,01?? ??niii xpxp信源的數(shù)學(xué)描述 ? 單符號無記憶信源 ? 用一維離散型 隨機(jī)變量 X來描述這些信息的輸出。 ? 設(shè)信源輸出的 隨機(jī)序列 為 X， 序列中的變量 ? ?12 lLX X X X X?? ?12, , , , 1 , 2 , ,lnX x x x l L??2021/6/15 8 信源的數(shù)學(xué)描述 ? 有記憶信源的 聯(lián)合概率 表示比較復(fù)雜，需要引入 條件概率 來反映信源發(fā)出符號序列內(nèi)各個符號之間的記憶特征。即：統(tǒng)計獨立信源的信息量等于它們分別的信息量之和。 ? xi yj所包含的不確定度在數(shù)值上也等于它們的自信息量。 ? 聯(lián)合自信息量、條件自信息量和自信息量 ( / ) l o g ( / )i j i jI x y p x y??22( ) l o g ( ) ( / ) ( ) ( / )l o g ( ) ( / ) ( ) ( / )i j i j i i j ij i j j i jI x y p x p y x I x I y xp y p x y I y I x y? ? ? ?? ? ? ?2021/6/15 14 信源熵 ? 離散信源熵為信源中各個符號不確定度的數(shù)學(xué)期望 ? 信源熵的物理含義 ? 表示信源輸出前信源的平均不確定性 ? 表示信源輸出后每個符號所攜帶的平均信息量 ? ?( ) ( ) ( ) ( ) ( ) l o g ( )i i i iiiH X E I X p x I x p x p x? ? ? ???2021/6/15 15 ,/ ( ) ( / ) ( ) ( / ) ( / ) ( ) ( / )j j j i j i jj i ji j i jijH X Y p y H X y p y p x y I x yp x y I x y?????( ) =( / ) ( / ) ( / )j i j i jiH X y p x y I x y? ?條件熵 ? 在給定 yj條件下， xi的條件自信息量為 I(xi/yj)， X集合的條件熵 ? 在給定 Y（即各個 yj）條件下， X集合的條件熵 ? 在給定 X（即各個 xi）條件下， Y集合的條件熵 ? 條件熵是在聯(lián)合符號集合 XY上的條件自信息量的聯(lián)合概率加權(quán)統(tǒng)計平均值。 2,/ ( ) ( / ) ( ) l o g ( / )i j j i i j j ii j i jH Y X p x y I y x p x y p y x? ? ???()2021/6/15 16 聯(lián)合熵 ? 聯(lián)合熵是聯(lián)合符號集合 XY上的每個元素對 xiyj的自信息量的概率加權(quán)統(tǒng)計平均值 ? 聯(lián)合熵 H(XY)表示 X和 Y同時發(fā)生的不確定度。 ? 接收到符號 yj后，事件 xi是否發(fā)生仍保留有一定的不確定性，用 I(xi / yj)度量。 yj)表示。 ) l o g ( ) ( | )()iji j i i jip x yI x y I x I x ypx? ? ?2021/6/15 18 平均互信息 ? 互信息量 I(xi。 yj)在 Y集合上的概率加權(quán)統(tǒng)計平均值 ( / )( / ) ( 。 ) )jiji j i j i jii ip x yp x y I x yI X y p x ypx????,( / )( ) ( 。 ) ijj j j i jj i j iijijij ip x yp y I X y p y p x ypxp x yp x ypxI X Y??????平均互信息（量） ? ? ? ? ? ? ? ? ? ? ? ?,l o g l /o g /i i i j i ji i jp x p x p x y p HXx Yy XH? ? ? ? ???2021/6/15 19 平均互信息量的物理意義 ? H(X/Y)：信道 疑義度，損失熵 ? 信源符號通過有噪信道傳輸后引起的信息量損失。 ? H(Y/X) ： 噪聲熵，散布度 ? 它反映了信道中噪聲源的不確定性。Y)加上 H(Y/X)，這完全是由信道中噪聲引起的。/I X Y H X H X YI Y X H Y H Y X????2021/6/15 20 熵的性質(zhì) ? 非負(fù)性 ? H(X)＝ H(x1,x2,……, xn)≥0 等號在 p(xi)=1時成立 ? 對稱性 ? H(x1,x2,……, xn)＝ H(x2,x1,……, xn) ? 熵函數(shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān) ? 確定性 ? H(0,1)＝ H(1,0,0,……,0) ＝ 0 ? 只要信源符號集中有一個符號的出現(xiàn)概率為 1，信源熵就等于零 2021/6/15 21 熵的性質(zhì) ? 香農(nóng)輔助定理 ? 對于 P＝ (p1,p2, ……, pn)和 Q＝ (q1,q2, ……, qn) ? 對任意概率分布 pi，它對其他概率分布 qi的自信息量取數(shù)學(xué)期望時，必不小于 pi本身的熵 ? 最大熵定理 ? 離散無記憶信源輸出 M個不同的信息符號，當(dāng)且僅當(dāng)各個符號出現(xiàn)概率時（即等概率分布），熵最大 ? ?1211, , , l o g l o gnnn i i i iiiH p p p p p p q??? ? ? ???? ? 1 1 1, , , l o gH X H MM M M????????2021/6/15 22 互信息量與熵 H(X/Y) H(X) H(Y) H(XY) H(Y/X) I(X。 ) ( ) ( / )( ) ( / )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( ) ( ) ( / )( ) ( / )( ) ( ) ( )( ) ( / )( ) ( / )H X Y H X H Y XH Y H X YH X Y H X H YH X H X YH Y H Y X????????2021/6/15 23 離散無記憶信源的序列熵 ? 設(shè)信源輸出的隨機(jī)序列為 X =(X1X2… Xl… XL) ? 序列中的變量 Xl∈ {x1,x2,… xn} ? 信源的序列熵可以表示為 ? 信源序列中，平均每個符號的熵為 ? 離散無記憶信源平均每個符號的符號熵 HL(X)等于單個符號信源的符號熵 H(X) ? ? ? ? ? ?1LH H H XLXX??? ? ? ? ? ?1LllH H X L XX H????無記憶 無記憶、平穩(wěn) 2021/6/15 24 離散有記憶信源的序列熵 ? 若信源輸出一個 L長序列，則信源的序列熵為 ? 平均每個符號的熵為 ? 信源無記憶時 ? 滿足平穩(wěn)時 121 2 1 1 11( ) ( )( ) ( / ) ( / )