【正文】 H(X/Y) H(X) H(Y) H(XY) H(Y/X) I(X。 ? H(Y/X) ： 噪聲熵，散布度 ? 它反映了信道中噪聲源的不確定性。 ) )jiji j i j i jii ip x yp x y I x yI X y p x ypx????,( / )( ) ( 。 ) l o g ( ) ( | )()iji j i i jip x yI x y I x I x ypx? ? ?2021/6/15 18 平均互信息 ? 互信息量 I(xi。 ? 接收到符號 yj后，事件 xi是否發(fā)生仍保留有一定的不確定性，用 I(xi / yj)度量。 ? 聯(lián)合自信息量、條件自信息量和自信息量 ( / ) l o g ( / )i j i jI x y p x y??22( ) l o g ( ) ( / ) ( ) ( / )l o g ( ) ( / ) ( ) ( / )i j i j i i j ij i j j i jI x y p x p y x I x I y xp y p x y I y I x y? ? ? ?? ? ? ?2021/6/15 14 信源熵 ? 離散信源熵為信源中各個符號不確定度的數(shù)學期望 ? 信源熵的物理含義 ? 表示信源輸出前信源的平均不確定性 ? 表示信源輸出后每個符號所攜帶的平均信息量 ? ?( ) ( ) ( ) ( ) ( ) l o g ( )i i i iiiH X E I X p x I x p x p x? ? ? ???2021/6/15 15 ,/ ( ) ( / ) ( ) ( / ) ( / ) ( ) ( / )j j j i j i jj i ji j i jijH X Y p y H X y p y p x y I x yp x y I x y?????( ) =( / ) ( / ) ( / )j i j i jiH X y p x y I x y? ?條件熵 ? 在給定 yj條件下， xi的條件自信息量為 I(xi/yj)， X集合的條件熵 ? 在給定 Y（即各個 yj）條件下， X集合的條件熵 ? 在給定 X（即各個 xi）條件下， Y集合的條件熵 ? 條件熵是在聯(lián)合符號集合 XY上的條件自信息量的聯(lián)合概率加權(quán)統(tǒng)計平均值。即：統(tǒng)計獨立信源的信息量等于它們分別的信息量之和。 ? 接收者在收到信息之前，對它的內(nèi)容是不知道的，所以信息是新知識、新內(nèi)容 ? 信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識 ? 信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶、貯存及處理 ? 信息是可以量度的，信息量有多少的差別 2021/6/15 3 消息、信號和信息 ? 信號最具體，它是一物理量，可測量、可顯示、可描述，同時它又是載荷信息的實體 ? 消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時它是信息的載荷體，是信息論中主要描述形式 ? 信息是抽象的、非物理的 哲學層表達 信息的物理層表達 信息的數(shù)學層表達 2021/6/15 4 通信系統(tǒng)模型簡介 信道 信源 信源編碼 加密 信道編碼 干擾源 信宿 信源解碼 解密 信道解碼 加密密鑰 解密密鑰 2021/6/15 5 第 2章 信源及信源熵 ? 重點掌握 ? 信源的分類和數(shù)學描述 ? 自信息量、互信息 ? 離散信源熵 ? 離散序列信源的熵 ? 熵的性質(zhì) ? 一般了解 ? 連續(xù)信源熵 ? 冗余度 2021/6/15 6 信源分類 離散 信源 { 離散 無記憶 信源 離散 有記憶 信源 { { 發(fā)出單個符號的無記憶信源 發(fā)出符號序列的無記憶信源 發(fā)出符號序列的有記憶信源 發(fā)出符號序列的馬爾可夫信源 2021/6/15 7 ? ? ? ? ? ??????????????????nnxpxpxpxxxPX??2121 ? ? ? ? 1,01?? ??niii xpxp信源的數(shù)學描述 ? 單符號無記憶信源 ? 用一維離散型 隨機變量 X來描述這些信息的輸出。 ? 數(shù)學模型 ? 符號序列無記憶信源 ? 很多實際信源輸出的消息往往是由一系列符號組成，這種用每次發(fā)出 1組含 2個以上符號的符號序列來代表一個消息的信源叫做 發(fā)出符號序列的信源 。 2021/6/15 12 聯(lián)合自信息量 ? 兩個消息 xi， yj同時出現(xiàn)的聯(lián)合自信息量 ? 當 xi, yj相互獨立時，有 p(xi yj)=p(xi)p(yj)，那么就有 I(xi yj)=I(xi)+I(yj)。 ? 條件熵 H(X/Y)表示已知 Y后， X的不確定度。 ? 接收到某消息 yj后獲得的關于事件 xi的信息量，用 I(xi。 yj)在 X集合上的統(tǒng)計平均值為 ? I(X。 ) ( ) ( / ) l og()( / )( ) l og()( 。 ? 輸出端信源 Y的熵 H(Y)等于接收到關于 X的信息量 I(X。Y) ( 。這種狀態(tài)的轉(zhuǎn)移可用狀態(tài)轉(zhuǎn)移概率p(sj /si)表示。 4. 波形信道 ? 輸入是模擬波形，輸出也是模擬波形 ? 連續(xù)無記憶信道和連續(xù)有記憶信道 ? y(t)＝ x(t)＋ n(t) n(t)代表加性噪聲 2021/6/15 35 信道容量的定義 ? 信道傳輸率 R ＝ I (X。 ? I(Px)的極大值就是 信道容量 。Y)=max H(Y) ?有噪無損信道 ? C=max I(X。 ? ?m a x ( 。 ? ? ? ?m a x / iC H Y H Y a?? ????xP2021/6/15 40 DMC信道的容量 3. 一般 DMC信道的容量 ? 以輸入符號概率矢量 Px為自變量的函數(shù) I(Px)的極大值，即信道容量。Y)≤C，對于所有滿足 p(xi)＝ 0條件的 i 每一個概率不為 0的輸入符號對輸出提供相同的互信息 2021/6/15 41 離散序列信道及其容量 ? ? ? ? ? ?111/ / /LL L l llp p Y Y X X p Y XYX??? ?信 道 輸入 X 輸出 Y p(Y/X) X=(X1, X2,…, XL) Xl={a1, a2,…, an} Y=(Y1,Y2,…, YL) Yl={b1, b2,…, bm} 獨立、無記憶、平穩(wěn) 離散序列信道的信道容量為： 無記憶 離散序列信道的轉(zhuǎn)移概率為： ? ? ? ? ? ?1m a x 。 ? 當歸一化的信噪比小于香農(nóng)限（ ）時，歸一化信道容量為零，即信道完全喪失通信能力。但到一定階段后，增加變得緩慢。Y) ? 信道相對冗余度 ? ? ? ?。 ? 平均失真 ： ? 平均失真對信源和信道進行的統(tǒng)計平均。 ? R(D)的定義域 ? 率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度 D的最小和最大取值問題，即 [Dmin,Dmax] ? Dmin的計算 ? Dmax的計算 ( ) m in ( 。 2021/6/15 54 率失真函數(shù)和信道容量的比較 ? 平均互信息 I(X。 )ipxC I X Y?)。 2021/6/15 60 唯一可譯碼的判斷法 ? 將碼 C中所有可能的尾隨后綴組成一個集合 F，當且僅當集合 F中沒有包含任一碼字，則可判斷此碼 C為唯一可譯碼。依此下去，直到?jīng)]有一個尾隨后綴是碼字的前綴為止。若是，一定不是唯一可譯碼。 4. 按 唯一可譯碼判斷法 進行判斷。 ?編碼效率 ? 最佳編碼效率為 ()LHK? ? X22()eP L??? X22()L ????X() ,0()LL