【正文】 )1 I X YC?對于無損信道，相對剩余度＝ ()1 logHX r?第三章 信道與信道容量 102 如何才能做到匹配呢？ 一般通信系統(tǒng)中，把信源發(fā)出的符號變成能在信道中傳輸?shù)姆?，在傳輸時，要能夠 盡量用較少的符號表示相同的信息 ，這樣就可以提高信息的傳輸率，從而提高信道的利用率。(m a x?? YX信 道 信 道 信 道 p(Y1|X1) p(Y2|X2) … ?每一個信道的輸出 Yl只與本信道的輸入 Xl有關(guān) ,與其他信道的輸入、輸出都無關(guān)。(1llLlYXII ???ΥΧ?L次擴展信道 的信道容量 ?????????LlLlllPPL lCYXIICXX 11)()。(1llLlYXII ???ΥΧ?定理 ： 若信道的輸入和輸出分別是 L長序列 X和 Y,且信源 是 無記憶 的 ,亦即 ???LllXpp1)()( X)。Y)達到信道容量時 ,輸入符號概率集 {p(ai)}中每一個符號 ai對輸出端Y提供相同的互信息 ,只是概率為 0的除外。 ),2,1()|()|(rkabpMabpNiijkjijk??????第三章 信道與信道容量 信息論與編碼 88 2022/3/13 西北大學(xué)信息學(xué)院 ?例：設(shè)信道傳遞矩陣為 ???????????8181214181814121P???????????214141211P???????????818181812P信道符號）（比特 /)41l og4143l og43()81,81,41,21(2l ogl og),(l og121??????????? ??HMNpppHnCrkkkm??計算得： N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4 ?將它分成 第三章 信道與信道容量 信息論與編碼 89 2022/3/13 西北大學(xué)信息學(xué)院 一般 DMC信道 ?定理 ： ?一般離散信道的平均互信息 I(X。 ????????????????????????????????????????????616131313161613131613161616131311P?它們滿定對稱性 ,所以 P1所對應(yīng)的信道為準對稱信道。()。()(1)。Y)是信道傳遞概率 p(bj|ai)的 型凸函數(shù)。(pHpHppHXYHYHYXI??????? ??)(1l o g)(1l o g)()(ppHppppppppYH??????????????????第三章 信道與信道容量 信息論與編碼 79 2022/3/13 西北大學(xué)信息學(xué)院 ?p C )(1 pHC ???當固定信源的概率分布 ω時 ,I (X,Y) 是 p的 下凸函數(shù)。(m a x ???第三章 信道與信道容量 信息論與編碼 72 2022/3/13 西北大學(xué)信息學(xué)院 對稱 DMC信道 ?對稱離散信道： ?對稱性 : ? 每一行都是由同一集 {p1, p2,…p m} 的諸元素不同排列組成 —— 輸入對稱 ? 每一列都是由集 {q1, q2,…q n}的諸元素不同排列組成 —— 輸出對稱 ????????????????????????????????2131616121313161213131616161613131PP 滿足對稱性 ,所對應(yīng)的信道是對稱離散信道。 ?噪聲熵 H(Y|X) ≠ 0 損失熵 H(X|Y) = 0 )()(),( YHXHYXI ??)(m a x)。 第三章 信道與信道容量 信息論與編碼 68 2022/3/13 西北大學(xué)信息學(xué)院 無干擾離散信道 ?無噪有損 信道 ? 多個輸入變成一個輸出 (n＞ m) ?噪聲熵 H(Y|X) ＝ 0 ?損失熵 H(X|Y) ≠ 0 )()(),( XHYHYXI ??)(m a x)。Y)的條件極大值問題，當輸入信源概率分布 p(xi)調(diào)整好以后， C和 Ct已與 p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)； 它是信道的特征參數(shù)，反應(yīng)的是信道的最大的信息傳輸能力。 第三章 信道與信道容量 60 作業(yè) ?P134 ?P135 第三章 信道與信道容量 信息論與編碼 61 2022/3/13 西北大學(xué)信息學(xué)院 無干擾離散信道 對稱 DMC信道 準對稱 DMC信道 一般 DMC信道 第三章 信道與信道容量 62 ?信道容量 C： 在信道中最大的信息傳輸速率，單位是比特 /信道符號。 第三章 信道與信道容量 結(jié)論 2： ? 當 固定信源特性 p時， I(X。 ? I(X。Y)=f [p (yj /xi)]。Y)=f [p(xi), p(yj /xi)]； ? 若固定信道，調(diào)整信源， 則平均互信息量 I(X。 第三章 信道與信道容量 ④ 凸函數(shù)性 ?平均互信息量的數(shù)學(xué)特性 ?平均互信息量 I(X。 從一個事件可以充分獲得關(guān)于另一個事件的信息，從平均意義上來說，代表 信源的信息量可全部通過信道 。Y)≤H(X)， I(Y。Y)≤H(X) I(Y。Y)≥0 當且僅當 X和 Y相互獨立，即 p(xiyj)= p(xi) p(yj) I(X。Y)≥0 ? ?0l o g)()()(l o g)()()(l o g1)(l o g)()。()()。Y)和 I(Y。X) ?證明： 根據(jù)互信息量的對稱性 I(xi。(YHXHYXI??第三章 信道與信道容量 西北大學(xué)信息學(xué)院 46 2022/3/13 ?若信道輸入端 X與輸出端 Y完全統(tǒng)計獨立 )()|()()|( xpyxpypxyp ??則 : )()|()。Y)加上 H(Y|X),這完全是由于信道中噪聲引起的。(XYHYHXHXYHYHYXHXHYXI???????)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYH????????第三章 信道與信道容量 西北大學(xué)信息學(xué)院 44 2022/3/13 條件熵 ?H(X|Y)： 信道疑義度，損失熵 ? 信源符號通過有噪信道傳輸后所引起的信息量的損失。(XYHYHXHXYHYHYXHXHYXI????????熵只是平均不確定性的描述 。()。( 22222 ???要從 8個等可能損壞的串聯(lián)燈泡中確定哪個燈泡是壞的 ,至少要獲得 3個 bit的信息量 第三章 信道與信道容量 西北大學(xué)信息學(xué)院 39 2022/3/13 ?方法 2：逐個檢查 ?第 1次 : ? x1壞 ,獲得信息量 =3bit,可能性較小 1/8； ? x1通 ,其余 7只中 1只壞 ,壞燈泡的不確定性：log27= ?獲得信息量 ==,可能性較大 7/8 ?第 1次所獲得的平均信息量 : 5 4 9 2 ????1184184 ????? “對半開 ” 第 1次所獲得的平均信息量 : 第三章 信道與信道容量 西北大學(xué)信息學(xué)院 40 2022/3/13 互信息量 ?在有 3個變量 的情況下 ,符號 xi與符號 yj , zk之間的 互信息量 定義為 )|。尚存在的不確定性等于 零 。()()|(l og)()()()(l og)()()|(l og)()。 ,1( / ) [ ( / ) ] ( ) l o g( / )j XYH X Y E H X b P x y P x y?? ?將后驗熵對隨機 變量 Y求數(shù)學(xué)期望 第三章 信道與信道容量 西北大學(xué)信息學(xué)院 32 2022/3/13 平均互信息 ?平均互信息 定義 信息 = 先驗不確定性－后驗不確定性 = 不確定性減少的量 )|()()。 ) ( ) l og()XYP x yI X Y P x yPy? ?第三章 信道與信道容量 30 信道疑義度 11( / ) ( / ) l o g( / )rj i ji ijH X b P a b p a b?? ?這是收到 ai后關(guān)于 X的 后驗熵 ，表示收到 bj后關(guān)于輸入符號的信息測度。 )(1l ogl og)。 說明收信者未收到 yj以前，對消息 xi的是否出現(xiàn)的猜測難疑程度較小，但由于噪聲的存在，接收到消息 yj后對 xi是否出現(xiàn)的猜測的難疑程度增加了，也就是收信者接收到消息 yj后對 xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負值。 第三章 信道與信道容量 ? 相互獨立時的 X和 Y ? 這時 p(xi yj)=p(xi)p(yj) ? 互信息量為 ? 表明 xi和 yj之間不存在統(tǒng)計約束關(guān)系，從 yj得不到關(guān)于的 xi任何信息，反之亦然。yj)=I(yj。( 39。 )()( 1239。 ? 觀察者站在輸入端 觀察者得知輸入端發(fā)出 xi前、后對輸出端出現(xiàn) yj的 不確定度的差。yj)表示接收到某消息 yj后獲得的關(guān)于事件 xi的信息量。 ?信宿收到 yj 后推測信源發(fā)出 xi的概率 p(xi|yj)稱為 后驗概率 。 p(0/1)=p(1/0)=p。 ?其信道模型如圖所示。 信道分類 第三章 信道與信道容量 信息論與編碼 9 2022/3/13 西北大學(xué)信息學(xué)院 信道分類 ?按輸入／輸出信號之間的關(guān)系是否是確定關(guān)系 : ?無干擾信道： ? 輸入 /輸出符號之間有確定的一一對應(yīng)關(guān)系 ?有干擾信道： ? 輸入 /輸出之間關(guān)系是一種 統(tǒng)計依存 的關(guān)系 ?輸入 /輸出的 統(tǒng)計關(guān)系 ： ?離散無記憶信道： ? 用 條件概率矩陣 來描述。實際信道一般都是有干擾信道。 半離散半連續(xù)信道： 輸入變量取離散值而輸出變量取連續(xù)值，或反之。 第三章 信道與信道容量 7 ?根據(jù)信道參數(shù)與時間的關(guān)系： 固定參數(shù)信道： 信道的統(tǒng)計特性不隨時間變化而變化。 無反饋信道： 輸出端信號對輸入端信號無影響、無作用。 第三章 信道與信道容量 信息論與編碼 4 2022/3/13 西北大學(xué)信息學(xué)院 信道數(shù)學(xué)模型和分類 信道分類 信道數(shù)學(xué)模型 第三章 信道與信道容量 信息論與編碼 5 2022/3/13 西北大學(xué)信息學(xué)院 信道 ?信道 ： 信息傳