【正文】 與譯碼規(guī)則、編碼方法 ? 信道編碼定理 信道編碼概述 ? 互信息能告訴我們什么？ ? 隨機(jī)變量 X,Y統(tǒng)計意義上的依存程度 ? 可以獲得的信息量 ? 不能：所得信息能否可靠地確定信道輸入？ ? 實(shí)際通信中人們對傳輸要求什么？ ? 傳輸信息量大 ? 傳輸可靠 ? 提出的與信道傳輸有關(guān)的問題： ? 如何能使信息傳輸后發(fā)生的錯誤最少？ ?錯誤概率與那些因素有關(guān)？ ?有無辦法控制？ ?能控制到什么程度？ ? 無誤傳輸可達(dá)的最大信息率是多少？ 信道編碼概述 ? 舉例說明：設(shè)有一個二元數(shù)字序列 000110101100…… ? （ 1）每兩位分成一組，共有 22＝ 4種可能的碼組（或碼字）： 00、0 11。 ? 雷達(dá)信號設(shè)計中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強(qiáng)。 baY ?R),( ????()m a x ( 。 ) ( 。Y)達(dá)到極值的輸入概率分布為｛ p1,p2,...,pr｝ .方程組第一個式子中的前 r個方程式兩邊同乘以 pi，并求和得 ? ? ??i j jijiji eypxypxypp l og)()/(l og)/( ?即： eC lo g?? ?離散信道容量的一般計算方法 單符號離散信道的信道容量 ( / )( / ) l o g l o g()jijij jp y xp y x e Cpy ?? ? ?? 令 可求解出 ，繼而求得信道容量： 21log 2 jmjC ??? ?離散信道容量的一般計算方法 單符號離散信道的信道容量 11( / ) l o g ( / ) ( / ) l o g ( )mmj i j i j i jjjp y x p y x p y x p y C?????? ????2l o g ( )jjp y C? ?? 有 211( / ) ( / ) l o g ( / )mmj i j j i j ijjp y x p y x p y x??????j? 注意：在第（ 2）步求出 C后，必須解出相應(yīng)的 ，并確認(rèn)所有的 ，所求的 C才存在。 ) ( ) ( / ) ( ) ( , , , )imI X Y H Y H Y X H Y H q q q? ? ? ?2()m a x ( 。 )ipxC I X Y?()1 m a x ( 。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；聽收音機(jī)，收、發(fā)間的空間就是信道。 ? 通信技術(shù)研究－－信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性 ? 信息論研究－－信息的傳輸問題（假定傳輸特性已知） 概述 ? 本章達(dá)到的目的 ? 了解信息論研究信道的目的、內(nèi)容 ? 了解信道的基本分類并掌握信道的基本描述方法 ? 掌握信道容量的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 ? 能夠計算簡單信道的信道容量（對稱離散信道、無記憶加性高斯噪聲信道） ? 了解信道容量在研究通信系統(tǒng)中的作用 ? 理解無噪信道編碼的物理意義 ? 進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途 信道的數(shù)學(xué)模型和分類 ? 信道分類 ? 從工程物理背景 —— 傳輸媒介類型； ? 從數(shù)學(xué)描述方式 —— 信號與干擾描述方式； ? 從信道本身的參數(shù)類型 —— 恒參與變參； ? 從用戶類型 —— 單用戶與多用戶； ? ?? ???????????????? ?? ???? ???? ?? ??? ????????????????????? ?????離 散無 記 憶連 續(xù)信 號 類 型半 離 散有 記 憶半 連 續(xù)無 干 擾 ： 干 擾 少 到 可 忽 略 ；無 源 熱 噪 聲信 號 與 干 擾 類 型線 性 疊 加 干 擾 有 源 散 彈 噪 聲脈 沖 噪 聲干 擾 類 型有 干 擾交 調(diào)乘 性 干 擾 衰 落碼 間 干 擾信道的數(shù)學(xué)模型和分類 ???恒 參 信 道 （ 時 不 變 信 道 ）信 道 參 量 類 型變 參 信 道 （ 時 變 信 道 ）信道的數(shù)學(xué)模型和分類 ???二 用 戶 信 道 （ 點(diǎn) 對 點(diǎn) 通 信 ）用 戶 類 型多 用 戶 信 道 （ 通 信 網(wǎng) ） 信道的數(shù)學(xué)模型和分類 其中： c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。 ) m a x ( ) l o giip x p xI X Y H Y m??單符號離散信道的信道容量 離散無噪信道的信道容量 ? 具有一一對應(yīng)關(guān)系的無噪信道 —— 既無損又確定 ? 矩陣中每一行每一列僅有一個非零元素 ? H（ Y/X） =0； H （ X/Y） =0 ? I（ X； Y） = H （ Y） = H （ X） ? 信道容量： 1 0 0P= 0 1 00 0 1????????y1 x1 x2 y2 x3 y3 1 1 1 ( ) ( )C = m a x ( 。Y)是 p(x)的上凸函數(shù)，故極大值一定存在，約束條件： 1)( ??i ixp引進(jìn)一個新函數(shù) ( 。 ) ( ) ( / )I H H??X Y Y Y X1 1 1 12 2 2 2( / )( / )( / )N N N NX P Y X YX P Y X YX P Y X Y????????XY離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量 多符號離散信道 離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量 多符號離散信道 1 2 1 1 1 11 1 1111 2 1 1 1 11 1 1111 1 1111111( / )( ) ( ) l og ( )( ) ( ) ( ) l og ( ) ... ( )( ) (N N N N NNNN N N N NNNn n m mi i i j j i i j j i ii i j jn n m mi i i j i j i j i j ii i j jnmi j iijHp x x x p y y x x p y y x xp x x x p y x p y x p y x p y xp x p y x? ? ?? ? ???????????????? ? ? ?? ? ? ???YX1 1 2 2 2 2 21122111 1 2 21) l og ( ) ( ) ( ) l og ( )( ) ( ) l og ( )( / ) ( / ) ... ( / ) ( / )N N N N NNNnmj i i j i j iijnmi j i j iijNK K K KKp y x p x p y x p y xp x p y x p y xH Y X H Y X H Y X H Y X????????? ? ? ? ??????離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量 多符號離散信道 1211121111( 。 ) ( 。故當(dāng)加性高斯信道的輸入信源是 0均值的高斯隨機(jī)變量時，其輸出也是 0均值的高斯隨機(jī)變量，輸出隨機(jī)變量的熵最大。 連續(xù)信道 ? Shannon公式的用途三 用時間換取信噪比 重傳、弱信號累積接收基于這一原理?？梢园l(fā)現(xiàn)奇數(shù)個錯誤，但無法糾正。 0?139。) 2 / 3p ?( 0 / 1 39。 1?2110 . 0 1 0 . 0 1 0 . 0 1 1 022EP?? ? ? ? ? ?2:編 碼 1 000x — —2 111x — —0 0 0 0 0 1 0 1 0 0 1 11 0 0 1 0 1 1 1 0 1 1 1： 收 到120 0 0 0 0 1 0 1 0 1 0 0 0 1 1 1 0 1 1 1 0 1 1 1xx??： 擇 多 譯 碼3 2 3 2 3 2 411( 3 ) ( 3 ) 3 3 1 022EP p p p p p p p p p?? ? ? ? ? ? ? ?編 碼 的 信 息 傳 輸 率 ： 比 特 碼 符 號1 R = l o g 2 / 1 = l o g 2 = 1 /編 碼 的 信 息 傳 輸 率 ： 比 特 碼 符 號12 R = l o g 2 /3 = /3信道編碼定理 ? 信道編碼定理引出 ? 問題： 在有噪信道中，使平均誤碼率 Pe盡可能小的情況下，可達(dá)