【正文】 與無(wú)失真信源編碼定理 (香農(nóng)第一定理 )類似，香農(nóng)第二定理只是一個(gè)存在性定理，它指出在保證信息傳輸率低于信道容量的前提下，錯(cuò)誤概率趨于 “ 0”的編碼是存在的。 ? 因此引入問題 ：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息 (符號(hào) )轉(zhuǎn)換成適合信道傳輸?shù)姆?hào) (信號(hào) )從而達(dá)到信源與信道的匹配。 信道剩余度定義為： 信道剩余度 = )。 ② 用信噪比換取頻帶 在衛(wèi)星、數(shù)字微波通信中常采用多電平調(diào)制、多相調(diào)制、高維星座調(diào)制等等，它們利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。一般電話信號(hào)的帶寬為 。 高斯白噪聲加性信道 單位時(shí)間的信道容量： ???????? ????? WNPWTCC sTt 01lo glim)1l og ()1l og (2)1l og (210s0s1 WNPWTWNPLPPC Li nii?????? ??第 3章 信道容量和編碼 Enjoy Science 例 4 設(shè)信道傳輸每比特的能量為 Eb，請(qǐng)根據(jù)帶寬效率C/W與 Eb/N0的曲線圖，說(shuō)明信息傳輸率和信噪比的關(guān)系。若總能量 P減少時(shí)，水面 (?)降低，圖中第 5單元可能也沒有水了。 )L iiiI X Y I X Y?? ?11 l o g 12Lii niPP??????????11 l o g 12Lii niPP??????????()m a x ( 。 )R I X Y?( ) ( )m a x ( 。 解： s=4, r=2 ???????????3131616161613131P1 1 1 1l o g ( , , , )3 3 6 6C s H??1 1 1 1l o g 4 ( , , , )3 3 6 6H??1 1 1 1 1 1 1 12 ( l o g l o g l o g l o g )3 3 3 3 6 6 6 6? ? ? ? ?0 . 0 8 1 7 ( / )b i t s y m b o l?四、離散無(wú)記憶 N次擴(kuò)展信道的信道容量 一般離散無(wú)記憶信道的 N次擴(kuò)展信道 1( , ) ( , )N iiiI I X Y?? ?XY即： CN = NC 所以，對(duì)于 一般的離散無(wú)記憶信道的 N次擴(kuò)展信道 ，其 信道容量 是： ()()1()11m a x ( 。, 39。由于信道的對(duì)稱性，所以 H(Y/X= x )與 x 無(wú)關(guān) ，為一常數(shù)，即 因此 對(duì)稱離散信道 的信道容量 ： 對(duì)稱離散信道的平均互信息為 ： I(X。 m a x ( ) l o g ( / )pxC H X r b i t s y m b o l??()39。Y)=H(X)=H(Y) ??????????1000100010( / ) ( / )1j i i jijp b a p a bij???? ???( ) ( )m a x ( ) m a x ( ) l o g l o g ( / )p x p yC H X H Y r s b i t s y m b o l? ? ? ??H(Y/X)=0 H(X/Y)=0 ( , 1, 2 , 3)ij ?有噪無(wú)損信道： 接收到符號(hào) Y后，對(duì)X符號(hào)是完全確定的。Y)是輸入隨機(jī)變量的 ∩型凸函數(shù) ，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。 ) ( 。 設(shè)離散無(wú)記憶信道的 輸入符號(hào)集 A＝ {a1， … ， ar}， 輸出符號(hào)集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp1101 2 1 21( | ) ( . . . | . . . ) ( | )NN N j iip y x p y y y x x x p y x??? ??????????????rsrrsspppppppppP. . .:. . .::. . .. . .212222111211則此無(wú)記憶信道的 N次擴(kuò)展信道 的數(shù)學(xué)模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( ... ) ( ... )( ... ) ( ... )( | ): ( ... ) ( ... )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? 11Nskhh????[例 ] 求二元無(wú)記憶對(duì)稱 信 道 （ BSC） 的二次擴(kuò)展信道。Y)是輸入信源的概率分布 p(x)的 ∩ 型凸函數(shù)。Y) = H(Y) H(Y/X) X 1－ p Y 0 0 1－ p 1 1 p p 1 ( ) ( ) ( / ) l og( / )XYH Y p x p y x p y x?? ??11 ( ) ( ) l og l ogXH Y p x p ppp??? ? ??????)()( 1l o g1l o g)( pHYHppppYH ???????????1 ( ) ( ) l og( / )XYH Y p x y p y x?? ????????????????? 110)( xpX同時(shí)，根據(jù)離散無(wú)記憶信道的性質(zhì)，可得： 所以： 當(dāng)信道固定時(shí)， I(X。Y)只是信源 X的概率分布 p(x)和信道的傳遞概率 p(y/x)的函數(shù)， 即： I(X。Y) = I(Y。Y) 具有以下特性： （ 1）非負(fù)性 即 I(X。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒有 依賴 關(guān)系，信息無(wú)法傳輸，所以稱為 全損信道 。Y)表示警察從對(duì)話中了解案件的情況。 ?熵只是平均不確定性的描述 ， I(X。 ( 。Y) = 0， 表示 在 信道 輸出端接收到輸出符號(hào) Y后不獲得任何關(guān)于 輸 入符號(hào) X的信息量 全損信道 。 它可取正值，也可取負(fù)值。 yj)的 統(tǒng)計(jì)平均。 互信息量 I(xi 。 ? 但如果信道中有干擾 (噪聲 )存在，接收到符號(hào) Y后對(duì)發(fā)送的是什么符號(hào)仍存在有不確定性。它是由于信道噪聲引起的，所以描述了信道 噪聲 的特性。 傳遞概率 : 11221221( | ) ( 0 | 0 ) 1( | ) ( 1 | 1 ) 1( | ) ( 0 | 1 )( | ) ( 1 | 0 )p b a p p pp b a p p pp b a p pp b a p p? ? ? ?? ? ? ?????? p是單個(gè)符號(hào) 傳輸發(fā)生錯(cuò)誤 的概率，表示信道輸入符號(hào) “ 0”而接收到的符號(hào)為 “ 1”，或信道輸入符號(hào)為 “ 1”而接收到的符號(hào)為 “ 0”的概率的概率。 ? 用傳遞概率 p(bj/ai) 來(lái)描述干擾影響的大小 ? 一般 簡(jiǎn)單的單符號(hào)離散信道 可以用 [X, p(y/x) ,Y] 三者加以描述。 在這一類信道中某一瞬間的輸出符號(hào) 不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)， 這樣的信道稱為有記憶信道。 它反映了 信道的統(tǒng)計(jì)特性 。 i i ’ p(y/x)=1 p(y/x) ? 例如 其中 : p(ai)表示輸入某符號(hào)的概率 , ???ri iap11)(p(bj)表示輸出某符號(hào)的概率 , ???sj jbp11)(?? ?sj ij abp1 1)|(p(bj|ai)表示發(fā)送 ai而接收為 bj概率 ,條件概率。 ?處理有記憶有干擾信道的兩種方法： （ 1）最直觀的方法是把記憶較強(qiáng)的 N個(gè)符號(hào)當(dāng)作一個(gè) N維矢量，而把各矢量之間認(rèn)為是無(wú)記憶的，這樣就 轉(zhuǎn)化成無(wú)記憶信道 的問題。 ? 其數(shù)學(xué)模型可以用概率空間 [X, p(y/x) ,Y]描述。 ?（ 1p）表示是 無(wú)錯(cuò)誤傳輸 的概率。 p(ai/bj)后向概率 ，已知信道輸出端接收到符號(hào)為 bj，但發(fā)送的輸入符號(hào)為 ai的概率。 11( ) ( ) l o g ( ) l o g ( )()riiX iH X p a p x p xpa?? ? ???接受到 bj后，關(guān)于 X的不確定性為 后驗(yàn)熵在輸出符號(hào)集 Y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集 Y中 求數(shù)學(xué)期望 ，得條件熵 信道疑義度 ： 這是接收到輸出符號(hào) bj后關(guān)于 X的 后驗(yàn)熵 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。 ?定義 I(X。 ? 若 I(x 。 信道疑義度（損失熵），信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。 )I X Y,()( ) l o g( ) ( ) ( ) ( ) ( )XYp x yp x yp x p y H X H Y H X Y? ? ?? ?)|(1l og)()(1l og)(, xypxypypxypYXYX?? ??)|(1l og)()(1l og)(, xypxypypypYXY?? ??( ) ( | )H Y H Y X??,( 。Y)才是接收端所獲得的信息量 （ 不確定性的消除 ） 。 如果 H(X|Y)=0，說(shuō)明警察聽了罪犯的講話后完全了解案情。 ? 接收到 Y后不可能消除有關(guān)輸入端 X的任何不確定性，所以獲得的信息量等于零。Y) = 0，當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。X) 當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí)， I(X。Y) = f [p(x), p(y|x)] ?I(X。Y)是信源概率 ?的 ∩ 型函數(shù)。 該結(jié)論意味著 : (當(dāng)信道固定時(shí) ) ? （ 1） 對(duì)固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴(kuò)展信道的輸入符號(hào)集為 A＝ {00， 01， 10， 11}， 共有 22＝ 4個(gè)符號(hào) ， 輸出符號(hào)集為 B＝ {00， 01， 10， 11}。 )NiiiI X Y I X Y?? ? 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少． ?若信道的輸入隨機(jī)序列為 X= (X1X2…XN