【正文】 ? ? 1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC1C對于碼 1 () 0 . 6 4 63HXR ?? (比特／信道符號 ) 2() 0 .4 8 44HXR ??2C對于碼 (比特／信道符號 ) 信道編碼定理 定理 有噪信道編碼定理 (香農(nóng)第二定理 )： 若有一離散無記憶平穩(wěn)信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當 L足夠長時，譯碼錯誤概率 ， ?為任意大于零的正數(shù)。 ???????? ????? WNPWTCC sTt 01lo glim比特／秒 信源與信道的匹配 ? 在一般情況下，當信源與信道相連接時，其信息傳輸率并未達到最大。 這與實際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。 [例 5] 某對稱離散信道的信道矩陣如下，求其信道容量。 三、對稱離散信道的信道容量 例如： ????????????????????????????2161313121616131213131616161613131PP 和都是對稱離散信道 都不是對稱離散信道 ??????????????????3161316161613131PP 和若輸入 /輸出符號個數(shù)相同，都等于 r，且信道矩陣為： 則此信道稱為 強對稱信道或均勻信道 。Y)/t = H(X)/t – H(X|Y)/t （比特 /秒） 一、 信道容量的定義 由于平均互信息 I(X。 設離散無記憶信道的 輸入符號集 A＝ {a1， … ， ar}， 輸出符號集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp110)|()...|...()|(12121 ijNiNN xyPxxxyyyPxyP ?????????????????rsrrsspppppppppP. . .:. . .::. . .. . .212222111211則此無記憶信道的 N次擴展信道 的數(shù)學模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( ... ) ( ... )( ... ) ( ... )( | ): ( ... ) ( ... )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? [例 3] 求二元無記憶對稱 信 道 （ BSC） 的二次擴展信道。Y) = I(Y。Y) = 0 [I(X。 I(X。(ijij ijijij iji xpyxpyxpyxIyxpYXI ? ?? ? ??平均互信息 I(X。 傳遞概率 : pPabPpPabPppPabPppPabP????????????)0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211? p是單個符號 傳輸發(fā)生錯誤 的概率。反映了 信道的統(tǒng)計特性 。 ?條件概率： P(y/x)＝ P(y=bj/x=ai)＝ P(bj/ai) 這一組條件概率稱為 信道的傳遞概率 或 轉(zhuǎn)移概率 ，可以用來 描述信道干擾 影響的大小。 后驗熵是當信道接收端接收到輸出符號 bj后 ， 關(guān)于輸入符號的信息測度 。 y)0，說明在未收到信息量 y以前對消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對 x是否出現(xiàn)的不確定程度增加了。Y) H(XY) 圖中，左邊的圓代表隨機變量 X的熵，右邊的圓代表隨機變量 Y的熵，兩個圓重疊部分是平均互信息I(X。Y) 具有以下特性： （ 1）非負性 即 I(X。 ? （ 1） 對固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。( 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔?，使得后面?zhèn)魉偷姆柕幕バ畔p少 若信道的輸入隨機序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…Y N)。Y)=H(X)=H(Y) ??????????100010001)3,2,1,(10)/()/( ???????? jijijibaPabPjiij)/(l o gl o g)(m a x)(m a x )()( s y m b o lb i tsrYHXHC yPxP ????有噪無損信道： 接收到符號 Y后，對X符號是完全確定的。, . . . ,39。()/()(),()/(l o g),()/(),(l o g),(),()(l o g)()(,XYHYHYXHYHXHYXHXHXYIYXIXYHXHYXHd x d yxypyxpXYHd x d yyxpyxpYXHdxxpxpXHccccccccccYYXcYXYXcXXc????????????????????????????互信息條件熵聯(lián)合熵相對熵? 波形信源熵 )/(l i m))(/)(()(l i m))(()(l o g)()()(l o g)(),()(,21XYXyxy / xyx,Y / XxxxXYXcLccLcYYXcXXLccHtxtyHHtxHLddppHdppXXXHH?????????????????????隨機波形信源取條件熵相對熵和平穩(wěn)隨機矢量?? 最大熵定理 具有最大熵當它是均勻分布時變量對于定義域有限的隨機限峰功率最大熵定理，X ，:)(1l o g]1)()()[(l o g)(1l o g)()(l o g)()(l o g)()()()(1l o g)()(l o g)())(,(1211212121211111111111iiNiNbabaiiNiNbabaNbabaNbabaNbabacabdxdxdxxpxqxpeabdxdxdxxpxqxpdxdxdxxqxpdxdxdxxqxqxpxpdxdxdxxpxpxpxHNNNNNNNNNN????????????????????? ?? ?? ?? ?? ???????????? 最大熵定理 ? 限平均功率最大熵定理：對于相關(guān)矩陣一定隨機變量X，當它是正態(tài)分布時具有最大熵