[工程科技]信息論第三章(完整版)
【正文】 .. . )( | ): ( .. . ) ( .. . )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h hN k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? 根據(jù)平均互信息的定義，可得 無記憶信道的 N次擴展信道的平均互信息 ： ( 。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔ⅲ沟们懊鎮(zhèn)魉偷姆柕幕バ畔⒃黾印?) ( 。 ( , ) ( , )( , ) ( , )I X Y Z I Y ZI X Y Z I X Z??( | ) ( | ) ( | ) ( | )P z x y P z yor P z x y P z x??當 且 僅 當?shù)?號 成 立? 一般的串聯(lián)信道中，隨機變量 Z 往往只依賴于信道 II 的輸入 Y，不直接與變量 X 發(fā)生關系，也就是說通過隨機變量 Y 而依賴于 X，因此串聯(lián)的輸入輸出可以組成一個馬爾可夫鏈，并有下面的數(shù)據(jù)定理。(?★ 表示信道的 信道容量 和 實際傳信率 之差。 ∵ 對 二元離散信道的信道容量 為： C＝ 1(比特 /信道符號 ) 又 ∵ 本信源的信息熵為 H(X)＝ (比特 /信源符號 ) ∴ H(X) C（直接傳輸，將丟失大量信息） 解決方案： 要使信源在此二元信道中進行傳輸，必須對 X進行二元編碼。 ? ? 1 2 3 4 5 612000 001 010 011 100 101000 0 000 1 001 0 001 1 010 0 010 1x x x x x xCC1C對于碼 1() 0 . 6 4 63HXR ?? (比特 /信道符號 ) 2() 0 . 4 8 44HXR ??2C對于碼 (比特 /信道符號 ) 補充： ? 設有兩個離散 BSC信道串接 ， 兩個 BSC信道的轉(zhuǎn)移矩陣如下 ， 求信道容量 ??????????????1121 PP1222221111( 1 ) 2 ( 1 )2 ( 1 ) ( 1 )? ? ? ?? ? ? ?? ? ? ?? ? ? ???? ? ? ??? ? ? ? ???? ? ? ???? ? ?? ??? ? ???P P P二個 BSC信道串聯(lián)后的總信道矩陣為： ?平均互信息： I(X。 在無損 信 道中， 信 道容量 C＝ logr (r是信道輸入符號數(shù) )。也就是說，對接收到的數(shù)據(jù) Y 進行處理后，無論 Z 和 Y 是確定的還是概率的關系，都不會減少 X 的不確定性。 ) m a x ( 。Y） ? NC 即： CN = N C 。 )NNI I X Y?XY)/()( N
教學課件相關推薦
鄂ICP備17016276號-1