【正文】 Y a2 b1 a3 a4 b2 a5 1 1 1 1 1 無損確定信道 無損確定 信道：輸入和輸出是一一對應(yīng)關(guān)系 )3,2,1,(10)|()|( ???????? jijijibapabpjiijX ???????????100010001Pa1 b1 Y a2 b2 a3 b3 1 1 1 )()(),( YHXHYXI ??rYXICiaplo g)。(YXIZXIZYIZXI??? 例 設(shè)有兩個離散 BSC信道 ,串接如圖 ,兩個BSC信道的轉(zhuǎn)移矩陣為 : ??????????ppppPP1121X 0 0 Z Y 1 1 1p 1p 1p p ? 串聯(lián)信道的轉(zhuǎn)移矩陣為 : ???????????????????????????????222221 )1()1(2)1(2)1(1111ppppppppppppppppPPP1p p 信道容量 信道容量的定義 定義 信道容量定義為平均互信息的最大值： )。(XYHYHXHXYHYHYXHXHYXI???????)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYH???????? N次擴展信道 簡單的離散無記憶信道 1)()()()()()()()()()(1212222111211212222111211??????????????????????????????sjijrsrrssrsrrssabPPPPPPPPPPabPabPabPabPabPabPabPabPabPP??????????????? N次擴展信道 ???????????????????????NikihiD M CkhkhshkhsrrrssabPPNNNNNNN11212222111211)()(1,?????????????其中，?????????? Niii YXIYXI1)。( YXHXHYXI ??? Y未知 ,X 的不確定度為 H(X) ? Y已知 ,X 的不確定度變?yōu)?H(X |Y) 平均互信息 有擾信道 干擾源 信源 X 信宿 Y ? 通信系統(tǒng)中 ,若發(fā)端的符號為 X ,收端的符號為 Y – 如果是 一一對應(yīng)信道 ,接收到 Y后 ,對 X的不確定性將完全消除： H(X|Y) = 0 – 一般情況： H(X |Y) ＜ H(X),即了解 Y后對 X的不確定度的將 減少 ? 通過信道傳輸消除了一些不確定性 ,獲得了一定的信息 。 2〉 信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。Y)是信道傳遞概率 p(y|x)的下凸函數(shù)。 若信道是無記憶的 ， 則有： 若信源是無記