【文章內容簡介】 ypypxpxp信息論與編碼 信道與信道容量 )]1(2l o g [)1()2l o g ()](/)1/1(l o g [)1/1()()](/)1/0(l o g [)1/0()()](/)0/1(l o g [)0/1()()](/)0/0(l o g [)0/0()(11011000ppppypppxpypppxpypppxpypppxpC????????信息論與編碼 信道與信道容量 C與信道轉移概率的關系如下圖所示。 ? 當 p=0時，即信道無誤碼時， C=H(X)=1bit/符號，達到了信道容量的最 大值，相當于沒有噪聲 損失。 C p Cp曲線 0 ?當 p=，信道容量C=0，這時候由于輸入輸出完全 獨立，從輸出端得不到任何關于輸入的信息 信息論與編碼 信道與信道容量 例 33 設有兩個離散 BSC信道，其轉移概率矩陣都為 ??????????????1121 PP0 1 Y X Z ε ε ε ε 1ε 1ε 1ε 1ε 0 1 信息論與編碼 信道與信道容量 ?????????????????????????????222221)1()12)12)1(1111????????????????（（PPP可以求得 I(X。Y)=1H(ε), I(X。Z)=1H(2ε(1 ε)) 信息論與編碼 信道與信道容量 （ 3） 準對稱 DMC信道的信道容量 ? 如果信道轉移矩陣 P是 輸入對稱而輸出不對稱 ，即轉移概率矩陣的每一行都包含同樣的元素，但每一列包含的元素可以不同，則稱這樣的信道為準對稱 DMC信道。例如： 就是準對稱 DMC信道。 ???????信息論與編碼 信道與信道容量 ? 由于每列元素不相同，所以信道的輸入和輸出概率可能不等，此時 H(Y)的最大值可能小于 Y等概率時的熵，因而準對稱 DMC信道的容量 ? 可以證明，對于準對稱 DMC信道，當輸入概率分布為等概分布時，達到其信道容量，為 ????????rkkks MNpppHnC121 l og),(l og ?????mjijij ppmC1l ogl og信息論與編碼 信道與信道容量 ? n是輸入符號集中符號個數， 是轉移概率矩陣中一行的元素，即 ? 是信道轉移矩陣的第 k個子矩陣中行元素之和， ? 是信道轉移矩陣的第 k個子矩陣中列元素之和。 ? r是互不相交的子集個數 sppp ??? , 21 ?)/( ijjk abpN ??kNkM)/(),( 21 is aYHpppH ???? ?)/( iijk abpM ??信息論與編碼 信道與信道容量 ? 轉移矩陣的子矩陣是這樣得到的：由于轉移矩陣中每一行都包含同樣的元素，而每一列則可以包含不同的元素，因此，我們可以把轉移矩陣分成 n個互不相交的子集，每一個子集構成的子矩陣都是對稱的。 信息論與編碼 信道與信道容量 例如：設轉移矩陣為 則可以分成三個子集，每個子集組成的子矩陣為 ???????????316161311P???????????31312P???????????61613P???????????3161616131316131P信息論與編碼 信道與信道容量 又例如：設轉移矩陣為 則可以分成二個子集，每個子集組成的子矩陣為 因此 ??????? ??????? ??yik xypN )/( ??xik xypM )/(???????信息論與編碼 信道與信道容量 例題 35：已知一個信道的信道轉移概率矩陣為 求該信道的信道容量。 解：將 P劃分成兩個子矩陣： 則 ?????????????????????, 2121 ???? MMNN信息論與編碼 信道與信道容量 最佳輸入分布為等概分布，即 故 )()( 21 ?? xpxp符號/ o o o o o o gl o g),(l o g222222b i tMNHnCkkk?????????? ?信息論與編碼 信道與信道容量 解法 2：求 I(X。Y)的極大值 設 則 ?? ?????jiijjijjj xypyxpypypXYHYHYXI,)/(l o g),()(l o g)()/()()。(?? ??? 1)(,)( 21 xpxp??????????)1()1()1()],([??????ji yxp信息論與編碼 信道與信道容量 由 得 所以 ??ijij yxpyp ）,()()()()(321?????ypypyp??) n ()() n ()()/(ln)/()()(ln)()。(???????????? ? ??????i jijijijjj xypxypxpypypYXI信息論與編碼 信道與信道容量 由 得 解之得： 此時 信道模型：二進制對稱刪除信道 0)。( ??? ? YXI) n () n ( ?????? ??)((, 21 ??? xpxp ）故?符號/)。(m a x b i tYXIC ??信息論與編碼 信道與信道容量 DMC信道的信道容量 ? 以輸入符號概率矢量 Px為自變量求函數 I(Px)極大值，即信道容量的問題，已經得到解決，稱BlahutArimoto算法。 ? 定理：一般離散信道的平均互信息 I(X。Y)達到極大值（等于信道容量）的充要條件是輸入概率分布 滿足 其中的 C為信道容量。 },2,1),({ niap i ?????????iapaCYaIbiapaCYaIaiiiiii條件的其對所有條件的其對所有0)()。()(0)()。()(信息論與編碼 信道與信道容量 ? 從定理中可以得出這樣的結論：當信道平均互信息達到信道容量時，輸入信源符號集中每一個信源符號 對輸出端 Y提供相同的信息量，只是概率為零的符號除外。 ? 定理只是給出了達到信道容量時，最佳輸入概率分布應滿足的條件，但是并沒有給出輸入符號的最佳概率分布值，也沒有給出信道容量的數值。另外，定理也隱含著，達到信道容量的最佳分布不一定是唯一的。 ix信息論與編碼 信道與信道容量 ? 在一些特殊的情況下，我們可以利用這個定理找出所求的最佳輸入概 率分布和信道容量。 例題：設信道的轉移概率矩陣為 該信道為非對稱 DMC信道，求其信道容量。 ?????????1001PX Y 0 1 2 0 1 1 1 1/2 1/2 信息論與編碼 信道與信道容量 解 ：仔細觀察此信道，設想輸入端輸入符號 1的概率為 0，則該信道就成了一一對應信道。如果符號 1的概率不等于 0，就會增加不確定性，而確定性信道的互信息量最大，因此，我們可以設想， p(0)=p(2)=1/2，p(1)=0，此時有 2l og)()0/(l og)0/()。0(21??? ??j jjii ypypypYxI2l og)()2/(l og)2/()。2(21?