【正文】 ( ???本章小結(jié) 信息容量：設(shè)有一般離散信道，它有 個(gè)輸入個(gè)符號， 個(gè)輸出符號，其平均互信息 達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布 滿足（其中 ） 對 所有 的 ＜ 對 所有 。( YXIC ??CYXICYXIC )。 信道的剩余度： 設(shè)信道的信息傳輸速率為 ，信道容量為 ，信道的剩余度定義為 信道剩余度 而相對剩余度定義為 )。 本章小結(jié) 準(zhǔn)對稱信道： 如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的子集，每個(gè)子矩陣滿足下列性質(zhì)：(1)每行都是第一列的某種置換； (2)每列都是第一列的某種置換。( YXI ｝比特 ∕ 符號 本章小結(jié) ? 輸入對稱離散信道： 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。 信道容量 C： 設(shè)某信道的平均互信息量為 ，信道輸入符號的先驗(yàn)概率為 ，該信道的信道容量 定義為 )。本章所關(guān)注的只是幾種信道的簡單模型及其容量的計(jì)算，特別是離散無記憶對稱信道及組合信道的處理和容量計(jì)算。 信源與信道的匹配 如果信道的傳輸速率 R小于信道容量 C,可以對信源輸出進(jìn)行適當(dāng)?shù)男诺谰幋a ,實(shí)現(xiàn)無誤差的信息傳輸； 如果信道的信息傳輸速率 R大于信道容量 C， 實(shí)現(xiàn)無差錯(cuò)信息傳輸是不可能的。( ??? 信源與信道的匹配 一般情況下，信源輸出符號之間總是存在較強(qiáng)的相關(guān)性，而且信源的分布與信道難以匹配。 信源與信道的匹配 定義 35 設(shè)信道的信息傳輸速率為 R=I(X,Y)，信道容量為 C，信道的剩余度定義為 信道冗余度 =CI(X,Y) 相對剩余度定義為 C YXIC YXIC )。 信源的分布并不總是滿足信道輸入的最佳概率分布，所以信息傳輸速率總是小于信道的容量的。對于給定離散信道，其容量是存在的，而且是一個(gè)確定量，只有信源輸入滿足最佳分布時(shí)，信息的傳輸才能夠達(dá)到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。(??miiC1離散序列符號信道及容量 當(dāng)輸入隨機(jī)變量 Xi相互獨(dú)立，且有 p(X1,X2… Xm) 達(dá)到最佳分布時(shí)容量最大 (為各自信道容量之和 )。(m a x)( ZXIC xp?離散序列符號信道及容量 根據(jù)總得轉(zhuǎn)移矩陣即可求出串聯(lián)信道的容量為 其中， X和 Z分別表示串聯(lián)信道的輸入和輸出符號。 。 【例 】某二元離散無記憶信道的轉(zhuǎn)移矩陣為 ?????????ppppP11???????????????????????????22222222)1()1()1()1()1()1()1()1()1()1()1()1(ppppppppppppppppppppppppQ離散序列符號信道及容量 求信道容量 C。(m ax = ?????NiiNiiixpCYXIi 11 )()。于是，可以得到離散無記憶 N次擴(kuò)展信道的容量為 CN = NC 此 式表明 ,離散無記憶 N次擴(kuò)展信道的信道容量等于構(gòu)成單個(gè)離散信道的信道容量的 N倍 ,而信道輸入序列的最佳分布是構(gòu)成序列的每個(gè)隨機(jī)變量都達(dá)到各自的最佳概率分布。Y)=I(Xi,Yi) ， i=1， 2， … ， N 于是可以得出結(jié)論 由于信道輸入隨機(jī)序列的各個(gè)變量都在同一信道中傳輸，所以有 Ci = C 離散序列符號信道及容量 ),()()。如果構(gòu)成信道輸入、輸出隨機(jī)序列的各個(gè)隨機(jī)變量來自于同一符號集，都服從同一分布，而且信道也是平穩(wěn)的 . I ( X ； Y )= ??Niii YXI1)。Y)與信道輸入和輸出中各個(gè)隨機(jī)變量的平均互信息量之和之間的關(guān)系。Y)=H(XN)H(XN︱ YN)=H(YN)H(YN︱ XN) ?????NiminimNmmnNnnmnnm abpaaabbbppq12121 )()()( ????離散序列符號信道及容量 ? 單符號無記憶信源的 N次擴(kuò)展信道：可以看作是一種 特殊的 多符號信道，而多符號信道是各個(gè)輸入信源 Xi都取自同一集合 X，并聯(lián)的各個(gè)輸出信宿 Yj都取自同一集合 Y, 這樣的 N個(gè)信道的并聯(lián)。實(shí)際中，信道輸入、輸出常常是離散隨機(jī)序列。 ( 對所有 0 ) ( ? i a p 的 i a ) 。(31222 ??? ??j jjjbpabpabpYaI比特 ∕符號 )()|(l o g)|()。 就可以假設(shè) p(a1)=p(a3)=1/2,然后檢查是否滿足定理 32的條件 ,如果滿足就可以計(jì)算出信道容量 ??????????????????????313131)|()|()|()|()|()|()|()|()|(333231232221131211abpabpabpabpabpabpabpabpabpP離散單符號信道及容量 首先求出 p(bj) )|()()()|()()()|()()(313331223111????????????iiiiiiiiiabpapbpabpapbpabpapbp離散單符號信道及容量 ??????????????????????313131)|()|()|()|()|()|()|()|()|(333231232221131211abpabpabpabpabpabpabpabpabpPp(a1)=p(a3)=1/2, p(a2)=0 計(jì)算互信息量 )()()(321???bpbpbp )()|(l o g)|()。該信道容量和信道輸入的最佳概率分布。 對于某些特殊信道，可以使用上述定理求解信道容量。 另，達(dá)到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得 I(X,Y)達(dá)到最大值即可。 ( 對所有 0 ) ( ? i a p 的 i a ) 。 定理 32 設(shè)有一般離散信道 ,它有 r個(gè)輸入個(gè)符號， s個(gè)輸出符號，其平均互信息 I(X,Y)達(dá)到 極大值（即等于信道容量）的充要條件是 輸入概率分布 p(ai)滿足 ri ,2,1 ??離散單符號信道及容量 常數(shù) C就是所求的信息容量。( YXI 求偏導(dǎo)時(shí)，僅限制1ip ??，并沒有限制0ip ?，所以求出 的ip有可能為負(fù)值，此時(shí)的 C 就不存在，必須對ip進(jìn)行調(diào)整，再重新求解 C 。必須解出相應(yīng)的ip, 并確認(rèn)所有的ip, i ＝ 1,2 ,…, n都大于等于零時(shí)，所求的 C 才存在。 )kkkp I a Y I X Y??( 。 ) lo g 1 , ...,kjk k jj jpI a Y p k rq???( 。i , j229。 p k [ p i p i j l og p i j q j l og q j l ( p i 1 )i229。 p k =182。( ?kJp??1rj i i jiq p p?? ? p i = p ( x i ) , p i j = p ( y j | x i ) , q j = q ( y j )? 得： ? 所以，有 ? 記 ? 因?yàn)? ，所以 182。( xpYXI 為 ()pxjijjiiji qpppYXI ??,log)。 利用拉格朗日乘子法，求函數(shù) 的極值。為了書寫方便， 記 。 離散單符號信道及容量 一般離散信道容量的計(jì)算 由于 的上凸函數(shù)，故極大值存在。(m a x ?? YXIC離散單符號信道及容量 比特 ∕符號 得到 ,p= ，所以信道容量為 從上例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計(jì)算機(jī)很難求出最佳分布，所以一般離散信道的信道容量的求解要通過計(jì)算機(jī)來進(jìn)行。( ppHppHYXI ??????? ) o g ()( pp ??? 對 p求導(dǎo)，得到最佳分布 epppHHdpYXdIl o g) o g ()()()。(j ji ibpapYXI | )( )(l og)jiji bp abpa )l o l o ()。234。235。234。235。249。235。(j ji ibpapYXI | )( )(l og)jiji bp abpa 由公式 pppbppppbp)1()()1()(21??????????離散單符號信道及容量 P ( b j ) = p ( a i ) p ( b ji = 1r229。 解 :由信道轉(zhuǎn)移矩陣知 ,信道不對稱的 , 信道的輸入、輸出符號數(shù)量都為 2. 設(shè)輸入符號的概率為 p,1