【正文】 79。( YXI)(xp先驗(yàn)概率分布 應(yīng)當(dāng)滿足下列條件 信道容量 對(duì)于給定信道，條件轉(zhuǎn)移概率 p(bj︱ ai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗(yàn)概率分布p(x)，使 得 平均互信息量最大 ,這種先驗(yàn)分布概率為最佳分布。輸入、輸出符號(hào)之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。對(duì)于給定 ai,由于 p(bj︱ ai)只有一個(gè)為 1，其余都為 0，所以 H(X︱ Y)=0,則 (a) 無噪無損信道模型 X Y 1 1 1 1 信道容量 I ( X 。 r 無噪有損信道 信道輸出符號(hào) Y 集合的數(shù)量小于信道輸入符號(hào) X集合的數(shù)量，即 r＞ s，形成多對(duì)一的映射 . X Y 1 1 1 1 (b) 無噪有損信道 信道容量 這類信道的特點(diǎn)是，信道概率轉(zhuǎn)移矩陣中每行只有一個(gè)非零元素 . 接收到符號(hào) Y后 ,不能確定信道輸入 X ，即不能夠完全消除 X的不確定性，所以 H(X︱ Y)＞ 0，且 H(X)＞ H(Y) ,I(X。(m a x )()( 符號(hào)比特rxHYXIC xpxp ??? 信道容量 當(dāng)信道輸入為等概率輸入時(shí)， I(X。 因此，輸入對(duì)稱信道的容量為 )( 21 sppp ， ? C = m a xp ( a i ) I ( X 。 解 設(shè)信道輸入的概率空間為 ???????P??????????????ppaaxpX1)(21離散單符號(hào)信道及容量 信道輸出的概率分布為 取得極值的條件為 )1()()1()()1()(321??????????????ppbppppbppppbp? ?)(l o g)()(l o g)()(l o g)()( 332211 bpbpbpbpbpbpYH ????= {( 0 . 3 + 0 . 3 p ) l og( 0 . 3 + 0 . 3 p ) + ( 0 . 6 0 . 3 p ) l og( 0 . 6 0 . 3 p ) + 0 . 1 l og 0 . 1 }0)( ?dp YdH 解上述方程可以得到取極值的條件為 P= ，即當(dāng)信道輸入為等概率分布時(shí)， H(Y)取得最大值，所以 ? ? )(m a x ?YH符號(hào)比特 / ?????離散單符號(hào)信道及容量 C = m a xp ( ai )H ( Y ) H ( Y | X ) = 0 . 0 7 3該信道的容量為 H ( Y | X ) = H ( Y | a 1 ) = p ( b j | a i ) l og p ( b j | a i )j = 1s229。 )}。(m a x )()( sYHYXIC xpxp ???對(duì)稱離散信道的信道容量 1）輸入對(duì)稱信道容量 如果信道轉(zhuǎn)移概率矩陣中 所有行矢量都是第一行的某種置換 ，這種信道稱為輸入對(duì)稱離散信道。 和 輸出對(duì)稱信道容量： C = m a xP ( ai )I ( X , Y ) = m a xP ( ai )H ( Y ) H ( Y | X )= l og s m i np ( ai )H ( Y | X ) 若信道輸出對(duì)稱，則當(dāng)信道輸入符號(hào)等概率分布時(shí) ,信道輸出也是等概率分布的。4）對(duì)稱信道容量 若轉(zhuǎn)移概率矩陣 P? 每一行都是第一行的轉(zhuǎn)置 , 稱矩陣是輸入對(duì)稱 .若 每一列都是第一列的轉(zhuǎn)置 ,稱矩陣是輸出對(duì)稱 .若輸入輸出都對(duì)稱 ,稱對(duì)稱 DMC信道。 解 :顯然該信道是對(duì)稱的，信道容量為 ????????????????????????????prprprpprprprppP111111111??????)1,1,1(l o g ????? r pr ppHrC ?離散單符號(hào)信道及容量 1l o g1)1()1l o g ()1(l o g ???????? rprprppr = )1l o g ()(l o g ??? rppHr 上述信道稱為強(qiáng)對(duì)稱信道或者是均勻信道，是對(duì)稱信道的一個(gè)特例。 離散單符號(hào)信道及容量 ? 或者說： 每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但可按著信道矩陣的列將信道矩陣劃分成若干個(gè)子矩陣。 離散單符號(hào)信道及容量 上式為準(zhǔn)對(duì)稱信道容量計(jì)算公式，而到達(dá)信道容量的信道輸入最佳概率分布由下列定理確定。235。234。235。234。235。234。235。234。235。234。235。234。235。234。 離散單符號(hào)信道及容量 對(duì)于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值 ,即可得到最佳分布； 然后根據(jù)最佳分布計(jì)算信道輸入、輸出之間的平均互信息量，既得到信息容量。 先求出信道輸出概率頒布 p(bj). ????? 2121()()。234。Xq ( X )233。249。=x 1 x 2p 1 p233。249。將相關(guān)參數(shù)帶入上述計(jì)算公式，得到； ????? 2121()()。(???????0l o g)1() o g ( ?????? eppp 4 1 )。并且 要滿足非負(fù)且歸一化的條件，因此，求信道容量歸結(jié)為求有約束極值的問題。 計(jì)算 并使其為 0 并考慮到 ， )()。 J182。j229。 ) ( 。 因?yàn)槲覀冊(cè)趯?duì) )。 其中 C Y a I i ? ) 。所以一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。 解 : 該信道不能直接使用對(duì)稱信道計(jì)算其信道容量 若信道輸入符號(hào)的概率 p(a2)=0,該信道就是一個(gè)二元純對(duì)稱刪除信道。(31333 ?? ??j jjjbpabpabpYaI比特 ∕符號(hào) 離散單符號(hào)信道及容量 ???????????313131P 該輸入概率分布滿足定理 32的條件 ,信道容量為C=,對(duì)應(yīng)的信道輸入最佳概率分布為 (,0,) C Y a I i ? ) 。離散序列信道的一般模型見圖 離散序列符號(hào)信道及容量 圖 35 離散序列信道模型 對(duì)于無記憶離散序列信道，設(shè)序列長(zhǎng)度為 N，則信道轉(zhuǎn)移概率可以簡(jiǎn)化為 如果信道是平穩(wěn)的，則信道轉(zhuǎn)移概率可以進(jìn)一步簡(jiǎn)化為 p(Y︱ X) = p ( Y ︱ X ) = ???NiiiNN XYpXXXYYYp12121 )(),( ?? )( xyp N離散序列符號(hào)信道及容量 討論無記憶離散信道： 設(shè)信道輸入符號(hào)取自于符號(hào)集 信道輸出符號(hào)取自于符號(hào)集 信道轉(zhuǎn)移矩陣為 ? ?raaa , 21 ?? ?sbbb , 21 ?離散序列符號(hào)信道及容量 ???????????????)()()()()()()()()(212222111211rsrrssabpabpabpabpabpabpabpabpabpP???????設(shè)序列長(zhǎng)度為 N，信道輸入序列記作 α i=(ai1,ai2,… .air) i=1， 2， … ， rN， 信道輸出序列記作 β j=(bj1,bj2… .bjs) j=1， 2， … ， sN， 由于信道輸入共有 rN種可能取值 ,信道輸出有 sN種 可能取值 ,所以 N次擴(kuò)展信道的轉(zhuǎn)移概率矩陣為 rN sN 的矩陣，可以表示為 ???????????????NNNNNNsrrrssqqqqqqqqqQ???????212222111211離散序列符號(hào)信道及容量 對(duì)于無記憶信道 ,上述的轉(zhuǎn)移概率可以簡(jiǎn)化為 其中， m=1， 2， … ， rN， n=1， 2， … ， sN 長(zhǎng)度為 N的離散序列平均互信息量為 I(X。特別是當(dāng)信道輸入序列和信道都是無記憶時(shí)，兩者相等。(1, YXNIYXIYXINiii ?? ??其中， i=1， 2， … ， N，即具有相同的信道容量。(m a x 離散序列符號(hào)信道及容量 有記憶的離散序列信道的分析比無記憶的離散序列信道的分析要復(fù)雜得多，特殊情況下可以通過狀態(tài)變量來分析，這里不進(jìn)行討論。 假設(shè)信道 1的轉(zhuǎn)移矩陣為 P1,信道 2的轉(zhuǎn)移矩陣為 P2，串聯(lián)信道總的概率轉(zhuǎn)移矩陣為 P=P1P2 兩個(gè)信道的串聯(lián)型式 平均互信息量滿足 I(X； Z)≤I(X ； Y) I(X； Z)≤I(Y ； Z) 總的信道容量不會(huì)大于各組成信道的信道容量，即 C ≤ min{C 1， C2} 可以將該結(jié)論擴(kuò)展到 m級(jí)串聯(lián)，得到總的轉(zhuǎn)移矩陣為 ???miiPP1)。 信源與信道的匹配 實(shí)際通信中，經(jīng)常使用離散信道分析信息傳輸問題。 當(dāng)信息傳輸速率達(dá)到信道容量時(shí)，稱為信源與信道達(dá)到匹配，否則信道有冗余。當(dāng)離散信道是對(duì)稱的或者接近對(duì)稱時(shí)，為了實(shí)現(xiàn)有效的信息傳輸，要求信源輸出符號(hào)分布盡可能接近信道要求的等概率分布，為此可以采用信源編碼技術(shù)去除信源符號(hào)之間的相關(guān)性，并且經(jīng)過適當(dāng)?shù)淖儞Q后，信源編碼輸出符號(hào)分布盡可能接近等概率分布， 就可使信道傳輸速率 R達(dá)到或者接近信道容量，實(shí)現(xiàn)信源與信道的匹配。目的在于建立關(guān)于信道的研究方法及關(guān)于信道的基本概念。 ? 輸出離散信道： 如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱信道關(guān)于輸出是對(duì)稱的，這種信道稱為輸出離散信道。( YXIR ?