【正文】 ???3161316161613131PP? 不具有對(duì)稱性 ,因而所對(duì)應(yīng)的信通不是對(duì)稱離散信道。 ?? ????niijiji jijijijabpapbpbpabpabpapYXI1)|()()()()|(l og)|()()。 ????????????????????????????????????????????616131313161613131613161616131311P? 它們滿足對(duì)稱性 ,所以 P1所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。 ? 設(shè)矩陣可劃分成 r個(gè)互不相交的 子集 。 所 以 經(jīng) 過(guò) 不 斷 調(diào) 整 輸 入 符 號(hào) 的概 率 分 布 ， 最 終 將 使 每 個(gè) 概 率 不 為 零 的 輸 入 符 號(hào) 對(duì) 輸 出 提 供 的 平 均互 信 息 是 相 同 的 。 49 獨(dú)立并聯(lián)信道 ? 獨(dú)立并聯(lián)信道的信道容量 ???????LllLLCCCCIC121,2,1 )。 55 信道冗余度定義為 信道絕對(duì)冗余度 =CI(X。無(wú) 燥 無(wú) 損 信 道 ：無(wú) 燥 有 損 信 道 ：有 燥 無(wú) 損 信 道 ：二 元 對(duì) 稱 信 道 ：對(duì) 稱 信 道 ：準(zhǔn) 對(duì) 稱 信 道 ：121( , , ..., ) lo grs k kkn H p p p N M????59 1111 , 2 , ,1()0m a x ( 。 )( 。也就是說(shuō)，只有特定的信源才能使某一信道的信息傳輸率達(dá)到最大。(m a x)。 ) ( ) ( 。 ) ( ) 0 . 2, ( ) ( ) ( 1 0 . 2 ) / 2 0 . 4p a p aC I X Y p bb b p b p b???? ? ? ?事 實(shí) 上 該 信 道 是 一 種 叫 做 二 元 對(duì) 稱 刪 除 信 道 。()。Y)是輸入信源的概率分布 p(ai)的 型上凸函數(shù)。(m a x1)(YXITCiapt ?10 信道容量的計(jì)算 ? 對(duì)于一般信道 ,信道容量計(jì)算相當(dāng)復(fù)雜 ,我們只討論某些特殊類(lèi)型的信道： ? 離散信道 可分成： ? 無(wú)干擾 (無(wú)噪 )信道 – 無(wú)嗓無(wú)損信道 – 有噪無(wú)損信道 – 無(wú)噪有損信道 ? 有干擾無(wú)記憶 信道 ? 有干擾有記憶 信道 11 無(wú)干擾離散信道 ? 無(wú)噪無(wú)損 信道 nYHXHYXICiap2)( l o g)(m a x)(m a x)。 14 對(duì)稱 DMC信道 ? 若輸入符號(hào)和輸出符號(hào)個(gè)數(shù)相同 ,都等于 n,且信道矩陣為 ????????????????????????????pnpnpnppnpnpnppP111111111???? 此信道稱為 強(qiáng)對(duì)稱信道 (均勻信道 ) – 信道矩陣中各列之和也等于 1 15 對(duì)稱 DMC信道 ? 對(duì)稱離散信道的平均互信息為 ( 。(22 離散無(wú)記憶模 K加性噪聲信道 ? X是信道輸入， Z是信道干擾， Y為信道輸出，取值空間均為同一整數(shù)集， X=Z=Y={0,1,…,K 1},Y=X Z mod K。 31 準(zhǔn)對(duì)稱信道的信道容量 ? 準(zhǔn)對(duì)稱信道 ????????????????????2P? 由于轉(zhuǎn)移概率矩陣中每行的元素相同，所以 niaYHabpabpabpabpapXYHiijjijiji jiji?,2,1)|()|(l og)|()|(l og)|()()|(???????? ?32 準(zhǔn)對(duì)稱信道的信道容量 ? 但每列的元素不相同，所以信道的輸入和輸出分布概率可能不等，此時(shí) H(Y)的最大值可能小于 Y等概率時(shí)的熵。 – Nk是第 k個(gè)子矩陣 Pk中 行 元素之和 , – Mk是第 k個(gè)子矩陣 Pk中 列 元素之和。該 結(jié) 論 只 給 出 了 達(dá) 到 信 道 容 量 時(shí) 輸 入 符 號(hào) 概 率 分 布 的 充 要條 件 ， 并 未 給 出 具 體 值 ， 所 以 沒(méi) 有 具 體 可 求 的 公 式 。(m a x?? YX)。Y) 其中 C是信道容量， I(X。 ) m a x ( 。 )( ) ( 。 (2)信息匹配 ：對(duì)于某一信道，只有當(dāng)輸入符號(hào)的概率分布p(x)滿足一定條件時(shí)才能達(dá)到其信道容量 C。(1llLlYXII ???ΥΧ? L次擴(kuò)展信道 的信道容量 ?????????LlLlllPPL lCYXIICXX 11)()。 )( ) ,( 。 ) 0 . 0 3 6 /C I X Y b i t?? 符 號(hào)由 解得 1 2 3( ) ( ) 0 . 4 , ( ) 0 . 2p b p b p b? ? ?1231 2 1 2( ) ( ) 1 / 2m a x ( 。()。 0)21,21(1 ??? HC信道無(wú)噪聲 ? 當(dāng) p = 0, C =1－ 0 = 1bit = H(X) ? 當(dāng) p =1/2, 信道強(qiáng)噪聲 BSC信道容量 ? BSC信道容量 21 信道容量 ? 定理 ： ? 給定轉(zhuǎn)移概率矩陣 P后 ,平均互信息 I (X。(m a x)( YXICiap?? 單位時(shí)間的信道容量： )。 ) ( ) ( | ) ( ) ( | )I X Y H X H X Y H Y H Y X? ? ? ?niaYHabpabpabpabpapXYHiijjijiji jiji?,2,1)|()|(l og)|()|(l og)|()()|(???????? ?),()|()|( 21 mi pppHaYHXYH ???16 對(duì)稱 DMC信道 ? 對(duì)稱 DMC信道的 容量 ： ? 上式是對(duì)稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?,它只與對(duì)稱信道矩陣中行矢量 {p1, p2,…pm }