【正文】 )(11WPNisi ???? ?. . .1011011?????????????? ??NiniPP?解： 比較得： Ps7 = ， Ps8 = ， Ps9 = ，Ps10 = ， 可見，最后四個信道應(yīng)排除，即令： Ps7 =0， Ps8 =0 ， Ps9 =0 ， Ps10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） 再計算常數(shù) ?（此時 N = 6） ，得： ? ? . . . 61???????????? ?? ??iniPP?比較得： Ps6 = ，可見，第六個信道也應(yīng)排除，令： Ps6 =0 再計算常數(shù) ?（此時 N = 5） ，得： ? ? . . . 51???????????? ?? ??iniPP?可見，第五個信道也應(yīng)排除，令： Ps5 =0 ? ? . . . 41???????????? ?? ??iniPP?所以，功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 = Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (比特／ 10個自由度 ) 本例結(jié)果表明， 噪聲分量平均功率小的信道分配得到的相應(yīng)信號分量的平均功率要大一些， 那些太壞的信道就不去用它，可使總的信道容量最大。 ? ? 若提高信號的總平均功率，可使有些信道相應(yīng)的輸入信號也分配到一些能量。 功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 = l o g21l o g21l o g211l o g21443214141????????????????????????? ????nnnni nii nisiPPPPPPPC?????信道容量： (比特／ 10個自由度 ) 若提高信號的總平均功率，使： 功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 =， Ps5 =， Ps6 = ， Ps7 = ， Ps8 = . . .l o g21l o g21l o g2188765432181??????????????? ?? nnnnnnnni ni PPPPPPPPPC?????????信道容量： ? ? . . . 110 11???????????? ?? ??NiniPP?)(31WPNisi ???比較得最后兩個信道應(yīng)排除，令： Ps9 =0 ， Ps10 =0 ? ? .. . ???????三、限頻限時限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為 W，在這樣的波形信道中，滿足限頻、限時、限功率的條件約束，所以可通過取樣將輸入和輸出信號轉(zhuǎn)化為 L維的隨機序列： 12( , , ..., )Lx x x x? 12( , , ..., )Ly y y y?y x n??2L WT?和 ，而在頻帶內(nèi)的高斯噪聲是彼此獨立的，從而有 按照采樣定理，在 [0， T]范圍內(nèi)要求 。這是多維無記憶高斯加性信道，其信道容量為： 211 l o g 12Lii iPC???????????0 = lo g (1 )sPWT NW? 這是重要的 香農(nóng)公式 。當(dāng)信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達(dá)到此信道容量。 香農(nóng)公式的物理意義為：當(dāng)信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補償。香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。 [例 6． 4] 在電話信道中常允許多路復(fù)用。一般電話信號的帶寬為 3300Hz。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計算可得 電話信通的信道容量 為 22022比特／秒。 而實際信道能達(dá)到的最大信道傳輸率約為 19200比特／秒。因為在實際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計算的值要小。 說明： 實際信道通常是非高斯波形信道。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。 ???????? ????? WNPWTCC sTt 01lo glim比特／秒 信源與信道的匹配 ? 在一般情況下，當(dāng)信源與信道相連接時，其信息傳輸率并未達(dá)到最大。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實現(xiàn)。由此可見，當(dāng)信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。當(dāng)達(dá)到信道容量時，我們稱 信源與信道達(dá)到匹配 ，否則認(rèn)為信道有剩余。 信道剩余度定義為： 信道剩余度 = )。( YXIC ?相對信道剩余度 = C YXIC )。(?表示信道的實際傳信率和信道容量之差。 信道剩余度 可以用來衡量信道利用率的高低。 在無損 信 道中， 信 道容量 C＝ logr (r是信道輸入符號數(shù) )。而 I(X。Y)＝ H(X)，因而 ： 無損 信 道 的相對 剩余度 = rXHlog)(1?? 上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。 ? 對于無損信道，可以通過信源編碼減少信源的剩余度，使信息傳輸率達(dá)到信道容量。 ? 因此引入問題 ：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息 (符號 )轉(zhuǎn)換成適合信道傳輸?shù)姆?(信號 )從而達(dá)到信源與信道的匹配。 注： 信道容量 C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。 例如，某離散無記憶信源 通過一個無噪無損二元離散信道進(jìn)行傳輸。 對 二元離散信道的信道容量 為： C＝ 1(比特／信道符號 ) 對本信源的信息熵為 H(X)＝ (比特／信源符號 ) 要使信源在此二元信道中傳輸，必須對 X進(jìn)行二元編碼： 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xPX? ? ? ??? ? ? ?? ? ? ?因此， 必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。 ? ? 1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC1C對于碼 1 () 0 . 6 4 63HXR ?? (比特／信道符號 ) 2() 0 .4 8 44HXR ??2C對于碼 (比特／信道符號 ) 信道編碼定理 定理 有噪信道編碼定理 (香農(nóng)第二定理 )： 若有一離散無記憶平穩(wěn)信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當(dāng) L足夠長時，譯碼錯誤概率 ， ?為任意大于零的正數(shù)。反之，當(dāng) RC時，任何編碼的 必大于零，當(dāng) 時， 。 eP??eP L??1eP ?與無失真信源編碼定理 (香農(nóng)第一定理 )類似，香農(nóng)第二定理只是一個存在性定理，它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。即在保證信息傳輸率低于 (直至無限接近 )信道容量的前提下，錯誤概率趨于 “ 0”的編碼是存在的。 雖然定理設(shè)有具體說明如何構(gòu)造這種碼，但它對信道編碼技術(shù)與實踐仍然具有根本性的指導(dǎo)意義。編碼技術(shù)研究人員在該理論指導(dǎo)下致力于研究實際信道中各種易于實現(xiàn)的具體編碼方法。二十世紀(jì)六十年代以來，這方面的研究非?；钴S，出現(xiàn)了代數(shù)編碼、循環(huán)碼、卷積碼、級聯(lián)碼、格型碼等等，為提高信息傳輸?shù)目煽啃宰鞒隽酥匾呢暙I(xiàn)。 我們將在第六章介紹信道編碼的典型編碼方法。