【正文】 上式是加性高斯噪聲信道信息傳輸率的極限值。 香農(nóng)公式說明 ， 當(dāng)信道容量一定時(shí) ， 增大信道的帶寬 ， 可以降低對(duì)信噪功率比的要求；反之 ， 當(dāng)信道頻帶較窄時(shí) ， 可以通過提高信噪功率比來補(bǔ)償。我們把一次采樣看成信道的一次傳輸，由于每秒傳送 2B個(gè)樣值，所以單位時(shí)間的信道容量為 當(dāng)噪聲是雙邊功率譜密度為 的高斯白噪聲時(shí)， 12B)1lo g ( 22NXt BC ???? 比特 /秒 20N )1lo g (02BNBCXt ??? 這就是著名的 香農(nóng)公式 ， 它適用于加性高斯白噪聲信道 。假設(shè)某信道的頻帶限于（ 0，B），則其輸入、輸出信號(hào)和噪聲都是限頻的隨機(jī)過程，頻帶限于（ 0， B）。 ) l o g ( 1 ) , 1 , 2 , ,2iin Xiippi NPnC I I X Y i nP?? ? ? ? ??xxXY因此 2X?2N?)1lo g (2 22NXnC????則 比特 /n個(gè)樣值 * 波形信道及其信道容量 波形信道通常根據(jù)抽樣定理轉(zhuǎn)化成多維連續(xù)信道進(jìn)行處理。( YX( ) ( ) 1m a x ( 。 如果在每個(gè)抽樣時(shí)刻信源和噪聲是均值為 0、 方差分別為 和 的高斯隨機(jī)變量 ， ??????? ni NXni ii iiPPYXII11)1lo g (21)。(m a x )()()( NhYhXYhYhYXIC xpxpxp ????? 當(dāng)輸入隨機(jī)變量 X的概率密度是均值為 0、方差為 的高斯隨機(jī)變量，加性信道的噪聲 N是均值為 0、方差為 的高斯隨機(jī)變量時(shí)，輸出隨機(jī)變量 Y也是一個(gè)高斯隨機(jī)變量，其均值為 0、方差為 ，此時(shí)輸出隨機(jī)變量的熵 達(dá)到最大， 而信道達(dá)到信道容量： 其中 稱為信道的信噪比。這種信道稱為 高斯加性連續(xù)信道 。 噪聲源為高斯白噪聲的加性信道。 ) ( ) ( | )( ) ( | ) ( ) ( ) ( )I X Y I Y X h X h X Yh Y h Y X h X h Y h X Y? ? ?? ? ? ? ?( 。 ) ( ) l o g( ) ( )Rp x yI X Y p x y d x d yp x p y? ??( 。 圖 級(jí)聯(lián)信道 *4. 5 連續(xù)信道及其信道容量 連續(xù)隨機(jī)變量的互信息 連續(xù)隨機(jī)變量和之間的平均互信息定義為 連續(xù)隨機(jī)變量的平均互信息具有和離散隨機(jī)變量的平均互信息一樣的性質(zhì)： 1． 對(duì)稱性 ： 2． 非負(fù)性： 當(dāng)且僅當(dāng)隨機(jī)變量和統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。根據(jù)馬爾可夫鏈的性質(zhì)，級(jí)聯(lián)信道的總的信道矩陣等于這兩個(gè)串接信道的信道矩陣的乘積。圖 級(jí)聯(lián)信道。 獨(dú)立并聯(lián)信道 一般獨(dú)立并聯(lián)信道如圖 。 在研究較復(fù)雜信道時(shí) ， 為使問題簡化 ， 往往可以將它們分解成幾個(gè)簡單的信道的組合 。 實(shí)際應(yīng)用中常常會(huì)遇到兩個(gè)或更多個(gè)信道組合在一起使用的情況 。(m ax XX YX),2,1( NkCC k ???NCC N ?NCI ?)。(m ax)。 一般情況下，消息序列在離散無記憶 N次擴(kuò)展信道中傳輸時(shí)，其平均互信息量 )。( YX 對(duì)于離散無記憶 N次擴(kuò)展信道，當(dāng)信源是平穩(wěn)無記憶信源時(shí)，其平均互信息 等于單符號(hào)信道的平均互信息的 N倍。 ? ?, ( | ),X P Y X Y1 2 1 21 1 2 21( | ) | )| ) | ) | ) | )NNNN N k kkP P Y Y Y X X XP Y X P Y X P Y X P Y X???? ?YX （（ （ （ （??? Nkkk YXII1)。 圖 離散多符號(hào)信道 NNrs? 離散無記憶信道的數(shù)學(xué)模型仍然表示為： ，注意這時(shí)輸入、輸出均為隨機(jī)矢量。 輸入 、 輸出隨機(jī)序列的長度為 N的離 散無記憶平穩(wěn)信道通常稱為離散無記 憶信道的 N次擴(kuò)展信道 。實(shí)際離散信道往往是有記憶 信道， 為了簡化起見，我們主要研究 離散無記憶信道。( YXIix )。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。 信道容量定理只給出了達(dá)到信道容量時(shí)，最佳輸入概率分布應(yīng)滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。 ? ? ( | )。iI x Y C?( ) 0ipx ?( ) 0ipx ?)。( YXI)( ixp? ?。 常數(shù) C即為所求的信道容量 。 定理 設(shè)有一般離散信道 ， 它有 r個(gè)輸入信號(hào) ， s個(gè)輸出信號(hào) 。 j? ( ) 2 j Cjpy ? ??( ) ( ) ( | )j i j iip y p x p y x? ? )( ixp再根據(jù) 列 方程組求 ( | ) ( | ) l o g ( | )j i j j i j ijjp y x p y x p y x? ??? j??? j jC ?2log將計(jì)算步驟總結(jié)如下： ( ) 2 j Cjpy ? ?? ()jpy( ) ( ) ( | )j i j iip y p x p y x? ? )( ixp 信道容量定理 從以上的討論可知，求 信道容量的問題實(shí)際上是在約束條件下求多元函數(shù)極值的問題，在通常情況下，計(jì)算量是非常大的。( YXI( | )( | ) l o g l o g 1 , 2 , ,()jijij jp y xp y x e C i rpy ?? ? ? ?? 移項(xiàng)得 當(dāng) r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。 在一般信道的信道容量的推導(dǎo)中我們推出了下式： ? ?? 1 ??)。 1． 當(dāng)輸入概率分布只有一個(gè)變量時(shí)，例如 r=2，可以設(shè)輸入概率分布為 和 ，因此輸入概率分布只有一個(gè)變量，這時(shí)我們可以直接對(duì) 求導(dǎo)求出，從而得出 的極大值 C。( YXIlo gCe ???C 這樣得到的信道容量有一個(gè)參數(shù) 。( YXI? ?。( YXI( ) , 1 , 2 , ,ip x i r? 1)(1???riixp( ) 0 1 , 2 , ,()iiip x i rpx????????的條件下求 的極值。 即在 設(shè)輔助函數(shù)： ， 當(dāng) 時(shí)求得的 的值 即為 信道容量 。 對(duì)于離散準(zhǔn)對(duì)稱信道 ， 但是可以證明當(dāng)輸入為等概分布時(shí) ， 可以達(dá)到信道容量 ? ? ),()(m a x ,2,1)( sxp pppHYHC ???),(lo g ,2,1 spppHsC ???logs),(lo g ,2,1 spppHsC ???),(l o gl o g ,2,11sknkk pppHMNrC ???? ?? 一般離散信道的信道容量 平均互信息 是輸入概率分布 p(x)的上凸函數(shù) ， 因此極大值必定存在 。 對(duì)于一般的離散行對(duì)稱信道 ， 信道容量 C仍然可以寫成： 但是不一定存在一種輸入分布能使輸出達(dá)到等概分布 ， 此時(shí)的信道容量 。 推論： 均勻信道的信道容量為 ),(lo g ,2,1 spppHsC ???,2,1 , sppp ?)()1lo g (lo g pHrprC ???? 當(dāng)輸入為等概分布時(shí) ， 輸出為等概分布 ， 信道達(dá)到信道容量 。 定理 對(duì)于對(duì)稱信道 ， 當(dāng)輸入分布為等概分布時(shí) ， 輸出分布必能達(dá)到等概分布 。 1 1 11 1 1111p p ppr r rp p ppr r rpppprrr????? ? ???? ? ? ?????? ? ? ? ?P 二元對(duì)稱信道就是 r=2的均勻信道 。 定義 若信道矩陣中，每行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但是可以按照信道矩陣的列將信道矩陣劃分成若干對(duì)稱的子矩陣，則稱這類信道為 準(zhǔn)對(duì)稱信道 。 定義 若信道矩陣中，每行都是第一行元素的不同排列，則稱此類信道為 行對(duì)稱信道 。 信道傳遞概率為 如圖 ，信道矩陣為 無噪無損信道每一行、每一列只有一個(gè) “ 1”，已知 X后對(duì) Y不存在不確定性，收 到 Y后對(duì) X也不存在不確定性。已知信道輸 入符號(hào)，必能確定輸出符號(hào)。 ???????????212100002121P圖 無損信道 無噪信道是一個(gè)輸出對(duì)應(yīng)多個(gè)輸入。 圖 BSC的信道容量 幾種 特殊信道 的信道容量 無損信道是一個(gè)輸入對(duì)應(yīng)多個(gè)輸出。 當(dāng) p=1/2時(shí)，是一種最壞的信 道，這時(shí) C=0，即該信道不能 傳遞任何信息，信息全部損失 在信道中了。(m a x)( YXIC xpd e f?? ?)。 若平均傳輸一個(gè)符號(hào)需要 t秒鐘 ， 則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘? 信道容量是信道傳送信息的最大能力的度量，信道實(shí)際傳送的信息量必然不大于信道容量。(1 YXItR t ? 比特 /秒 對(duì)于固定的信道，總存在一種信源（某種輸入概率分布），使信道平均傳輸一個(gè)符號(hào)接收端獲得的信息量最大，也就是說對(duì)于每個(gè)固定信道都有一個(gè)最大的信息傳輸率，這個(gè)最大的信息傳輸率即為 信道容量 ，而相應(yīng)的輸入概率分布稱為 最佳輸入分布 。( YXIR)|()()。 YX)。 即 有時(shí)我們所關(guān)心的是信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘俊?信源的不確定性為 ， 由于干擾的存在 ， 接收端收到 后對(duì)信源仍然存在的不確定性為 ， 又稱為 信道疑義度 。 )(),( jiji yxpyYxXP ???)|()()|()()( jijijiji yxpypxypxpyxp ??)|( ij xyp ixjy)|( ji yxpjy ix )( ixp)|( ji yxp （ 2）由全概率公式，可從先驗(yàn)概率和信道傳遞概率求輸出符號(hào)的 概率： 寫成向量的形式： 或記成 （ 3）根據(jù)貝葉斯公式，可由先驗(yàn)概率和信道的傳遞概率求后向 概率： ???riijij xypxpyp1)|()()(? ? ? ? P?? )()()()()()( 2121 rs xpxpxpypypyp ??XYXY |PPP ?1( ) ( ) ( | )( | ) 1 , 2 , , 。 有時(shí)把 稱為輸入 符號(hào)的 先驗(yàn)概率 。 它是由于信道噪聲引起的 ， 所 以通常用它描述信道噪聲的特性 。 設(shè)離散單符號(hào)信道的輸入隨機(jī)變量為 ，輸出隨機(jī)變量為 ，由于信道中存在干擾，因此輸入符號(hào)在傳輸中將會(huì)產(chǎn)生錯(cuò)誤，這種信道干擾對(duì)傳輸?shù)挠绊懣捎脗鬟f概率 來描述： 信道傳遞概率實(shí)際上是一個(gè)傳遞概率矩陣，稱為 信道矩陣 ，記為： ? ?12, , , , rX X x x x?? ?12, , , sY Y y y y?)|( ij xyp? ?( | ) | 1 , 2 , 。 本課程主要研究恒參信道的情況。 ② 隨參信道 （ 非平穩(wěn)信道 ）：信道的統(tǒng)計(jì)特性隨時(shí)間變化。 （ 5）根據(jù)信道的統(tǒng)計(jì)特性是否隨時(shí)間變化分為： ① 恒參信道 （ 平穩(wěn)信道 ）：信道的統(tǒng)計(jì)特