【正文】 C ??)(怎樣才能保證輸出 Y服從正態(tài)分布？ 就服從高斯分布。)。 )|(), . . .,|, . . ., lllXYPXXXYYP ( Y)Y|XP( L1L21L21??????無(wú)記憶：二、無(wú)記憶離散序列信道的平均互信息 關(guān)系式）( YXHXHYYYXXH ( XXXH ( X)Y|XH()XH()Y。 ??j iijiji )P ( a)a|P ( b) l o ga|P ( bYI ( a )。Y) 達(dá)到極大值的充要條件是，輸入分布滿(mǎn)足： I(ai。用第二種方法求其信道，信道，轉(zhuǎn)移矩陣中的準(zhǔn)對(duì)稱(chēng)例例題 ???????????205030203050DM C 43 53......P符號(hào)。(0 3 6 b i t0 21 YXm a x IC210YXI?????????劃分為若干個(gè)互不相交的對(duì)稱(chēng)的子矩陣后，求信道容量。輸出符號(hào)輸入符號(hào)，是一個(gè)準(zhǔn)對(duì)稱(chēng)已知信道的轉(zhuǎn)移矩陣?yán)}}.,},......???????????? P表示，求出極值點(diǎn)。Z)≥…I(X。）強(qiáng)對(duì)稱(chēng)信道（均勻信道???????????????????????????????????? 例 題信道。Y)= H(X) H(X|Y)=H(X)H(Y) ∴ C=maxI(X。從這個(gè)意義上也可以理解信源與信道 匹配 的含義。() YXIm a xCip ( x?道容量。若設(shè)計(jì)和分析離散信道的編碼和解碼，當(dāng)然選擇 DMC信道模型。 GO ON 2022/6/3 14 (3) 離散輸入連續(xù)輸出信道 仍是單符號(hào)信道，屬于半連續(xù)半離散信道。 2022/6/3 10 復(fù)習(xí) ：第四節(jié) 連續(xù)信源的熵和互信息 一、單符號(hào)連續(xù)信源的熵 相對(duì)熵（差熵） ? ????? dxxpxp XX )(l o g)(( X )H c? ?? ?????????????????d x d yxypxypd x d yxypxyp)/(l o g)()(l o g)(( Y / X )H( X Y )HccI(X。 )Xf(Y 0XYP )Xf(Y 1XYP ???? ????????)|()|(2022/6/3 6 有干擾無(wú)記憶信道 無(wú)記憶 ：任意時(shí)刻的輸出符號(hào)，只統(tǒng)計(jì)依賴(lài)于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，而與其它時(shí)刻的輸入符號(hào)、輸出符號(hào)無(wú)關(guān) . ?????N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|, . . . . ,|,|), . . . . ,|, . . . . ,)|(yyyyyyy??這種信道根據(jù)輸入信號(hào)與輸出信號(hào)的 符號(hào)數(shù)目 進(jìn)一步劃分為以下四種信道： 指符號(hào)集中符號(hào)的個(gè)數(shù) (1)二進(jìn)制離散 信道 (又叫 二進(jìn)制對(duì)稱(chēng)信道 BSC，轉(zhuǎn)移概率對(duì)稱(chēng) ) 2022/6/3 7 ???????????????p1ppp1PPPP P [P :P22211211ij ]陣）轉(zhuǎn)移概率矩陣（傳遞矩 傳遞矩陣也完全確定了輸入與輸出間的統(tǒng)計(jì)依賴(lài)關(guān)系，也是信道的數(shù)學(xué)模型。據(jù)隨機(jī)過(guò)程的理論，經(jīng)過(guò)限時(shí)和限頻后，經(jīng)抽樣變成連續(xù)型隨機(jī)變量。錯(cuò)誤成串出現(xiàn)，且是突發(fā)性的。否則 。2022/6/3 1 第三章 信道及信道容量 第一節(jié) 信道分類(lèi)及表示參數(shù) 第二節(jié) 單符號(hào)離散信道及其容量 第三節(jié) 離散序列信道及其容量 第四節(jié) 連續(xù)信道及其容量 2022/6/3 2 信道是信息傳輸?shù)耐ǖ?。信源輸出的信息速率為Rt=H(X)/T bit/s 符號(hào)在信道中傳送時(shí)，傳送一個(gè)符號(hào)所用的時(shí)間為 t,則最大信息傳輸速率為 Ct=C/t bit/s. 若 Rt≤Ct，那么就可以實(shí)現(xiàn)無(wú)失真?zhèn)魉?。 突發(fā)差錯(cuò)信道：大的脈沖干擾或閃電對(duì)碼元的影響是前后相關(guān)的。 此時(shí)，輸入和輸出信號(hào)一般用隨機(jī)過(guò)程來(lái)描述。輸出與輸入之間有完全確定的對(duì)應(yīng)關(guān)系。課上已經(jīng)強(qiáng)調(diào)過(guò)，仍出錯(cuò)。 )X|YP ??(X)|YP (2022/6/3 13 根據(jù)信道的參數(shù)，將信道分為三大類(lèi)： 無(wú)干擾信道 有干擾無(wú)記憶信道 ?????N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|, . . . . ,|,|), . . . . ,|, . . . . ,)|(yyyyyyy??根據(jù)輸入信號(hào)與輸出信號(hào)的 符號(hào)數(shù)目 進(jìn)一步劃分為以下四種信道： (1)二進(jìn)制離散 信道 (又叫 二進(jìn)制對(duì)稱(chēng)信道 BSC，轉(zhuǎn)移概率對(duì)稱(chēng) ) (2) 離散無(wú)記憶 信道 (DMCDiscrete Memoryless Channel) 仍是單符號(hào)離散信道，符號(hào)集中的符號(hào)數(shù)目大于 2 。 本課程主要討論編碼和解碼，一般使用 DMC信道模型 到底選用哪種信道模型，取決于分析問(wèn)題的目的。Y)/T bit/s 信道容量 C 定義最大的信息傳輸速率為信道容量 , )。在信息傳輸時(shí)，能否達(dá)到這個(gè)最大傳輸能力，取決于輸入端的信源。 I(X。已知傳遞矩陣 ????????//////// 例 題符號(hào)的行向量）的信道，直接代入公式：對(duì)稱(chēng)/.)/,/,/,/((解0 8 2 b i t061613131Hl o g 4PHl o g m C ?????2022/6/3 24 1 1n 1n 1n 1 1n 1n1n1 P 23求信道容量。Y)≥I(X。舉例說(shuō)明： bb{bYa{aXDM C205030203050 4332121 求信道容量。(/)。,),(證 明得知：?????容量。 定理 ：一般離散無(wú)記憶信道的平均互信息 I(X。所以經(jīng)過(guò)不斷調(diào)整后，輸入符號(hào)的概率分布使得每個(gè)概率不為零的輸入符號(hào)對(duì)于輸出Y提供的平均互信息是相同的。只討論無(wú)記憶離散序列信道的容量。??2022/6/3 34 信道容量 信息通過(guò)信道傳輸?shù)淖畲蠡ツ硶r(shí)刻 llllllllll?????? ??????CCYm a x I ( XYI ( Xm a x)Y|XI(m a xCL1L1L1)XP(L )。()()()()(xpxpxpxp量達(dá)到最大值，即信道容。 2022/6/3 39 二、多維無(wú)記憶高斯加性連續(xù)信道及其容量 回顧 ????????L1NL21NNL1L21L21(NNN(NN(YX XXXYY(YXYlllllpppppp)), . . . . ,))|(), . . . . ,|, . . . . ,)|(???等價(jià)于 L個(gè)獨(dú)立并聯(lián)加性信道 2022/6/3 40 信道容量 ???L1YXIXYIlll )|()|(?? 據(jù) ，無(wú)記憶信道有下式成立： 而每個(gè)單符號(hào)高斯信道 有： 所以： )()|( 2P1l o g21YXIllll???????L1 2P1l o g21)Y。Y)=H(Y)H(Y|X)=H(Y)H(X) ∴ C=maxI(X。Y) 達(dá)到極大值的充要條件是，輸入分布滿(mǎn)足： I(ai。Xm a x I (Cl ll )(???分以下兩種情況討論。然后重，即不分配功率，或言置使用。分配的可以為所有的子信道分量，大于所有的噪聲功率分重新計(jì)算平均輸出功率104 b i t2P1l o g21C40P30P0 . 2P10P0P 0 . 6 5LP0PPPP41221122223324425561210987/.)(.,.,..:。(。大的系統(tǒng)帶寬 可以降低對(duì)輸入信噪比的要求。問(wèn)從信息傳輸 的角度來(lái)考慮， 10秒鐘內(nèi)能否將這消息序列無(wú)失真地 傳送完？ 2022/6/3 56 解： 消息序列的信息量 14000 * H(X)=*104 比特 二元對(duì)稱(chēng)信道的信道容量 C=1H(p,1p)= bit/符號(hào) 信道最大信息傳輸速率 Rt=1500* =1288 bit/s 10秒鐘能無(wú)失真?zhèn)鬏數(shù)淖畲笮畔⒘? 10*1288=12880 bit 14000 12880 所以， 10s內(nèi)不能將這消息序列無(wú)失真地傳送完