《離散信道及其容量》ppt課件-文庫(kù)吧
2025-04-14 03:08 本頁(yè)面
【正文】 01 ? 二元?jiǎng)h除信道 BEC – 輸入符號(hào) X取值 {0,1}； – 輸出符號(hào) Y取值{0,1,2} ? 轉(zhuǎn)移矩陣 0 x 1 0 1 1 p q q 1 p q q ???????????qpqppqqpP11p p 先驗(yàn)概率 : 信源發(fā)出消息 ai的概率 p(ai)=P(X= ai) (i=1,2,… ,r) 后驗(yàn)概率 : 信宿收到 bj 后推測(cè)信源發(fā)出 ai的概率 p(ai|bj)=P(X= ai |Y= bj) 聯(lián)合概率 : p(ai|bj) = P(X= ai,Y= bj) =p(ai) p(bj | ai) =p(bj) p(ai | bj) 前向概率 :（及信道傳遞概率） 輸出符號(hào)概率 : p(bj | ai)=P(Y= bj | X= ai) p(bj)=P(Y= bj) ), . . . ,2,1()|()()(1sjabpapbp ijriij?? ??), . . . ,2,1(), . . . ,2,1()|()()|()()|(1sjriabpapabpapbapijriiijiji?????11( , )( / ) 1()rriip a i b jp a i b jp b j?????? 定義 X對(duì)輸入空間 Y的條件熵 可疑度，它表示接收者收到 Y后，對(duì)信源 X仍然存在的平均不確定度。對(duì)于接收者來(lái)說(shuō)，條件熵 H(X/Y)稱(chēng)為疑義度， 對(duì) X尚存在的平均不確定度是由于干擾 (噪聲 )引起的 )|(l o g),()]|([)|( jiijjij yxpyxpyXHEYXH ???? 定義 為平均互信息。 信息 = 先驗(yàn)不確定性－后驗(yàn)不確定性 = 不確定性減少的量 )|()()。( YXHXHYXI ??? Y未知 ,X 的不確定度為 H(X) ? Y已知 ,X 的不確定度變?yōu)?H(X |Y) 平均互信息 有擾信道 干擾源 信源 X 信宿 Y ? 通信系統(tǒng)中 ,若發(fā)端的符號(hào)為 X ,收端的符號(hào)為 Y – 如果是 一一對(duì)應(yīng)信道 ,接收到 Y后 ,對(duì) X的不確定性將完全消除： H(X|Y) = 0 – 一般情況： H(X |Y) ＜ H(X),即了解 Y后對(duì) X的不確定度的將 減少 ? 通過(guò)信道傳輸消除了一些不確定性 ,獲得了一定的信息 。 )()。(0 XHYXI ??)。()()|(l og)()()()(l og)()()|(l og)()。(XYIypxypyxpypxpyxpyxpxpyxpyxpYXIi j iijjii jijijiji j ijiji????? ?? ?? ?? 平均互信息 的另一種定義方法： 定理 （給定轉(zhuǎn)移概率矩陣 P后） ,平均互信息 I (X。Y)是輸入信源的概率分布 p(x)的上凸函數(shù)。 定理 ,平均互信息 I(X。Y)是信道傳遞概率 p(y|x)的下凸函數(shù)。 )()。()4(0)。()。()3()()()()2()|()()|()()()1(XHXXIXYIYXIYHXHXYHYXHYHXYHXHXYH?????????)()()()|()()|()()。().5(XYHYHXHXYHYHYXHXHYXI????????熵只是平均不確定性的描述 。 ?不確定性的消除 (兩熵之差 )才等于接收端所獲得的信息量。 ?獲得的信息量不應(yīng)該和不確定性混為一談 維拉圖 H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X。Y) )()()()|()()|()()。(XYHYHXHXYHYHYXHXHYXI???????)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYH???????? N次擴(kuò)展信道 簡(jiǎn)單的離散無(wú)記憶信道 1)()()()()()()()()()(
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1