電工膠布使用方法ppt課件-免費(fèi)閱讀
【正文】 Y2) = 0，是否可推出 I(Y1。 信道 剩余 ?信源剩余度 011l o gHHrHq??? ? ? ??信道剩余度 CYXICYXIC )。 C不變， B增加， S減小， 擴(kuò)頻通信 C不變， B減小， S增加， 多相位調(diào)制 信息論與編碼基礎(chǔ) 離散信道 附：香農(nóng)信道容量公式 香農(nóng)公式的意義 是否可以用無(wú)限制地加大信號(hào)有效帶寬的方法來(lái)減小發(fā)射功率，或在任意低的信噪比情況下仍能實(shí)現(xiàn)可靠通信呢？ 000l o g 1NB SSCS N B N?? ??? ? ??? ??????00 ogl i mNSNSeCB?????信號(hào)有效帶寬與發(fā)射功率互換的有效性問(wèn)題。那么此時(shí)的容量如何？ 信息論與編碼基礎(chǔ) 離散信道 附：香農(nóng)信道容量公式 連續(xù)消息的信息度量 1)(,)( ),()( ?????????????? ? ba dxxpxp baxPX1)(,)()( ?????????????? ? ??? dxxpxpRxPX( ) ( ) l o g ( ( ) )iixH X p x x p x x? ? ? ? ? ? ??0??x( ) ( ) l o g ( ) ( ) l o gH X p x p x d x p x x d x??? ? ? ?? ? ? ???連續(xù)信源的可能取值數(shù)是無(wú)限多個(gè)，若設(shè)取值是等概 率分布，那么，信源的不確定為無(wú)限大。({m a x )()( s i gnbi tsYHYXIC xPxP ???簡(jiǎn)單離散信道的信道容量 信息論與編碼基礎(chǔ) 離散信道 總結(jié)： 1）若嚴(yán)格區(qū)分，凡損失熵等于 0的信道稱(chēng)為無(wú)損信道； 凡噪聲熵等于 0的信道稱(chēng)為無(wú)噪信道。( YXI 是輸入信源概率分布 )(xP 的 ? 型凸函數(shù)。 )NNNiiiI X Y I X Y?? ?信息論與編碼基礎(chǔ) 離散信道 D Q D Q D Q a(t) b0 b1 b2 思考題 假定某信源的符號(hào)集為 A = {0,1}，其中 p0=p1=，則 H(A) = 1。 ) ( ) ( | )N N Ni i i i ii i iI X Y H X H X Y? ? ???? ? ????NiiiNN YXHYXH1)|()|(僅當(dāng) ???Niii yxPyxP1)|()|( ??時(shí)成立 信息論與編碼基礎(chǔ) 離散信道 例 設(shè)無(wú)記憶信源 X的熵為 H， X的 5次擴(kuò)展源為 5X信道為如下面矩陣所示的置換信道 1 2 3 4 5 3 2 5 1 4 計(jì)算 ??51)。其中 X的熵為 H, 計(jì)算 )。X3)的值，并進(jìn)行瓶頸效應(yīng)分析。 ) ( ) ( )I X Y H p p H p??? ? ?當(dāng) p = 0時(shí) ( 。(??xxyPxPyP )|()()(? ??XYxxyPxPxyPxyPxPYXI)|()()|(l o g)|()()。 ) ( ) l o g( ) ( )XYP x yI X Y P x yP x P y? ?()( ) l o g ( 。( YXHXHYXI ????XY xPyxPxyP)()|(l og)(()( ) l o g( ) ( )XYP x yP x yP x P y? ?( | )( ) l o g()XYP y xP x yPy? ??平均互信息 接收到每個(gè)輸出 符號(hào)后獲得的關(guān) 于 X的平均信息量 信息傳輸率 R bit/sign 信息論與編碼基礎(chǔ) 離散信道 非負(fù)性 )|()()。 Y1) = 0 且 I(X。 表 1 － 2 （ x ， y ）的聯(lián)合概率分布 x ＝ 0 x ＝ 1 y ＝ 0 4 y ＝ 1 0 6 信息論與編碼基礎(chǔ) 離散信道 信道疑義度 ? ??????Xri ii aPaPxPxPXH1 )(1l og)()(l og)()(先驗(yàn)熵 ????rijijij baPbaPbXH1)|(l og)|()|(后驗(yàn)熵 若信道中存在干擾時(shí) ????sjjjj bXHbPbXHEYXH1)|()()]|([)|(??????ri jijisjj baPbaPbP11 )|(1l og)|()(? ?? ???risj jiji baPbaP1 1 )|(1l og)(信道疑義度 0≤H(X|Y)≤H(X) 損失熵 信息論與編碼基礎(chǔ) 離散信道 平均互信息 定義 令 )|()()。 ) l o g()ijijiP a bI a bPa?1）對(duì)稱(chēng)性 I(ai。, . . . ,2,1( sjri ??2）轉(zhuǎn)移矩陣 ?????????????rsrrssPPPPPPPPPP. . ...... . .. . .2122221112113）轉(zhuǎn)移概率圖 ),...2,1(10riPsjij ????單符號(hào)離散信道 X Y 0 1 0 1 p p 1p 1p a0 ar b0 bs P(bj|ai) 信息論與編碼基礎(chǔ) 離散信道 一定比例的 bit被刪 除，并且接收者知 道是那些 bit已經(jīng)被 刪除。 隨機(jī)變量 y表示隨機(jī)抽取人是否抽煙 ， y＝ 0表示抽煙 ， y＝ 1表示不抽煙 。 3）接收到第三個(gè)數(shù)字仍是 0時(shí)，又增加多少關(guān)于 M1的互信息。 Y2) = 0，是否可推出 I(Y1。Y)≤H(X) 對(duì)稱(chēng)性 )。( YHXHYXI ??H(X|Y) H(Y|X) I(X。Y) 1H(p) 0 1 ω H(ω) 1 信源熵 信息論與編碼基礎(chǔ) 離散信道 定理 在輸入信源概率分布 )|( xyP給定的條件下，平均互信息 )。于是有 1 2 3X X X??1 2 3{ 1 , 2 , .. ., }, { 1 , 2 , .. ., }, { 1 , 2 , .. ., }X n X k X m? ? ?其中 且 1 2 3 1 2 1 3 2( ) ( ) ( | ) ( | )p x x x p x p x x p x x?1）試說(shuō)明 X1和 X3之間的依賴(lài)性受到 X2的瓶頸效應(yīng)影
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1