《電工膠布使用方法》ppt課件-全文預(yù)覽
【正文】 . )NNk h h h h k k kP b b b a a a? ????Nikh ii abP1)|(其中 信息論與編碼基礎(chǔ) 離散信道 信道模型 BSC的二次擴展信道 ??????????????22222222pppppppppppppppppppppppp信息論與編碼基礎(chǔ) 離散信道 平均互信息 a)定義 )|()()。于是有 1 2 3X X X??1 2 3{ 1 , 2 , .. ., }, { 1 , 2 , .. ., }, { 1 , 2 , .. ., }X n X k X m? ? ?其中 且 1 2 3 1 2 1 3 2( ) ( ) ( | ) ( | )p x x x p x p x x p x x?1）試說明 X1和 X3之間的依賴性受到 X2的瓶頸效應(yīng)影響， 即 I(X1。 ) ( ) ( 0) ( )I X Y H H H??? ? ?當(dāng) p = 1時 ( 。Y) 1H(p) 0 1 ω H(ω) 1 信源熵 信息論與編碼基礎(chǔ) 離散信道 定理 在輸入信源概率分布 )|( xyP給定的條件下，平均互信息 )。()]|(),([ xyPxPf?信息論與編碼基礎(chǔ) 離散信道 例 1 設(shè)二元對稱信道的輸入概率空間為 ???????????????? 110)( xPX其信道特性如圖，求平均互信息。( YHXHYXI ??H(X|Y) H(Y|X) I(X。 )( ) ( )XYP y xP y x I Y XP y P x???發(fā)出 X后獲得的關(guān) 于 Y的平均信息量 與各類熵的關(guān)系 ( | )( 。Y)≤H(X) 對稱性 )。( YXHXHYXI ?? ??XY yPxPxyPxyP)()()(l og)(利用詹森不等式 ???XY xyPyPxPxyPYXI)()()(l og)()。 Y2) = 0，是否可推出 I(Y1。 Y2) = 0,可否推出 I(X。 3）接收到第三個數(shù)字仍是 0時，又增加多少關(guān)于 M1的互信息。( YXHXHYXI ??為信道輸入 X與輸出 Y之間的 平均互信息 接收到每個輸出符號后獲得的關(guān)于 X的平均信息量 bit/sign 11( 。 隨機變量 y表示隨機抽取人是否抽煙 ， y＝ 0表示抽煙 ， y＝ 1表示不抽煙 。bj) = I(bj。, . . . ,2,1( sjri ??2）轉(zhuǎn)移矩陣 ?????????????rsrrssPPPPPPPPPP. . ...... . .. . .2122221112113）轉(zhuǎn)移概率圖 ),...2,1(10riPsjij ????單符號離散信道 X Y 0 1 0 1 p p 1p 1p a0 ar b0 bs P(bj|ai) 信息論與編碼基礎(chǔ) 離散信道 一定比例的 bit被刪 除，并且接收者知 道是那些 bit已經(jīng)被 刪除。 d、 按信道統(tǒng)計特性 恒參信道 變參信道 衛(wèi)星信道 短波信道 e、根據(jù)信道噪聲的性質(zhì) 高斯噪聲信道 非高斯噪聲信道 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號離散信道 信息論與編碼基礎(chǔ) 離散信道 離散信道的數(shù)學(xué)模型 信道 X1212( , , . . . , ): ( , , . . . , )NirX X X XX a a a??Y1212( , , . . . , ): ( , , . . . , )NisY Y Y YY b b b??( | )P y x{ , ( | ), }X P y x Y無擾（無噪）信道 有擾信道 1 , ( )( | )0 , ( )y f xP y xy f x???? ??無記憶信道 有記憶信道 11 1( | ) ( .. . | .. . ) ( | )NN N i iiP y x P y y x x P y x??? ?信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號離散信道 信息論與編碼基礎(chǔ) 離散信道 信道 X12: ( , , .. ., )rX a a a?Y12: ( , , .. ., )sY b b b?( | )P y x單符號離散信道 例 1 BSC信道 BSC(p)信道 是實際中幾乎所有重要的二進(jìn)制脈沖傳輸系統(tǒng)的模型 p為交叉 (crossover)概率 等于解調(diào)器 /檢測器出現(xiàn)硬判決譯碼錯 誤的概率 信息論與編碼基礎(chǔ) 離散信道 1）條件轉(zhuǎn)移概率 ijijij PabPaxbyPxyP ????? )|()|()|( ), . . . ,2,1。 ) l o g()ijijiP a bI a bPa?1）對稱性 I(ai。bj) ≤ I(ai) 信息論與編碼基礎(chǔ) 緒論 表 1 － 1 （ x ， y ）的聯(lián)合概率分布 x ＝ 0 x ＝ 1 y ＝ 0 6 4 y ＝ 1 4 6 練習(xí) ： 令隨機變量 x表示隨機抽取人群中的性別 ， x＝ 0為男性 ， x＝ 1為女性 。 表 1 － 2 （ x ， y ）的聯(lián)合概率分布 x ＝ 0 x ＝ 1 y ＝ 0 4 y ＝ 1 0 6 信息論與編碼基礎(chǔ) 離散信道 信道疑義度 ? ??????Xri ii aPaPxPxPXH1 )(1l og)()(l og)()(先驗熵 ????rijijij baPbaPbXH1)|(l og)|()|(后驗熵 若信道中存在干擾時 ????sjjjj bXHbPbXHEYXH1)|()()]|([)|(??????ri jijisjj baPbaPbP11 )|(1l og)|()(? ?? ???risj jiji baPbaP1 1 )|(1l og)(信道疑義度 0≤H(X|Y)≤H(X) 損失熵 信息論與編碼基礎(chǔ) 離散信道 平均互信息 定義 令 )|()()。 2）接收到第二個數(shù)字也是 0時，得到多少關(guān)于 關(guān)于 M1的附加互信息。 Y1) = 0 且 I(X。 Y1)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1