信息論與編碼第一講-文庫吧資料
2025-05-02 13:51本頁面
【正文】 ()|( 21 mi pppHaYHXYH ???? 對稱 DMC信道的容量 ? 上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?,它只與對稱信道矩陣中行矢量 {p1, p2,… pm }和輸出符號集的個數(shù) m有關(guān)。Y)=H(Y) 對稱 DMC信道 對稱性 : – 每一行都是由同一集 {p1, p2,… pm} 的諸元素不同排列組成 —— 輸入對稱 – 每一列都是由集 {q1, q2,… qn}的諸元素不同排列組成 —— 輸出對稱 ????????????????????????????????2131616121313161213131616161613131PP滿足對稱性 ,所對應的信道是對稱離散信道。Y)=H(X)=H(Y) 無損信道 P(x/y)=0 or 1 H(X/Y)= 0 I(X。I X Y H X H Y??噪聲很大的信道 ? ? ? ?|H X Y H X?四、信道及其 容量 信道容量計算 ? 離散信道 可分成： ? 特殊信道 – 無噪無損信道 – 有噪無損信道 – 無噪有損信道 ? 有干擾無記憶 信道 ? 有干擾有記憶 信道 特殊信道 信道名稱 信道特征 信息傳輸情況 全損信道 P(xy)=P(x)P(y) H(X/Y)=H(X) I(X。|I X Y H X H X Y??? ? ? ? ? ?。I X Y H X H Y H X Y? ? ?? ?。|I X Y H X H X Y??? ? ? ?? ?。 。 。 ? ? ? ? ? ?。|| l ogj j jXjjXI X y P x y I x yP x yP x yPx???定理 XY聯(lián)合集上的條件互信息量滿足 當且僅當 X集合中的各 x都與yi獨立時，等號成立 jyx通過有擾信道的接收符號 任意一個可能被傳輸?shù)南? 結(jié)論：有擾信道中接收到的符號所提供的 關(guān)于傳輸消息的平均信息量總是非負量。 ?若給定 x條件下 y的條件自信息量為 I(y|x)，則它在 XY集合上的概率加權(quán)平均值 H(Y|X)定義為： ?H(Y|X)為條件熵，也可直接定義為： ? ? ? ? ? ?||XYH Y X P x y I y x?? ? ? ? ? ?| l o g |XYH Y X P x y P y x? ?共熵 ?共熵（又稱聯(lián)合熵）是聯(lián)合空間 XY上的每個元素對 xy的自信息量的概率加權(quán)平均值，定義為： ? ? ? ? ? ?XYH X Y P x y I x y?? ? ? ? ? ?l o gXYH X Y P x y P x y?與信源熵和條件熵的關(guān)系 ? ? ? ? ? ?|H X Y H X H Y X??? ? ? ? ? ?|H X Y H Y H X Y??22 聯(lián)合熵與條件熵的關(guān)系 )/()( )/()()( )/()()()( ])/()()[( )()()(XYHXHXYHxIxpxyIyxpxIyxpxyIxIyxpyxIyxpXYHiiii jiji jjiijii jijijii jjiji??????????? ? ? ?? ?? ??????1)|()()()(jjijjjii yxpypyxpxp全概率公式 所以 H( X Y ) = H(X )＋ H(Y | X ) 同理 H( X Y ) = H(Y )＋ H( X | Y ) 而當 X、 Y 是統(tǒng)計獨立的兩個信源： H( X Y ) = H(X )＋ H(Y ) 平均互信息量 XY聯(lián)合集上的平均條件互信息量 ? ? ? ? ? ?? ?? ?? ?。 H(X)是 P(x)的函數(shù)。 ?
教學課件相關(guān)推薦
鄂ICP備17016276號-1