信息論與編碼第一講(編輯修改稿)
2025-05-23 13:51 本頁面
【文章內容簡介】 ? ? ? ? ? ?。|I X Y H Y H Y X??條件熵可看作由于信道噪聲而損失的信息量（損失熵） 也可以看作由于信道噪聲所造成的對信源消息的平均不確定性 疑義度 條件熵可看作唯一地確定信道噪聲所需要的平均信息量（散布度） 噪聲熵 無擾信道 ? ? ? ? ? ?。I X Y H X H Y??噪聲很大的信道 ? ? ? ?|H X Y H X?四、信道及其 容量 信道容量計算 ? 離散信道 可分成： ? 特殊信道 – 無噪無損信道 – 有噪無損信道 – 無噪有損信道 ? 有干擾無記憶 信道 ? 有干擾有記憶 信道 特殊信道 信道名稱 信道特征 信息傳輸情況 全損信道 P(xy)=P(x)P(y) H(X/Y)=H(X) I(X。Y)=0 無損無噪 信道 P(x/y)=0 or 1 且 P(y/x)=0 or 1 H(X/Y)= H(Y/X)=0 I(X。Y)=H(X)=H(Y) 無損信道 P(x/y)=0 or 1 H(X/Y)= 0 I(X。Y)=H(X) 無噪信道 P(y/x)=0 or 1 H(Y/X)=0 I(X。Y)=H(Y) 對稱 DMC信道 對稱性 : – 每一行都是由同一集 {p1, p2,… pm} 的諸元素不同排列組成 —— 輸入對稱 – 每一列都是由集 {q1, q2,… qn}的諸元素不同排列組成 —— 輸出對稱 ????????????????????????????????2131616121313161213131616161613131PP滿足對稱性 ,所對應的信道是對稱離散信道。 ? 信道矩陣 ????????????????????3161316161613131PP? 不具有對稱性 ,因而所對應的信通不是對稱離散信道。 ? 若輸入符號和輸出符號個數相同 ,都等于 n,且信道矩陣為 ????????????????????????????pnpnpnppnpnpnppP111111111???? 此信道稱為 強對稱信道 (均勻信道 ) – 信道矩陣中各列之和也等于 1 ? 對稱離散信道的平均互信息為 )|()()|()(),( XYHYHYXHXHYXI ????niaYHabpabpabpabpapXYHiijjijiji jiji?,2,1)|()|(l o g)|()|(l o g)|()()|(???????? ?),()|()|( 21 mi pppHaYHXYH ???? 對稱 DMC信道的容量 ? 上式是對稱離散信道能夠傳輸的最大的平均信息量 ,它只與對稱信道矩陣中行矢量 {p1, p2,… pm }和輸出符號集的個數 m有關。 ijmjijmppmpppHmC??????121l o gl o g),(l o g ?? 強對稱信道 的信道容量： )1,1,1(l o g 2 ????? n pn ppHnC ?? 設二進制對稱信道的輸入概率空間 ? 信道矩陣： ????????????? ?? 10PX????????????????ppppppppP11ppabpapbpppabpapbpiiiiii????????????????)|()()1()|()()0(110100 BSC信道容量 )(]l o gl o g[)|(l o g)|()|(l o g)|()()|(pHppppabpabpabpabpapXYHijjijiji jiji?????????? ?)(1)()()|()()。(pHpHppHXYHYHYXI??
教學課件相關推薦
鄂ICP備17016276號-1