[理學]信息論復習提綱(編輯修改稿)
2024-11-12 21:10 本頁面
【文章內(nèi)容簡介】 前、后整個系統(tǒng)不確定度減少量。 )()()()|()()|()()。(XYHYHXHXYHYHYXHXHYXI??????? H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X。Y) ? BSC信道的平均互信息量 設(shè)二進制對稱信道的輸入概率空間為 轉(zhuǎn)移概率如圖 。 0101qq/q/q圖 2 . 1 . 8 二 元 對 稱 信 道 信 道 范 例 平均互信息量 ? 當 q 不變 (固定信道特性 ) 時，可得 I(X。Y) 隨輸入概率分布 p 變化的曲線，如圖 ；二進制對稱信道特性固定后，輸入呈等概率分布時，平均而言在接收端可獲得最大信息量。 I ( X 。 Y )p01 H ( q )0 . 5圖 2 . 1 . 9 固 定 信 道 后 平 均 互 信 息 隨 信 源 變 化 的 曲 線? 當 固定信源特性 p 時，I(X。Y) 就是信道特性 q 的函數(shù)，如圖 ；當二進制對稱信道特性 q=/q=1/2時，信道輸出端獲得信息量最小，即等于 0。說明信源的全部信息信息都損失在信道中了。這是一種最差的信道。 I ( X 。 Y )q0H ( p )0 . 5圖 2 . 1 . 1 0 固 定 信 源 后 平 均 互 信 息 隨 信 道 變 化 的 曲 線1? 求信道容量的思想： ? 當信道特性 p(yj /xi) 固定后， I(X。Y) 隨信源概率分布 p(xi) 的變化而變化。 ? 調(diào)整 p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知， I(X。Y) 是 p(xi) 的上凸函數(shù)，因此總能找到一種概率分布 p(xi)（即某一種信源），使信道所能傳送的信息率為最大。 ? C 和 Ct 都是求平均互信息 I(X。Y) 的條件極大值問題，當輸入信源概率分布 p(xi) 調(diào)整好以后， C 和 Ct 已與 p(xi) 無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)； ? 信道容量是完全 描述信道特性 的參量； ? 信道容量是信道 能夠傳送的最大信息量 。 信道容量 求信道容量的方法： ? 離散無噪信道 ① 無噪無損信道 ② 無損有噪信道 ③ 無噪有損信道 ? 離散對稱信道 ? 離散準對稱信道 ? 一般
教學課件相關(guān)推薦
鄂ICP備17016276號-1