[理學]信息論復習提綱-文庫吧資料
2024-10-22 21:10本頁面
【正文】 對偶問題： 信道容量 和 信息率失真函數(shù) 的問題，都是求平均互信息 極值問題 。 從接收端來看，就是在滿足保真度準則 的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值 。Y)達到最小，即 這個最小值 R(D) 稱為信息率失真函數(shù) ，簡稱 率失真函數(shù) 。 ? 單符號信源和單符號信道的信息率失真函數(shù) ? 在信源和失真度給定以后， PD 是滿足保真度準則 的試驗信道集合，平均互信息 I(X。 ? D 的選取必須根據(jù)固定信源 X 的統(tǒng)計特性 P(X) 和選定的失真函數(shù) d(xi , yj)，在平均失真度 的可能取值范圍內。 ? 當信道頻帶無限時，其信道容量與信號功率成正比。Y) 的條件極大值問題，當輸入信源概率分布 p(xi) 調整好以后， C 和 Ct 已與 p(xi) 無關，而僅僅是信道轉移概率的函數(shù)，只與信道統(tǒng)計特性有關； ? 信道容量是完全 描述信道特性 的參量； ? 信道容量是信道 能夠傳送的最大信息量 。Y) 是 p(xi) 的上凸函數(shù)，因此總能找到一種概率分布 p(xi)（即某一種信源），使信道所能傳送的信息率為最大。 ? 調整 p(xi)，在接收端就能獲得不同的信息量。 Y )q0H ( p )0 . 5圖 2 . 1 . 1 0 固 定 信 源 后 平 均 互 信 息 隨 信 道 變 化 的 曲 線1? 求信道容量的思想： ? 當信道特性 p(yj /xi) 固定后， I(X。這是一種最差的信道。Y) 就是信道特性 q 的函數(shù)，如圖 ；當二進制對稱信道特性 q=/q=1/2時，信道輸出端獲得信息量最小，即等于 0。 I ( X 。 0101qq/q/q圖 2 . 1 . 8 二 元 對 稱 信 道 信 道 范 例 平均互信息量 ? 當 q 不變 (固定信道特性 ) 時，可得 I(X。(XYHYHXHXYHYHYXHXHYXI??????? H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X。Y) — 通信前、后整個系統(tǒng)不確定度減少量。X) — 發(fā)出 X 前、后關于 Y 的先驗不確定度減少的量。 從 Y 獲得的關于 X 的平均信息量 。 ? 站在輸出端： I(X。yj) 在聯(lián)合概率空間 P(XY) 中的統(tǒng)計平均值。即收、發(fā)雙方通信后，整個系統(tǒng)仍然存在
教學課件相關推薦
鄂ICP備17016276號-1