[理學(xué)]信息論復(fù)習(xí)提綱-wenkub.com
2024-10-13 21:10 本頁(yè)面
【正文】 它指出信道容量是一個(gè)臨界值，只要信息傳輸率不超過(guò)這個(gè)臨界值，信道就可幾乎無(wú)失真地把信息傳送過(guò)去，否則就會(huì)產(chǎn)生失真。即通信的過(guò)程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。 ? 限失真信源編碼定理 （香農(nóng)第三定理） ： 設(shè)一離散平穩(wěn)無(wú)記憶信源的輸出隨機(jī)變量序列為 X=(X1,X2,…,XL)，若該信源的信息率失真函數(shù)是 R(D)，并選定有限的失真函數(shù)。這就是 信道編碼 問題。 ? 率失真函數(shù)的定義域確定 問題就是在信源和失真函數(shù)已知的情況下，討論 允許平均失真度 D 的最小和最大值問題 。Y) 是信道傳遞概率 p(yj /xi) 的下凸函數(shù)，所以在 PD 中一定可以找到某個(gè)試驗(yàn)信道，使 I(X。 ? 允許平均失真度 ： 率失真函數(shù)中的自變量 D，也就是人們規(guī)定的平均失真度 的上限值。 ? C 和 Ct 都是求平均互信息 I(X。Y) 隨信源概率分布 p(xi) 的變化而變化。說(shuō)明信源的全部信息信息都損失在信道中了。Y) 隨輸入概率分布 p 變化的曲線，如圖 ；二進(jìn)制對(duì)稱信道特性固定后，輸入呈等概率分布時(shí)，平均而言在接收端可獲得最大信息量。 )()()()|()()|()()。 ? 站在輸入端： I(Y。 從一個(gè)事件獲得另一個(gè)事件的平均互信息需要 消除不確定度 ，一旦消除了不確定度，就獲得了信息。 ? 聯(lián)合熵 H(XY)：表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y。所以熵差具有信息的特征； ? 連續(xù)信源的熵 Hc(X) 具有相對(duì)性，因此 Hc(X) 也稱為 相對(duì)熵 。 ? 具有最大熵的連續(xù)信源（兩種情況） ? 連續(xù)信源熵有關(guān)問題說(shuō)明 ? 連續(xù)信源熵并不是實(shí)際信源輸出的絕對(duì)熵； ? 連續(xù)信源的絕對(duì)熵還有一項(xiàng)正的無(wú)限大量，雖然 log2(b－ a) 小于 0，但兩項(xiàng)相加還是正值，且一般還是一個(gè)無(wú)限大量。二維離散平穩(wěn)信源的熵為 離散序列信源 ? 平均符號(hào)熵： 信源平均每發(fā)一個(gè)符號(hào)提供的信息量為 ? 離散平穩(wěn)有記憶信源的極限熵： 當(dāng) N→ ∞ 時(shí)，平均符號(hào)熵取極限值稱之為極限熵或極限信息量。 ? 信源熵的三種物理含義 ? 信源熵 H(X) 是表示信源輸出后每個(gè)消息 /符號(hào)所提供的平均信息量； ? 信源熵 H(X) 是表示信源輸出前，信源的平均不確定性； ? 用信源熵 H(X) 來(lái)表征變量 X 的隨機(jī)性。 ? 信息熵的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1