[理學]信息論復習提綱-在線瀏覽
2024-12-03 21:10本頁面
【正文】 ，其信息熵只有一個。 ? 信源熵的三種物理含義 ? 信源熵 H(X) 是表示信源輸出后每個消息 /符號所提供的平均信息量； ? 信源熵 H(X) 是表示信源輸出前，信源的平均不確定性； ? 用信源熵 H(X) 來表征變量 X 的隨機性。 H[p(x1),p(x2),…,p(xn) ]≤H(1/q,1/q,…,1/q)=log2q 出現(xiàn)任何符號的可能性相等時，不確定性最大。二維離散平穩(wěn)信源的熵為 離散序列信源 ? 平均符號熵： 信源平均每發(fā)一個符號提供的信息量為 ? 離散平穩(wěn)有記憶信源的極限熵： 當 N→ ∞ 時，平均符號熵取極限值稱之為極限熵或極限信息量。 ? 馬爾科夫信源 ?定義 ?狀態(tài)轉換圖 (香農線圖 ) ?狀態(tài)極限概率 ?平穩(wěn)、齊次馬爾科夫信源熵 ? 信源熵的相對率 η ： η= H∞/H0 ? 信源冗余度 ξ： ξ=1－ η=(H0－ H∞)/H0 ? 信源的冗余度表示信源可壓縮的程度 。 ? 具有最大熵的連續(xù)信源（兩種情況） ? 連續(xù)信源熵有關問題說明 ? 連續(xù)信源熵并不是實際信源輸出的絕對熵； ? 連續(xù)信源的絕對熵還有一項正的無限大量，雖然 log2(b－ a) 小于 0，但兩項相加還是正值，且一般還是一個無限大量。 ? 連續(xù)信源熵的意義 ? 這種定義可以與離散信源在形式上統(tǒng)一起來； ? 在實際問題中常常討論的是熵之間的差值問題，如信息變差、平均互信息等。所以熵差具有信息的特征； ? 連續(xù)信源的熵 Hc(X) 具有相對性，因此 Hc(X) 也稱為 相對熵 。是通過有噪信道傳輸后引起的信息量的損失，故也可稱為 損失熵 。 ? 聯(lián)合熵 H(XY)：表示輸入隨機變量 X，經信道傳輸?shù)竭_信宿，輸出隨機變量 Y。 第二部分 信道 ? 平均互信息量 定義： 互信息量 I(xi。 從一個事件獲得另一個事件的平均互信息需要 消除不確定度 ，一旦消除了不確定度，就獲得了信息。Y)— 收到 Y 前、后關于 X 的不確定度減少的量。 ? 站在輸入端： I(Y。 ? 站在總體： I(X。 )()()()|()()|()()。Y) ? BSC信道的平均互信息量 設二進制對稱信道的輸入概率空間為 轉移概率如圖 。Y) 隨輸入概率分布 p
教學課件相關推薦
鄂ICP備17016276號-1