信息論總結(jié)與復習ppt課件(存儲版)
【正文】 所以信源熵為 0。 p=0時 ， 理由：因為每種狀態(tài)都只發(fā)兩個符號，當一種符號概率為 1時，另一個必然為 0，實際上只發(fā)一種確定的符號，成為確定事件，其自信息為 0。定理指出 無失真信源編碼的極限信息率 R ≤log m， 這里 m是編碼的符號個數(shù)。 第三部分、信道編碼 線性分組碼 糾錯： ? R錯一位的情況： S與 HT的哪一行相同，就表明錯在哪一位。HT = 0； 滿足此方程的均為正確的許用碼字 ，否則，便是誤碼。 第三部分、信道編碼 信道編碼理論 [例 7] 已知 對稱信道 (1)求信道容量和最佳信源。 （ 2）合并概率最小的兩個符合為一個節(jié)點。 解： C =log4H(,) =2+(+) 2 = bit/符號； 第二部分、無失真信源編碼 第二部分、無失真信源編碼 信源編碼理論 信源編碼理論 : 信源的相對信息率和冗余度 ： （ 1）實際信源由于 非等概，使 H(X)H0=log m （ 2）實際信源由于 有記憶，使 H∞ HN H(X) （ 3） 信源每個符號最大可以荷載的信息量是 H0 （ 4）平均每個符號的實際信息荷載量是 H∞ （ 5）只要 信息熵沒有達到最大值，就存在冗余 。Y) H(Y|X) 損失熵 平均互信息 噪聲熵 H(XY) H(X) H(Y) 信源熵 接收符號熵 計算公式： I (X。 第一部分、信息論基礎 信道的信息理論 信道的信息理論 : 信道的數(shù)學模型： 進入廣義信道的符號為 ai∈ A；從廣義信道出來的符號 bj ∈ B；其前向概率為 pij=p(bj|ai)。 第一部分、信息論基礎 信源的信息理論 信息熵的特點 （ 1）非負性： H(X) ≥ 0 （ 2） 對稱性： H(p1p2……) =H(p2p1……) （ 3）極值性： 《 1》 離散信源各符號等概率時出現(xiàn)極大值： H0=log m 第一部分、信息論基礎 信源的信息理論 離散序列的信息熵 （ 1）無記憶信源的聯(lián)合熵與單符號熵： H(X1X2……XN) = H(X1)+H(X2)+H(X3)+…… +H (XN) = NH(X1) （ 2） 有記憶信源的聯(lián)合熵與 條件 熵： H(X1X2……XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + …… +H (XN|X1X2……XN1) （ 3） 平均符號熵： HN =H(X1X2……XN) / N 第一部分、信息論基礎 信源的信息理論 （ 4） 序列信息熵的性質(zhì)： 《 1》 條件熵不大于無條件熵，強條件熵不大于弱 條件熵： H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2…… XN1) 《 2》 條件熵不大于同階的平均符號熵 : HN ≥H (XN|X1X2…… XN1) 《 3》 序列越長，平均每個符號的信息熵就越?。? H1 ≥ H2 ≥ H3 ≥ …… ≥H N 總之： H0 H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞ （無記憶信源取等號。 特例是 BSC信道 。Y)=H(X)H(X|Y)= –= bit/符號 (5)損失熵 ： 第一部分、信息論基礎 信道的信息理論 第一部分、信息論基礎 信道的信息理論 （ 2） 信道容量的
教學課件相關(guān)推薦
鄂ICP備17016276號-1