信息論總結(jié)與復(fù)習(xí)ppt課件(已修改)
2025-05-18 02:45 本頁面
【正文】 信息論與編碼 總結(jié)與復(fù)習(xí) 本課程 主要內(nèi)容 一個(gè)理論和三個(gè)編碼 : 理論 香農(nóng)信息論 編碼 信源編碼 信道編碼 保密編碼 第一部分、信息論基礎(chǔ) 信源的信息理論 : 信息的定義： （ 1）自信息 I = log(1/p) =log p （ 2） 信息量 =通信所消除掉的不確定度 =通信前的不確定度 通信后的不確定度 （ 3）信息的單位：對(duì)數(shù)的底取 2時(shí)， 自信息的單位叫比特 (bit)。 第一部分、信息論基礎(chǔ) 信源的信息理論 信息熵的特點(diǎn) （ 1）非負(fù)性： H(X) ≥ 0 （ 2） 對(duì)稱性： H(p1p2……) =H(p2p1……) （ 3）極值性： 《 1》 離散信源各符號(hào)等概率時(shí)出現(xiàn)極大值： H0=log m 第一部分、信息論基礎(chǔ) 信源的信息理論 離散序列的信息熵 （ 1）無記憶信源的聯(lián)合熵與單符號(hào)熵： H(X1X2……XN) = H(X1)+H(X2)+H(X3)+…… +H (XN) = NH(X1) （ 2） 有記憶信源的聯(lián)合熵與 條件 熵： H(X1X2……XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + …… +H (XN|X1X2……XN1) （ 3） 平均符號(hào)熵： HN =H(X1X2……XN) / N 第一部分、信息論基礎(chǔ) 信源的信息理論 （ 4） 序列信息熵的性質(zhì)： 《 1》 條件熵不大于無條件熵，強(qiáng)條件熵不大于弱 條件熵： H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2…… XN1) 《 2》 條件熵不大于同階的平均符號(hào)熵 : HN ≥H (XN|X1X2…… XN1) 《 3》 序列越長，平均每個(gè)符號(hào)的信息熵就越小： H1 ≥ H2 ≥ H3 ≥ …… ≥H N 總之： H0 H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞ （無記憶信源取等號(hào)。） 第一部分、信息論基礎(chǔ) 信源的信息理論 第一部分、信息論基礎(chǔ) 信源的信息理論 馬爾可夫信源的信息熵 （ 1） 馬爾可夫信源的數(shù)學(xué)模型和定義： N階 馬爾可夫信源的關(guān)聯(lián)長度是 N+1， N+2以外不關(guān)聯(lián)。 （ 2） 狀態(tài) 、 狀態(tài)轉(zhuǎn)移與穩(wěn)態(tài)概率： 狀態(tài) 、 狀態(tài)轉(zhuǎn)移 、 狀態(tài)轉(zhuǎn)移圖 、 穩(wěn)定狀態(tài) 、 穩(wěn)態(tài)方程 （ 3） 穩(wěn)態(tài)符號(hào)概率： 結(jié)論： N階馬氏信源穩(wěn)態(tài)信息熵 (即極限熵 )等于 N+1階條件熵。 （ 4）穩(wěn)態(tài)信息熵： [例 1] 已知二階馬爾可夫信源的條件概率： p(0|00)=p(1|11)=； p(0|01)=p(1|10)=； 求穩(wěn)態(tài)概率 、 穩(wěn)態(tài)符號(hào)概率 、 穩(wěn)態(tài)符號(hào)熵和穩(wěn)態(tài)信息熵 。 解： 二階馬氏信源關(guān)聯(lián)長度 =3， 狀態(tài)由 2符號(hào)組成 ， 共有 4個(gè)狀態(tài) ， 分別為： E1=00； E2=01； E3=10； E4=11； 已知的條件概率即是： p(0|E1)=p(1|E4 )=； p(0|E2)=p(1|E3 )=； 根據(jù)歸一化條件可求出另外 4個(gè)狀態(tài)符號(hào)依賴關(guān)系為： p(1|E1)=p(0|E4 )=； p(1|E2 )=p(0|E3 )=； 第一部分、信息論基礎(chǔ) 信源的信息理論 E4 E3 E2 E1 0: 0: 0: 1: 1: 1: 1: 0: 穩(wěn)態(tài)方程組是： 第一部分、信息論基礎(chǔ) 信源的信息理論 可解得： 穩(wěn)態(tài)符號(hào)概率為 ： 穩(wěn)態(tài)信息熵為： = bit/符號(hào) 第一部分、信息論基礎(chǔ)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1