信息論總結(jié)與復(fù)習(xí)ppt課件-wenkub
2023-05-21 02:45:55 本頁面
【正文】 的信道容量 。Y)=H(X)H(X|Y)= –= bit/符號 (5)損失熵 ： 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 2） 信道容量的定義： 對于給定的信道 ， 既然總存在一個信源能使互信息取極大值 ， 就可以把這個極大值定義為該信道的信道容量： 信道容量反映了一個信道最大所能傳輸?shù)钠骄バ畔?， 是給定信道的屬性 。 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 信道有關(guān)的信息熵： （ 1）信源熵 (先驗熵 )： （ 2） 噪聲熵 (散布度 )： （ 3） 聯(lián)合熵： （ 4）接收符號熵： （ 5） 損失熵 (后驗熵 )： 第一部分、信息論基礎(chǔ) 信道的信息理論 4. 平均互信息 （ 1） 平均互信息的定義： ?系統(tǒng)完成一個符號從發(fā)到收的通信過程后 ， 關(guān)于符號 ai的不確定度的變化為： ?統(tǒng)計平均而言，平均每收發(fā)一對符號信宿所獲得的 信息量為： H(X|Y) I (X。 特例是 BSC信道 。 解： 二階馬氏信源關(guān)聯(lián)長度 =3， 狀態(tài)由 2符號組成 ， 共有 4個狀態(tài) ， 分別為： E1=00； E2=01； E3=10； E4=11； 已知的條件概率即是： p(0|E1)=p(1|E4 )=； p(0|E2)=p(1|E3 )=； 根據(jù)歸一化條件可求出另外 4個狀態(tài)符號依賴關(guān)系為： p(1|E1)=p(0|E4 )=； p(1|E2 )=p(0|E3 )=； 第一部分、信息論基礎(chǔ) 信源的信息理論 E4 E3 E2 E1 0: 0: 0: 1: 1: 1: 1: 0: 穩(wěn)態(tài)方程組是： 第一部分、信息論基礎(chǔ) 信源的信息理論 可解得： 穩(wěn)態(tài)符號概率為 ： 穩(wěn)態(tài)信息熵為： = bit/符號 第一部分、信息論基礎(chǔ) 信源的信息理論 因此 ， 穩(wěn)態(tài)符號熵 =1bit/符號 。 第一部分、信息論基礎(chǔ) 信源的信息理論 信息熵的特點 （ 1）非負(fù)性： H(X) ≥ 0 （ 2） 對稱性： H(p1p2……) =H(p2p1……) （ 3）極值性： 《 1》 離散信源各符號等概率時出現(xiàn)極大值： H0=log m 第一部分、信息論基礎(chǔ) 信源的信息理論 離散序列的信息熵 （ 1）無記憶信源的聯(lián)合熵與單符號熵： H(X1X2……XN) = H(X1)+H(X2)+H(X3)+…… +H (XN) = NH(X1) （ 2） 有記憶信源的聯(lián)合熵與 條件 熵： H(X1X2……XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + …… +H (XN|X1X2……XN1) （ 3） 平均符號熵： HN =H(X1X2……XN) / N 第一部分、信息論基礎(chǔ) 信源的信息理論 （ 4） 序列信息熵的性質(zhì)： 《 1》 條件熵不大于無條件熵，強(qiáng)條件熵不大于弱 條件熵： H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2…… XN1) 《 2》 條件熵不大于同階的平均符號熵 : HN ≥H (XN|X1X2…… XN1) 《 3》 序列越長，平均每個符號的信息熵就越小： H1 ≥ H2 ≥ H3 ≥ …… ≥H N 總之： H0 H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞ （無記憶信源取等號。） 第一部分、信息論基礎(chǔ) 信源的信息理論
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1