信息論總結(jié)與復(fù)習(xí)ppt課件-在線瀏覽
2025-06-23 02:45本頁面
【正文】 基礎(chǔ) 信源的信息理論 因此 ， 穩(wěn)態(tài)符號熵 =1bit/符號 。 傳輸矩陣 : 信道的分類： （ 1）無噪無損信道： ai與 bj是一一對應(yīng)的， p (bj|ai ) =δ ij ，傳輸矩陣為單位方陣。 特例是 BSC信道 。 （ 4）無噪有損信道： 分組多對一（歸并）， 其傳輸矩陣應(yīng)具有多行一列的分塊對角化形式。 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 信道有關(guān)的信息熵： （ 1）信源熵 (先驗(yàn)熵 )： （ 2） 噪聲熵 (散布度 )： （ 3） 聯(lián)合熵： （ 4）接收符號熵： （ 5） 損失熵 (后驗(yàn)熵 )： 第一部分、信息論基礎(chǔ) 信道的信息理論 4. 平均互信息 （ 1） 平均互信息的定義： ?系統(tǒng)完成一個(gè)符號從發(fā)到收的通信過程后 ， 關(guān)于符號 ai的不確定度的變化為： ?統(tǒng)計(jì)平均而言，平均每收發(fā)一對符號信宿所獲得的 信息量為： H(X|Y) I (X。Y) = H(X) – H(X|Y)= H(Y) – H(Y|X)= H(X) +H(Y)–H(XY) （ 2）平均互信息與信息熵之間的關(guān)系： 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 5. 信道容量 [例 2]已知信源先驗(yàn)概率 p(x)={, }， 信道傳輸 矩陣 ；試計(jì)算各信息熵和互信息 。Y)=H(X)H(X|Y)= –= bit/符號 (5)損失熵 ： 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 2） 信道容量的定義： 對于給定的信道 ， 既然總存在一個(gè)信源能使互信息取極大值 ， 就可以把這個(gè)極大值定義為該信道的信道容量： 信道容量反映了一個(gè)信道最大所能傳輸?shù)钠骄バ畔?， 是給定信道的屬性 。Y)}= max{H(X)}=log m ； 2） 無噪信道： C = max{I(X。Y)}=logSH(p1, p2,…… , pS)； [例 3]求對稱信道 的信道容量 。 定義相對信息率： μ = H∞ /H 0 信源冗余度 （ 或剩余度 ） ： γ =1μ 怎樣將這些冗余壓縮掉 ？ 尋找一種更短的代碼序列 ， 在不損失信息的前提下 ， 替代原來的符號序列 。 第二部分、無失真信源編碼 信源編碼理論 第二部分、無失真信源編碼 信源編碼理論 變長碼編碼原理： （ 1）概率匹配原則： 信息量大 (不常出現(xiàn) )的符號用長碼，信息量小 (經(jīng)常出現(xiàn) )的符號用短碼。 l o gHlr???（ 5） 編碼效率 ： （ 3） Shannon變長碼編碼定理： 第二部分、無失真信源編碼 信源編碼理論 唯一可譯性與即時(shí)性： （ 1）斷字問題： 分組編碼的 變長碼被連接起來發(fā) 送，接收端如何才能將它們分開進(jìn)行譯碼呢？ （ 2）唯一可譯碼 （ 3）即時(shí)碼 （ 4）構(gòu)造碼樹的方法 （ 5）克拉夫特不等式：唯一可譯碼的必要條件。 碼 A： 0， 10， 11， 101； 碼 B： 1， 01， 001， 0001； 碼 C： 0， 10， 110， 1110， 111110； 解 ： 碼 A： 1/2+1/4+1/4+1/81， 不能唯一可譯； 碼 B： 1/2+1/4+1/8+1/161,有可能唯一可譯； 碼 C： 1/2+1/4+1/8+1/16+1/641， 有可能唯一可譯； 第二部分、無失真信源編碼 信源編碼理論 第二部分、無失真信源編碼 編碼方法 編碼方法 : Huffman編碼 ： （ 1）信源符號按概率大小排隊(duì)。 （ 3） 節(jié)點(diǎn)參與排隊(duì)放在與自己概率相等符號后面 。 （ 5）標(biāo)記每個(gè)分支的的 0與 1。 （ 7）計(jì)算平均碼長與編
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1