信息論總結(jié)與復(fù)習(xí)ppt課件(完整版)
【正文】 編碼方法 編碼方法 : Huffman編碼 ： （ 1）信源符號(hào)按概率大小排隊(duì)。Y)}=logSH(p1, p2,…… , pS)； [例 3]求對(duì)稱信道 的信道容量 。 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 信道有關(guān)的信息熵： （ 1）信源熵 (先驗(yàn)熵 )： （ 2） 噪聲熵 (散布度 )： （ 3） 聯(lián)合熵： （ 4）接收符號(hào)熵： （ 5） 損失熵 (后驗(yàn)熵 )： 第一部分、信息論基礎(chǔ) 信道的信息理論 4. 平均互信息 （ 1） 平均互信息的定義： ?系統(tǒng)完成一個(gè)符號(hào)從發(fā)到收的通信過程后 ， 關(guān)于符號(hào) ai的不確定度的變化為： ?統(tǒng)計(jì)平均而言，平均每收發(fā)一對(duì)符號(hào)信宿所獲得的 信息量為： H(X|Y) I (X。 解： 二階馬氏信源關(guān)聯(lián)長(zhǎng)度 =3， 狀態(tài)由 2符號(hào)組成 ， 共有 4個(gè)狀態(tài) ， 分別為： E1=00； E2=01； E3=10； E4=11； 已知的條件概率即是： p(0|E1)=p(1|E4 )=； p(0|E2)=p(1|E3 )=； 根據(jù)歸一化條件可求出另外 4個(gè)狀態(tài)符號(hào)依賴關(guān)系為： p(1|E1)=p(0|E4 )=； p(1|E2 )=p(0|E3 )=； 第一部分、信息論基礎(chǔ) 信源的信息理論 E4 E3 E2 E1 0: 0: 0: 1: 1: 1: 1: 0: 穩(wěn)態(tài)方程組是： 第一部分、信息論基礎(chǔ) 信源的信息理論 可解得： 穩(wěn)態(tài)符號(hào)概率為 ： 穩(wěn)態(tài)信息熵為： = bit/符號(hào) 第一部分、信息論基礎(chǔ) 信源的信息理論 因此 ， 穩(wěn)態(tài)符號(hào)熵 =1bit/符號(hào) 。） 第一部分、信息論基礎(chǔ) 信源的信息理論 第一部分、信息論基礎(chǔ) 信源的信息理論 馬爾可夫信源的信息熵 （ 1） 馬爾可夫信源的數(shù)學(xué)模型和定義： N階 馬爾可夫信源的關(guān)聯(lián)長(zhǎng)度是 N+1， N+2以外不關(guān)聯(lián)。 （ 3） 有噪無損信道 分組一對(duì)多 （ 彌散 ） ， 傳輸矩陣應(yīng)具有一行多列的分塊對(duì)角化形式 。 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 3） 信道容量的計(jì)算： 對(duì)于簡(jiǎn)單信道要求能計(jì)算信道容量： 1） 無損信道： C = max{I(X。 （ 2）平均碼長(zhǎng)： l（ 4） 極限碼長(zhǎng) ∞=H∞ / log r。 （ 6） 從根到葉的路徑就給出了相應(yīng)符號(hào)的碼字。 F(b2)=a2 。HT = C 率失真函數(shù)的定義： 在滿足保真度準(zhǔn)則下，傳信率 R的下限值是保真度 D值的函數(shù)， R(D)就叫做率失真函數(shù)。 但是要 滿足指定的保真度，限失真信源編碼的極限傳信率 R≤ R(D)， R (D)是信源的率失真函數(shù)。 解：根據(jù) p(x1x2x3)=p(x1)p(x2)p(x3) 不難求出 三次擴(kuò)展信源的概率空間為： 按 8個(gè)符號(hào)的概率排隊(duì) ， 進(jìn)行赫付曼編碼 第五部分、典型題目 bbb bba bab abb () () baa aba aab () () aaa () root 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1011 1010 1001 1000 011 010 11 00 碼字 4 4 4 4 3
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1