信息論總結(jié)與復(fù)習(xí)ppt課件(更新版)
【正文】 3 2 2 碼長 第五部分、典型題目 碼字 00 11 010 011 1000 1001 1010 1011 碼長 2 2 3 3 4 4 4 4 碼字平均長度： LN=； 信源符號平均編碼長度： 信源信息熵 : H(X)== 編碼效率： η=第五部分、典型題目 全面復(fù)習(xí) 重點(diǎn)掌握 重視概念 細(xì)心運(yùn)算 動手動腦 不存僥幸 祝大家取得滿意的考試成績！ 。分別求： (1)平穩(wěn)后的信源概率分布； (2)信源熵 H∞； (3)求 p=1時實際信源的熵，并說明所得結(jié)果的理由。 V)}=H(U)H(D)D log(r1) 第四部分、限失真信源編碼 ：率失真函數(shù) [例 11] 已知 信源概率 為： p(X)=(, ,),，求漢明失真下保真度 D=。HT = E 錯誤概率： PE=3(3/9+1/9) /3=4/9= 線性分組碼 : 碼長為 n，信息位為 k ， 記作（ n , k）； 監(jiān)督位 r ＝ nk 編碼 C = K?G 生成矩陣 G是 k n的矩陣。 第三部分、信道編碼 信道編碼理論 第三部分、信道編碼 信道編碼理論 : 檢錯與糾錯原理 ： （ 1）檢錯原理：添加冗余避免碼字非此即彼； （ 2）糾錯原理：添加冗余拉大碼字漢明間距； （ 3） 漢明距離：兩碼字不同碼元的個數(shù)； （ 4）檢錯能力： d0≥ e +1 糾錯能力： d0≥2 t +1 糾檢同時： d0≥ e+t +1 (et) 譯碼規(guī)則與錯誤概率 ： （ 1）最小錯誤準(zhǔn)則：選聯(lián)合概率矩陣每列最大元素 （ 2）最大似然準(zhǔn)則：選傳輸概率矩陣每列最大元素 （ 3） 錯誤概率計算：未選中元素的總聯(lián)合概率 （ 4）差錯率計算：采用信道編碼與譯碼后仍然不能糾正的錯誤所具有的概率。 [例 5] 以下哪些編碼一定 不是 惟一可譯碼 ？ 寫出每種編碼克拉夫特不等式的計算結(jié)果 。Y)}= max{H(Y)}= log S ； 3） 對稱信道： C=max{I(X。 （ 5） 對稱信道： 傳輸矩陣的各行都是一些相同元素的重排 ，各列也是一些相同元素的重排 。 （ 4）穩(wěn)態(tài)信息熵： [例 1] 已知二階馬爾可夫信源的條件概率： p(0|00)=p(1|11)=； p(0|01)=p(1|10)=； 求穩(wěn)態(tài)概率 、 穩(wěn)態(tài)符號概率 、 穩(wěn)態(tài)符號熵和穩(wěn)態(tài)信息熵 。 （ 2） 狀態(tài) 、 狀態(tài)轉(zhuǎn)移與穩(wěn)態(tài)概率： 狀態(tài) 、 狀態(tài)轉(zhuǎn)移 、 狀態(tài)轉(zhuǎn)移圖 、 穩(wěn)定狀態(tài) 、 穩(wěn)態(tài)方程 （ 3） 穩(wěn)態(tài)符號概率： 結(jié)論： N階馬氏信源穩(wěn)態(tài)信息熵 (即極限熵 )等于 N+1階條件熵。 （ 4）無噪有損信道： 分組多對一（歸并）， 其傳輸矩陣應(yīng)具有多行一列的分塊對角化形式。Y)}= max{H(X)}=log m ； 2） 無噪信道： C = max{I(X。 l o gHlr???（ 5） 編碼效率 ： （ 3） Shannon變長碼編碼定理： 第二部分、無失真信源編碼 信源編碼理論 唯一可譯性與即時性： （ 1）斷字問題： 分組編碼的 變長碼被連接起來發(fā) 送，接收端如何才能將它們分開進(jìn)行譯碼呢？ （ 2）唯一可譯碼 （ 3）即時碼 （ 4）構(gòu)造碼樹的方法 （ 5）克拉夫特不等式：唯一可譯碼的必要條件。 （ 7）計算平均碼長與編碼效率。 F(b3)=a3 。HT ? E R(D)的定義域： R(D)的計算： R(Dmin) = R(0)= H(U) R (D max) = 0 （ 1）一般情況，按定義： （ 2）特殊情況，漢明失真： R(D)=min{I (U 。 第五部分、典型題目 計算題： 1． 一階馬爾可夫信源的狀態(tài)圖如右，信源 X的符號集為{0,1,2}，圖中
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1