信息論總結(jié)與復(fù)習(xí)ppt課件-文庫吧資料
2025-05-12 02:45本頁面
【正文】 （ 2）糾錯(cuò)原理：添加冗余拉大碼字漢明間距； （ 3） 漢明距離：兩碼字不同碼元的個(gè)數(shù)； （ 4）檢錯(cuò)能力： d0≥ e +1 糾錯(cuò)能力： d0≥2 t +1 糾檢同時(shí)： d0≥ e+t +1 (et) 譯碼規(guī)則與錯(cuò)誤概率 ： （ 1）最小錯(cuò)誤準(zhǔn)則：選聯(lián)合概率矩陣每列最大元素 （ 2）最大似然準(zhǔn)則：選傳輸概率矩陣每列最大元素 （ 3） 錯(cuò)誤概率計(jì)算：未選中元素的總聯(lián)合概率 （ 4）差錯(cuò)率計(jì)算：采用信道編碼與譯碼后仍然不能糾正的錯(cuò)誤所具有的概率。 （ 6） 從根到葉的路徑就給出了相應(yīng)符號(hào)的碼字。 （ 4）重復(fù)這個(gè)過程直到合并完全部符號(hào)。 （ 2）合并概率最小的兩個(gè)符合為一個(gè)節(jié)點(diǎn)。 [例 5] 以下哪些編碼一定 不是 惟一可譯碼 ？ 寫出每種編碼克拉夫特不等式的計(jì)算結(jié)果 。 （ 2）平均碼長： l（ 4） 極限碼長 ∞=H∞ / log r。 ?應(yīng)當(dāng) 盡量使所找的編碼序列各個(gè)碼元相互獨(dú)立且等概 ， 就會(huì)使單位符號(hào)信息含量更多 ， 代碼就比原來更短 。 解： C =log4H(,) =2+(+) 2 = bit/符號(hào)； 第二部分、無失真信源編碼 第二部分、無失真信源編碼 信源編碼理論 信源編碼理論 : 信源的相對(duì)信息率和冗余度 ： （ 1）實(shí)際信源由于 非等概，使 H(X)H0=log m （ 2）實(shí)際信源由于 有記憶，使 H∞ HN H(X) （ 3） 信源每個(gè)符號(hào)最大可以荷載的信息量是 H0 （ 4）平均每個(gè)符號(hào)的實(shí)際信息荷載量是 H∞ （ 5）只要 信息熵沒有達(dá)到最大值，就存在冗余 。Y)}= max{H(Y)}= log S ； 3） 對(duì)稱信道： C=max{I(X。 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 3） 信道容量的計(jì)算： 對(duì)于簡單信道要求能計(jì)算信道容量： 1） 無損信道： C = max{I(X。 H(XY)= – – – –– = bit/符號(hào) 解 :(1)先驗(yàn)熵： H(X)= – = ( –)/lg2 = bit/符號(hào) (2)聯(lián)合熵： 第一部分、信息論基礎(chǔ) 信道的信息理論 H(Y | X)= – – – – –– = bit/符號(hào) (4)接收符號(hào)熵： 由 P(Y)=（ +， +， +） = （ , , ） H(Y)= = bit/符號(hào) (3)噪聲熵： 由 和 第一部分、信息論基礎(chǔ) 信道的信息理論 H(X|Y)= (7/11) …… (9/44)= bit/符號(hào) 或： H(X|Y)=H(XY)H(Y)== bit/符號(hào) (6)平均互信息： I(X。Y) H(Y|X) 損失熵 平均互信息 噪聲熵 H(XY) H(X) H(Y) 信源熵 接收符號(hào)熵 計(jì)算公式： I (X。 （ 5） 對(duì)稱信道： 傳輸矩陣的各行都是一些相同元素的重排 ，各列也是一些相同元素的重排 。 （ 3） 有噪無損信道 分組一對(duì)多 （ 彌散 ） ， 傳輸矩陣應(yīng)具有一行多列的分塊對(duì)角化形式 。 （ 2） 有噪有損信道： ai與 bj多 多對(duì)應(yīng)的 ， 傳輸矩陣中所有的矩陣元都有可能不為零 。 第一部分、信息論基礎(chǔ) 信道的信息理論 信道的信息理論 : 信道的數(shù)學(xué)模型： 進(jìn)入廣義信道的符號(hào)為 ai∈ A；從廣義信道出來的符號(hào) bj ∈ B；其前向概率為 pij=p(bj|ai)。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1