《信息論總結(jié)與復(fù)習(xí)》ppt課件(文件)
【正文】 第一部分、信息論基礎(chǔ) 信源的信息理論 馬爾可夫信源的信息熵 （ 1） 馬爾可夫信源的數(shù)學(xué)模型和定義： N階 馬爾可夫信源的關(guān)聯(lián)長(zhǎng)度是 N+1， N+2以外不關(guān)聯(lián)。 第一部分、信息論基礎(chǔ) 信道的信息理論 信道的信息理論 : 信道的數(shù)學(xué)模型： 進(jìn)入廣義信道的符號(hào)為 ai∈ A；從廣義信道出來(lái)的符號(hào) bj ∈ B；其前向概率為 pij=p(bj|ai)。 （ 3） 有噪無(wú)損信道 分組一對(duì)多 （ 彌散 ） ， 傳輸矩陣應(yīng)具有一行多列的分塊對(duì)角化形式 。Y) H(Y|X) 損失熵 平均互信息 噪聲熵 H(XY) H(X) H(Y) 信源熵 接收符號(hào)熵 計(jì)算公式： I (X。 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 3） 信道容量的計(jì)算： 對(duì)于簡(jiǎn)單信道要求能計(jì)算信道容量： 1） 無(wú)損信道： C = max{I(X。 解： C =log4H(,) =2+(+) 2 = bit/符號(hào)； 第二部分、無(wú)失真信源編碼 第二部分、無(wú)失真信源編碼 信源編碼理論 信源編碼理論 : 信源的相對(duì)信息率和冗余度 ： （ 1）實(shí)際信源由于 非等概，使 H(X)H0=log m （ 2）實(shí)際信源由于 有記憶，使 H∞ HN H(X) （ 3） 信源每個(gè)符號(hào)最大可以荷載的信息量是 H0 （ 4）平均每個(gè)符號(hào)的實(shí)際信息荷載量是 H∞ （ 5）只要 信息熵沒有達(dá)到最大值，就存在冗余 。 （ 2）平均碼長(zhǎng)： l（ 4） 極限碼長(zhǎng) ∞=H∞ / log r。 （ 2）合并概率最小的兩個(gè)符合為一個(gè)節(jié)點(diǎn)。 （ 6） 從根到葉的路徑就給出了相應(yīng)符號(hào)的碼字。 第三部分、信道編碼 信道編碼理論 [例 7] 已知 對(duì)稱信道 (1)求信道容量和最佳信源。 F(b2)=a2 。HT = 0； 滿足此方程的均為正確的許用碼字 ，否則，便是誤碼。HT = C 第三部分、信道編碼 線性分組碼 糾錯(cuò)： ? R錯(cuò)一位的情況： S與 HT的哪一行相同，就表明錯(cuò)在哪一位。 率失真函數(shù)的定義： 在滿足保真度準(zhǔn)則下，傳信率 R的下限值是保真度 D值的函數(shù)， R(D)就叫做率失真函數(shù)。定理指出 無(wú)失真信源編碼的極限信息率 R ≤log m， 這里 m是編碼的符號(hào)個(gè)數(shù)。 但是要 滿足指定的保真度，限失真信源編碼的極限傳信率 R≤ R(D)， R (D)是信源的率失真函數(shù)。 p=0時(shí) ， 理由：因?yàn)槊糠N狀態(tài)都只發(fā)兩個(gè)符號(hào)，當(dāng)一種符號(hào)概率為 1時(shí)，另一個(gè)必然為 0，實(shí)際上只發(fā)一種確定的符號(hào)，成為確定事件，其自信息為 0。 解：根據(jù) p(x1x2x3)=p(x1)p(x2)p(x3) 不難求出 三次擴(kuò)展信源的概率空間為： 按 8個(gè)符號(hào)的概率排隊(duì) ， 進(jìn)行赫付曼編碼 第五部分、典型題目 bbb bba bab abb () () baa aba aab () () aaa () root 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1011 1010 1001 1000 011 010 11 00 碼字 4 4 4 4 3 3 2
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1