【正文】 解方程： Q(0)＝ 1/3； Q(1)＝ 1/3； Q(2)＝ 1/3； (2) (3) 實際信源熵為 H∞。 40 6. 已知 對稱信道 (1)求信道容量和最佳信源。 （ 2）為信息 111編碼；（ 3）為 R=1101011 譯碼。 √ √ √ 34 第五部分、典型題目 三．計算題： 1．一階馬爾可夫信源的狀態(tài)圖如右，信源 X的符號集為{0,1,2}，圖中 。 ，此時編碼效率為 。 22 第三部分、信道編碼 信道編碼理論 第三部分、信道編碼 信道編碼理論 : 檢錯與糾錯原理 ： （ 1）檢錯原理：添加冗余避免碼字非此即彼； （ 2）糾錯原理：添加冗余拉大碼字漢明間距； （ 3） 漢明距離：兩碼字不同碼元的個數(shù)； （ 4）檢錯能力： d0≥ e +1 糾錯能力： d0≥2 t +1 糾檢同時： d0≥ e+t +1 (et) 線性群碼的 d0為非零碼字的最小漢明重量 。Y)}= max{H(X)}=log m ； 2） 無噪信道： C = max{I(X。 （ 4）穩(wěn)態(tài)信息熵： ???Liikik EapEQap1)|()()()|()(1l i m 211121 NNNN XXXXHXXXXHNHN?? ??? ???? 8 第一部分、信息論基礎(chǔ) 信道的信息理論 信道的信息理論 : 信道的數(shù)學(xué)模型： 進入廣義信道的符號為 ai∈ A；從廣義信道出來的符號 bj ∈ B；其前向概率為 pij=p(bj|ai)。(計算公式： I (X。 解： C =log4H(,) =2+(+) 2 = bit/符號； 16 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 3） 波形信道的信道容量： 發(fā)送連續(xù)信號的信源是連續(xù)信源 ， 傳輸連續(xù)信號的信道是波形信道 。 25 、 循環(huán)碼 1. 碼多項式 2. 生成多項式 —— 碼多項式中那個次數(shù)最低的非零多項式 g(x) 第三部分、信道編碼 循環(huán)碼 nk = r 次；常數(shù)項為 1。 10, 457 57/63= 1檢查糾正錯誤 H∞/logr 增強抗攻擊性 1 壓縮代碼長度 6．信道誤碼率為 p=103，采用三連重復(fù)碼編碼傳輸時的差錯 率約為 。 p=1時 ， 理由：因為每種狀態(tài)都只發(fā)兩個符號，當(dāng)一種符號概率為 1時，另一個必然為 0，實際上只發(fā)一種確定的符號，成為確定事件，其自信息為 0。 (2)在上面最佳信源分布下，按最大似然譯碼準(zhǔn)則確定其譯碼規(guī)則，并計算錯誤概率。求生成矩陣與一致校驗矩陣。 1 CRC是截短循環(huán)碼的應(yīng)用，即在原循環(huán)碼的基礎(chǔ)上通過減少監(jiān)督位來對不同長度的信息位進行信道編碼，以便于糾錯。 r=6的漢明碼，信息位為 ________位，編碼效率等于________，能夠糾正 位錯。 關(guān)鍵： 積累概率 F(Si)——按照自然碼排序 順列在(Si)前面的所有序列的概率之和。(})({ YXIM a xC xp? 15 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 2） 信道容量的計算： 對于簡單信道要求能計算信道容量： 1） 無損信道： C = max{I(X。 （ 2） 狀態(tài) 、 狀態(tài)轉(zhuǎn)移與穩(wěn)態(tài)概率： （ 3） 穩(wěn)態(tài)符號概率： 結(jié)論： N階馬氏信源穩(wěn)態(tài)信息熵 (即極限熵 )等于 N+1階條件熵。Y) = H(X) – H(X|Y)= H(Y) – H(Y|X) = H(X) +H(Y)–H(XY) I (X。 高斯加性噪聲波形信道的容量由 Shannon公式給出： C= B log(1+ PX /Pn ) 香農(nóng)公式給出了帶寬 B、 信道容量和信噪比 PX /Pn三者之間的制約關(guān)系 。 任意碼多項式都是生成多項式 g(x)的倍式。 7. 香農(nóng)信道編碼定理指出，無差錯傳輸?shù)膫餍怕什荒艽笥? 。三種狀態(tài)下發(fā)出符號的自信息均為 0，平均值也一定為 0。（思考：最小錯誤概率準(zhǔn)則怎么做？） 解 :（ 1） 最佳輸入為等概率分布。Y)= bit/s )()( )( ?????????? ypxyp ；? 37 3.（ 1） (7, 3)截短循環(huán)碼生成多項式是 g(x)=x4+x2+x+1。 1離散等概信源具有最大信息熵。 l 30 典型題目講解 第四部分、典型題目 一．填空： 1. 碼長為 10最多 可糾 2位錯的線性分組碼可寫為 ( ) 碼 。 算術(shù)編碼：屬于“流碼”，把信源發(fā)出的非等概序列變換成等概序列。 )。