【正文】 解方程： Q(0)＝ 1/3； Q(1)＝ 1/3； Q(2)＝ 1/3； (2) (3) 實(shí)際信源熵為 H∞。 40 6. 已知 對(duì)稱(chēng)信道 (1)求信道容量和最佳信源。 （ 2）為信息 111編碼；（ 3）為 R=1101011 譯碼。 √ √ √ 34 第五部分、典型題目 三．計(jì)算題： 1．一階馬爾可夫信源的狀態(tài)圖如右，信源 X的符號(hào)集為{0,1,2}，圖中 。 ，此時(shí)編碼效率為 。 22 第三部分、信道編碼 信道編碼理論 第三部分、信道編碼 信道編碼理論 : 檢錯(cuò)與糾錯(cuò)原理 ： （ 1）檢錯(cuò)原理：添加冗余避免碼字非此即彼； （ 2）糾錯(cuò)原理：添加冗余拉大碼字漢明間距； （ 3） 漢明距離：兩碼字不同碼元的個(gè)數(shù)； （ 4）檢錯(cuò)能力： d0≥ e +1 糾錯(cuò)能力： d0≥2 t +1 糾檢同時(shí)： d0≥ e+t +1 (et) 線(xiàn)性群碼的 d0為非零碼字的最小漢明重量 。Y)}= max{H(X)}=log m ； 2） 無(wú)噪信道： C = max{I(X。 （ 4）穩(wěn)態(tài)信息熵： ???Liikik EapEQap1)|()()()|()(1l i m 211121 NNNN XXXXHXXXXHNHN?? ??? ???? 8 第一部分、信息論基礎(chǔ) 信道的信息理論 信道的信息理論 : 信道的數(shù)學(xué)模型： 進(jìn)入廣義信道的符號(hào)為 ai∈ A；從廣義信道出來(lái)的符號(hào) bj ∈ B；其前向概率為 pij=p(bj|ai)。(計(jì)算公式： I (X。 解： C =log4H(,) =2+(+) 2 = bit/符號(hào)； 16 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 3） 波形信道的信道容量： 發(fā)送連續(xù)信號(hào)的信源是連續(xù)信源 ， 傳輸連續(xù)信號(hào)的信道是波形信道 。 25 、 循環(huán)碼 1. 碼多項(xiàng)式 2. 生成多項(xiàng)式 —— 碼多項(xiàng)式中那個(gè)次數(shù)最低的非零多項(xiàng)式 g(x) 第三部分、信道編碼 循環(huán)碼 nk = r 次；常數(shù)項(xiàng)為 1。 10, 457 57/63= 1檢查糾正錯(cuò)誤 H∞/logr 增強(qiáng)抗攻擊性 1 壓縮代碼長(zhǎng)度 6．信道誤碼率為 p=103，采用三連重復(fù)碼編碼傳輸時(shí)的差錯(cuò) 率約為 。 p=1時(shí) ， 理由：因?yàn)槊糠N狀態(tài)都只發(fā)兩個(gè)符號(hào)，當(dāng)一種符號(hào)概率為 1時(shí)，另一個(gè)必然為 0，實(shí)際上只發(fā)一種確定的符號(hào)，成為確定事件，其自信息為 0。 (2)在上面最佳信源分布下，按最大似然譯碼準(zhǔn)則確定其譯碼規(guī)則，并計(jì)算錯(cuò)誤概率。求生成矩陣與一致校驗(yàn)矩陣。 1 CRC是截短循環(huán)碼的應(yīng)用，即在原循環(huán)碼的基礎(chǔ)上通過(guò)減少監(jiān)督位來(lái)對(duì)不同長(zhǎng)度的信息位進(jìn)行信道編碼，以便于糾錯(cuò)。 r=6的漢明碼，信息位為 ________位，編碼效率等于________，能夠糾正 位錯(cuò)。 關(guān)鍵： 積累概率 F(Si)——按照自然碼排序 順列在(Si)前面的所有序列的概率之和。(})({ YXIM a xC xp? 15 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 2） 信道容量的計(jì)算： 對(duì)于簡(jiǎn)單信道要求能計(jì)算信道容量： 1） 無(wú)損信道： C = max{I(X。 （ 2） 狀態(tài) 、 狀態(tài)轉(zhuǎn)移與穩(wěn)態(tài)概率： （ 3） 穩(wěn)態(tài)符號(hào)概率： 結(jié)論： N階馬氏信源穩(wěn)態(tài)信息熵 (即極限熵 )等于 N+1階條件熵。Y) = H(X) – H(X|Y)= H(Y) – H(Y|X) = H(X) +H(Y)–H(XY) I (X。 高斯加性噪聲波形信道的容量由 Shannon公式給出： C= B log(1+ PX /Pn ) 香農(nóng)公式給出了帶寬 B、 信道容量和信噪比 PX /Pn三者之間的制約關(guān)系 。 任意碼多項(xiàng)式都是生成多項(xiàng)式 g(x)的倍式。 7. 香農(nóng)信道編碼定理指出，無(wú)差錯(cuò)傳輸?shù)膫餍怕什荒艽笥? 。三種狀態(tài)下發(fā)出符號(hào)的自信息均為 0，平均值也一定為 0。（思考：最小錯(cuò)誤概率準(zhǔn)則怎么做？） 解 :（ 1） 最佳輸入為等概率分布。Y)= bit/s )()( )( ?????????? ypxyp ；? 37 3.（ 1） (7, 3)截短循環(huán)碼生成多項(xiàng)式是 g(x)=x4+x2+x+1。 1離散等概信源具有最大信息熵。 l 30 典型題目講解 第四部分、典型題目 一．填空： 1. 碼長(zhǎng)為 10最多 可糾 2位錯(cuò)的線(xiàn)性分組碼可寫(xiě)為 ( ) 碼 。 算術(shù)編碼：屬于“流碼”，把信源發(fā)出的非等概序列變換成等概序列。 )。