【正文】 個符號有1個a，1個b,1個c 則 編5bit碼，共6種平均碼長為＝ bit/字 h1 = R1 /C = 6. 設有一個無記憶信源發(fā)出符號A和B，已知p(A) = 1/4, p(B) = 3/4。（1）計算該信源熵；（2）設該信源改為發(fā)出二重符號序列消息的信源，采用費諾編碼方法，求其平均信息傳輸速率；（3）又設該信源改為發(fā)三重序列消息的信源，采用霍夫曼編碼方法，求其平均信息傳輸速率。解：（1）該離散無記憶信源的熵為（2）費諾編碼消息符號序號(i)消息概率pi第一次分解第二次分解第三次分解二進制代碼組碼組長度biBB9/16(9/16)001AB3/16(7/16)1(3/16) 0102BA3/16(4/16) 1(3/16)01103AA1/16(1/16) 11113編碼的平均長度為 碼元/符號平均傳輸速率為 （3）霍夫曼編碼0 BBB 27/64 0100 BAA 9/64 0 (18/64)0 101 BAB 9/64 1 1110 ABB 9/64 0 (37/64)11100 AAB 3/64 0 (6/64) 0 (19/64) 111101 ABA 3/64 1 (10/64) 111110 BAA 3/64 0 (1/16) 111111 AAA 1/64 1 編碼的平均長度為 碼元/符號平均傳輸速率為 7. 已知一個信源包含8個符號消息，它們的概率分布如下表：ABCDEFGH（1） 信源每秒鐘內發(fā)出一個符號，求該信源的熵及信息傳輸速率；（2）對這8個符號作二進制碼元的霍夫曼編碼，寫出各個代碼組，并求出編碼效率。解：（1）該信源的熵信息傳輸速率R=（2）霍夫曼編碼C 0B 0 A 0 0F 0 1 1 1G 0 E 1 1D 0 1H 1編碼結果：C B A F G E D H0 110 100 1110 1010 1011 1110 11111平均碼長為： 所以編碼效率為8. 設信道基本符號集合A ={a1, a2, a3, a4, a5}，它們的時間長度分別為t1 =1, t2 =2, t3 =3, t4 =4, t5 =5 （各碼元時間）用這樣的信道基本符號編成消息序列，且不能出現(xiàn)這四種符號相連的情況。（1）求這種編碼信道的信道容量；（2）若信源的消息集合X = {x1, x2, … , x7}，它們的出現(xiàn)概率分別是P(x1)=1/2, P(x2)=1/4, P(x3)=1/8, …, P(x6) = P(x7)=1/64, 試求按最佳編碼原則利用上述信道來傳輸這些消息時的信息傳輸速率；（3）求上述信源編碼的編碼效率。解：（1）這是一個有固定約束的不均勻編碼的信道，有約束條件（即不能出現(xiàn)），可以把a1, a2作為狀態(tài)1，a3, a4, a5作為狀態(tài)2，得香農線圖時間長度分別為b11=,b12 (a3)=3, b12 (a4)=4, b12 (a5)=5, b21(a1)=1, b21(a2)=2, b22(a3)=3, b22(a5)=5,寫出行列式，可得特征方程為解方程可得所以 bit/碼元時間（2） 因為規(guī)定a1 a2不能連用，故不能用和做碼字，根據(jù)最佳編碼的兩個原則，及單譯可譯定理，出現(xiàn)概率大的消息用短碼的原則，可用x1 x2 x3 x4 x5 x6 x71/2 1/4 1/8 1/16 1/32 1/64 1/64a3 a4 a1a3 a5 a1 a4 a2a3 a2 a43 4 4 5 5 5 6（3）編碼效率為 h = R /C =第五章 離散信道的信道編碼5．1 比特/符號 比特 命題得證。5．2 比特/符號 比特/符號 比特/符號 R=*1000=49 比特5．3 比特/符號 比特/符號 比特/符號 比特/符號5．4 比特/符號5．5 （1）由圖可知這是個對稱信道，當輸入符號等概時，, , 1/8 1/8 0 0 P(xy)= 0 1/8 1/8 0 0 0 1/8 1/8 1/8 0 0 1/8 對任意x均成立 所以，C=1 比特/符號。 （2）由圖可知，信道亦為對稱信道， P(xy)=P(x)P(y|x)= 1/6 1/6 1/12 1/12 1/12 1/12 1/6 1/6 = 比特/符號 （3）同上，信道為對稱離散信道， P(xy)= 1/6 1/9 1/18 1/18 1/6 1/9 1/9 1/18 1/6 比特/符號。 據(jù)對稱性 由，代入所以 奈特/符號。7 該信道可看成4個BSC信道串聯(lián)而成， 1 1 == 14(1)[12(1)] 4(1)[12(1)] 4(1)[12(1)] 14(1)[12(1)] 級聯(lián)后的信道仍是對稱信道，可代入公式： 其中〉4(1)[12(1)] 1〉14(1)[12(1)] 則4(1)[12(1)]log{4(1)[12(1)]}+14(1)[12(1)]log{4(1)[12(1)]} 代入=，得C’= 所以信道容量C’=C*1024= kbps。8 由圖可知信道為對稱信道，且信源的符號消息等概分布，因此 比特/符號。9 后驗概率 1/4 1/6 1/12 P(xy)= 1/24 1/8 1/12 1/12 1/24 1/8 由 P(y)=[3/8 1/3 7/24] 所以 2/3 1/2 2/7 P(x|y)= 1/9 3/8 2/7 2/9 1/8 3/7根據(jù)最小錯誤概率準則，應作如下譯碼： 錯誤概率為 10 （1）（2）（3）5．11 ？？5．12 （1）對信源四個消息進行編碼，選擇碼長n=4，這組碼為 C : {()} i=(1,2) 編碼后的信息傳輸率 比特/符號 （2）設接收序列 根據(jù)信道的傳輸特性，輸入序列共有16個，正好分成4個互不相交的子集，每個碼字只傳輸?shù)狡渲袑囊粋€子集： (0 0 1/2 1/2)224。(0 0 ) (0 1 1/2 1/2)224。(0 1 ) (1 0 1/2 1/2)224。(1 0 ) (1 1 1/2 1/2)224。(1 1 ) 所以根據(jù)選擇的譯碼規(guī)則 =(1/2 1/2) 正好將接收序列譯成所發(fā)送的碼字，可計算每個碼字引起的錯誤概率 所以有。13 (1) P(y)=[7/12 5/12]P(x|y)= 6/7 3/5 1/7 2/5 又 比特/符號 所以 比特/符號此信道為二元對稱信道，所以信道容量 比特/符號根據(jù)二元對稱信道的性質可知，輸入符號為等概分布，即P(0)=P(1)=1/2時信道的信息傳輸率才能達到這個信道的容量值。（1）由P(y)=[1/2 1/4+1/4a 1/41/4a]所以（2）(3) 第六章 連續(xù)信源和連續(xù)信道第六章 (1) 收到傳真的概率為8/(4+8+3+1)*2/(7+1+2)=1/10 I=log1/10= 比特 （2）可采取壓縮編碼，安最佳編碼原則編碼等措施 （3）編碼時碼長盡可能長，這樣根據(jù)香濃第二定理，總存在一種編碼，只要碼長足夠長，總存在一種編碼，是錯誤概率任意小。最好結合實際分析如何克服隨機，突發(fā)干擾。 （4）C=Blog(1+S/N)=(1+)=，不失真條件下。 （1） 比特/樣值 （2）對樣值進行256級量化，當其服從均勻分布時，信源有最大熵，H=log256=8比特/符號 （3） 所以 。（4）S/N=36dB, C= 所以。 (1) 比特/樣值 （2） 冗余度= （3） 其中C= B=*2Mbps, 得S/N= (4) = 由于P(x)=1/2=,所以電壓為1V~(1)V上的均勻分布， 又 ,所以 10=2，=5 =2*（1/2）lb(4Ps)= lb(4*1)=2=10 bit/s 又,所以 10=2，=5所以 所以 B=. (1)(2)又 而 ，