【正文】 綜上所述，5. 隨機(jī)變量X服從對(duì)稱(chēng)指數(shù)分布，失真函數(shù)為d (x, y) = | x – y |，求信源的R(D)。 D根據(jù)Fano不等式H(X/Y) 163。 = 再由逐步分布積分得 H(X)=2AlnA2Aln2+2A. 因?yàn)?，所?A=1 A=1/2 所以 H(X)=1 奈特/自由度 （1） =b =logbp(x)dx2b = 因?yàn)閜(x)dx=1，所以b=。(1 1 ) 所以根據(jù)選擇的譯碼規(guī)則 =(1/2 1/2) 正好將接收序列譯成所發(fā)送的碼字，可計(jì)算每個(gè)碼字引起的錯(cuò)誤概率 所以有。 （2）由圖可知，信道亦為對(duì)稱(chēng)信道， P(xy)=P(x)P(y|x)= 1/6 1/6 1/12 1/12 1/12 1/12 1/6 1/6 = 比特/符號(hào) （3）同上，信道為對(duì)稱(chēng)離散信道， P(xy)= 1/6 1/9 1/18 1/18 1/6 1/9 1/9 1/18 1/6 比特/符號(hào)。解：假設(shè)三個(gè)符號(hào)分別為a b c，則p(a)=,p(b)=,p(c)= 下面對(duì)每個(gè)字可能出現(xiàn)的情況加以討論。答：信道編碼的方法優(yōu)點(diǎn)：加入了糾錯(cuò)碼，減少了譯碼錯(cuò)誤的可能性，減少了發(fā)生錯(cuò)誤擴(kuò)展的概率。由題轉(zhuǎn)移概率為，由馬爾可夫趨于穩(wěn)定時(shí)頻率分布不變，故得，即又由代入解得， ，又，，故H=1/2*lb3/2+1/4*lb34香農(nóng)圖略由題，由得，故H1=lb3,對(duì)二階馬爾可夫鏈有狀態(tài)為00，01，02，10，11，12，20，21，22，且P（0|00）= P（1|00）= P（2|00）= P（0|01）= P（1|01）= P（2|01）= P（0|02）= P（1|02）= P（2|02）=1/3, 由,H2=9*1/9*1/3*lb3=2/3*lb35由于，由圖知，由得，即。Y)=H(X)+H(Y) － H(XY)= bit/信符 （1）聽(tīng)到電話(huà)振鈴的疑義度H(X|Y2)=－ P(X1Y2)lb P(X1Y2)－ P(X2Y2)lb P(X2Y2)= bit/信符 （2）接續(xù)信道的噪聲熵H(Y|X)=H(Y)－I(X。若取， ，其中0 2e 163。4．證明H(X3|X1X2) 163。但從廣義信息論來(lái)說(shuō)，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也應(yīng)該含有一定的信息量。（3）按照shannon對(duì)信息量的定義，只有事件含有不確知成分，才有信息量，且不確知成分越大，信息量越大，必然事件則沒(méi)有信息量。熵逐漸減小至0。5．設(shè)有一概率空間，其概率分布為{p1, p2, …, pq}，且p1p2。解：設(shè)發(fā)傳真和打電話(huà)分別為事件X1與X2,對(duì)方按傳真和按電話(huà)接續(xù)分別為事件Y1和Y2,則 P(X1)=30%,P(X2)=70% P(Y1|X1)=95%, P(Y2|X1)=5%, P(Y1|X2)=1%, P(Y2|X2)=99% P(X1Y1)=, P(X1Y2)= P(X2Y1)=, P(X2Y2)=P(Y1)= P(X1Y1)+ P(X2Y1)= P(Y2)=1－ P(Y1)= H(X)=－ P(X1)lb P(X1) － P(X2)lb P(X2) = bit/符號(hào) H(Y)=－ P(Y1)lb P(Y1) － P(Y2)lb P(Y2) = bit/符號(hào) H(XY)= = bit/兩個(gè)信符 I(X。，故，即有成立。3. 試說(shuō)明已有的解決信源譯碼錯(cuò)誤擴(kuò)展問(wèn)題的方法，簡(jiǎn)述其基本思路及利弊。求該種信源編碼的效率。5．2 比特/符號(hào) 比特/符號(hào) 比特/符號(hào) R=*1000=49 比特5．3 比特/符號(hào) 比特/符號(hào) 比特/符號(hào) 比特/符號(hào)5．4 比特/符號(hào)5．5 （1）由圖可知這是個(gè)對(duì)稱(chēng)信道，當(dāng)輸入符號(hào)等概時(shí)，, , 1/8 1/8 0 0 P(xy)= 0 1/8 1/8 0 0 0 1/8 1/8 1/8 0 0 1/8 對(duì)任意x均成立 所以，C=1 比特/符號(hào)。(1 0 ) (1 1 1/2 1/2)224。 (1) 比特/樣值 （2） 冗余度= （3） 其中C= B=*2Mbps, 得S/N= (4) = 由于P(x)=1/2=,所以電壓為1V~(1)V上的均勻分布， 又 ,所以 10=2，=5 =2*（1/2）lb(4Ps)= lb(4*1)=2=10 bit/s 又,所以 10=2，=5所以 所以 B=. (1)(2)又 而 ， 所以 S/N=, 所以= B=6 所以 所以 P=. =所以 （2）利用關(guān)系式 ，所以式（2）變?yōu)?，為一常量。，由定義知：，平均失真度一定與試驗(yàn)信道的平均錯(cuò)誤概率Pe有關(guān)，即根據(jù)保真度準(zhǔn)則，應(yīng)有Pe 163。當(dāng)方差受限時(shí)，高斯隨即變量的差熵最大，有當(dāng)且僅當(dāng)是高斯分布時(shí)，上式等號(hào)成立。試分析質(zhì)量管理中各種情況造成的損失及付出的代價(jià)。1= 全部報(bào)廢造成損失小于全部出廠(chǎng)造成的損失。9. 某二元信源X的信源空間為其中w 1/2，其失真矩陣為（1） 試求和；（2） 試求及；（3） 試求；（4） 寫(xiě)出取得的試驗(yàn)信道的各傳遞概率；（5） 當(dāng)d = 1時(shí)，寫(xiě)出與試驗(yàn)信道相對(duì)應(yīng)的反向試驗(yàn)信道的信道矩陣。 解：（1） d(00000000, 00001111)=4 d(00000000, 00110011)=4 d(00000000, 00111100)=4 d(00001111, 00110011)=4d(00001111, 00111100)=4 d(00110011,00111100)=4故碼C的最小距離d=4（2） 碼C的補(bǔ)碼是 {11111111, 11110000, 11001100, 11000011} d(11111111, 11110000)=4 d(11111111, 11001100)=4 d(11111111, 11000011)=4 d(11110000, 11001100)=4d(11110000, 11000011)=4 d(11001100, 11000011)=4故C補(bǔ)碼的最小距離d=4（3）推廣到一般的二元碼也有以上的結(jié)論設(shè)碼C中任意兩碼字的距離為d, 即兩碼字有d位不同，nd位相同。且若1）偶數(shù)個(gè)數(shù)大于奇數(shù)個(gè)數(shù)，則；若2）偶數(shù)個(gè)數(shù)小于奇數(shù)個(gè)數(shù)，則。6. 設(shè)3元線(xiàn)性碼L的生成矩陣為，求碼長(zhǎng)L的最小距離并且證明L是完備的。（1） 設(shè)信息位，碼字由編碼規(guī)則（2）譯碼表（3）正確譯碼的概率為：10. 建立二元漢明碼Ham (7,4)的包含陪集首和伴隨式的伴隨表，并對(duì)收到的字0000011，1111111，1100110，1010101進(jìn)行譯碼。13. 一個(gè)(8, 4)系統(tǒng)碼，它的一致校驗(yàn)方程為：式中是信息位，是校驗(yàn)位。解：（1）我們可以任選一個(gè)21bit的數(shù)據(jù)，假設(shè)所選數(shù)據(jù)為020321，其二進(jìn)制數(shù)表示為： 0 0010 0000 0011 0010 0001 21位碼查表可知（31，21）碼的本原多項(xiàng)式為：g (x) = x17 + x9 +x8 + x5+1輸入多項(xiàng)式為： u (x) = x17 + x9 +x8 + x5 +1所以輸出碼多項(xiàng)式為：v (x) = u (x) g (x)=( x17 + x9 +x8 + x5 +1) (x10 + x9 +x8 + x6 +x5 + x3 +1)= x27 + x26 +x25 + x23 + x22 + x20 +x19 + x17 + x16 + x14 +x12 + x8 + x6 + x3 +1(2)假設(shè)接收到的多項(xiàng)式為：r (x) =x27 +x25 + x23 + x22 + x20 +x19 + x17 + x16 + x14 +x12 + x8 + x6 + x3 +1則可得：σ（x）=α26x +1 即錯(cuò)誤位置為26，可以糾正。解：（1）查表可得本原多項(xiàng)式為：p (x) =x5+x2+1又g (x) =LCM {Φ1 (x),Φ3 (x)}當(dāng)β1=α β2=α3用matlab函數(shù)gfminpol (1，5)和gfminpol (3，5)分別得：Φ1 (x)= x5+x3+1Φ3 (x)= x5+x3+x2+x+1所以g (x) =Φ1 (x) Φ3 (x)= x10+x7+x5+x2+x+1所以n=251=31，k=3110=21（2）同樣由上題的方法可求出系統(tǒng)碼形式的G和H矩陣x10= g (x) +x7+x5+x2+x+1 x11=x g (x)+ x8+x6+x3+x2+x ………. X31=………可進(jìn)一步寫(xiě)出bo(x)……b21(x)，從而寫(xiě)出G，HG=H=（3）10. 令n是g (x) | (x n – 1) |的最小正數(shù)。解：從倫敦到維也納的最快路線(xiàn)為：倫敦——巴黎——慕尼黑——維也納此算法需計(jì)算從倫敦到維也納中間所可能經(jīng)過(guò)的各節(jié)點(diǎn)離倫敦的時(shí)間，保留其中最短的，去除其它的。和H165?？梢詫⑹噶恐械氖孜矁身?xiàng)M0 M5看作是控制盒S中采用的不同行號(hào)，而將其余的四項(xiàng)看作是不同列號(hào)的一種。（2）密鑰符號(hào)不能重復(fù)。6=24解同余方程可得11180。49模60=1，得5個(gè)允許的d為11，18，29，31，49(b) 3718