【正文】 1/4, P(x3)=1/8, …, P(x6) = P(x7)=1/64, 試求按最佳編碼原則利用上述信道來傳輸這些消息時(shí)的信息傳輸速率；（3）求上述信源編碼的編碼效率。3個(gè)符號(hào)都為a 則 編6bit碼，共1種3個(gè)符號(hào)都為b 則 編5bit碼，共1種3個(gè)符號(hào)都為c 則 編3bit碼，共1種3個(gè)符號(hào)有2個(gè)a，1個(gè)b 則 編6bit碼，共3種3個(gè)符號(hào)有2個(gè)a，1個(gè)c 則 編5bit碼，共3種3個(gè)符號(hào)有2個(gè)b，1個(gè)a 則 編6bit碼，共3種3個(gè)符號(hào)有2個(gè)b，1個(gè)c 則 編5bit碼，共3種3個(gè)符號(hào)有2個(gè)c，1個(gè)a 則 編4bit碼，共3種3個(gè)符號(hào)有2個(gè)c，1個(gè)b 則 編4bit碼，共3種3個(gè)符號(hào)有1個(gè)a，1個(gè)b,1個(gè)c 則 編5bit碼，共6種平均碼長(zhǎng)為＝ bit/字 h1 = R1 /C = 6. 設(shè)有一個(gè)無記憶信源發(fā)出符號(hào)A和B，已知p(A) = 1/4, p(B) = 3/4。5. 一通信系統(tǒng)傳送的符號(hào)只有3個(gè)，、但傳送時(shí)總是以3個(gè)符號(hào)為一個(gè)字，故該系統(tǒng)的信源編碼以字為基礎(chǔ)并采用二進(jìn)制霍夫曼編碼。]缺點(diǎn)：需要對(duì)發(fā)送的碼字加入冗余，是一種降低效率來換取可靠性的方法。2. 針對(duì)某種應(yīng)用，給出一種你認(rèn)為是有價(jià)值的減小信源譯碼錯(cuò)誤擴(kuò)展的方法。（2）對(duì)p求導(dǎo)得，令，得，得6記，則由條件（1）得，由條件（2）得，故，代入上邊兩式整理有，進(jìn)行遞推有，7由于，當(dāng)信源為無記憶信源時(shí)，故得信道為無記憶時(shí)，故得當(dāng)信源信道都無記憶時(shí)有，故有當(dāng)信源信道中有一個(gè)有記憶或兩個(gè)都有記憶時(shí)，信號(hào)之間或信道對(duì)信號(hào)存在干擾，故信宿對(duì)信源的不確定性增加了，由于熵是對(duì)信源不確定性的平均減少量，是信宿獲得的關(guān)于信源的平均信息量，由于不確定性的增加使獲得的信息量減少，故有，當(dāng)為無記憶時(shí)，傳輸?shù)男畔⒘磕苓_(dá)到理想狀態(tài)。證明：因?yàn)?X,Y, Z)是馬氏鏈，有P(z|xy)=P(z|y),對(duì)所有成立，而P(x|yz)=P(xyz)/P(yz) = P(z|xy) P(xy)/ P(y) P(z|y)= P(z|xy) P(y) P(x|y)/ P(y) P(z|y)對(duì)所有成立故得P(x|yz)=P(x|y) 對(duì)所有成立所以(Z,Y, X)也是馬氏鏈。Y)= bit/信符7．四個(gè)等概分布的消息M1，M2，M3，M4被送入如圖所示的信道進(jìn)行傳輸，通過編碼使M1 = 00，M2 = 01，M3 =10，M4 =11。根據(jù)多年來對(duì)雙方相互通信次數(shù)的統(tǒng)計(jì)，該辦公室給上級(jí)機(jī)關(guān)發(fā)傳真和打電話占的比例約為3:7，但發(fā)傳真時(shí)約有5%的次數(shù)對(duì)方按電話接續(xù)而振鈴，撥電話時(shí)約有1%的次數(shù)對(duì)方按傳真接續(xù)而不振鈴。 p1 – p2，而其它概率值不變。 H(X3|X2)所以是平穩(wěn)信源 H(X3|X2) = H(X2|X1)得 H(X3|X1X2) 163。 H(X2|X1)，并說明等式成立的條件。所以，廣播員描述此幀圖像所廣播的信息量為 比特/千字若廣播員仍從此漢字字匯信源Y中獨(dú)立地選取漢字來描述電視圖像，每次口述一個(gè)漢字含有信息量是H(Y)，每幀電視圖像含有的信息量是，則廣播員口述此圖像至少需要的漢字?jǐn)?shù)等于 字3．已知 X： 1, 0P(X)： p, 1 – p (1) 求證：H(X) = H(p) (2) 求H(p)并作其曲線，解釋其含義。2．每幀電視圖像可以認(rèn)為是由3180。（1）一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假珠，問這一事件大約給出了多少比特的信息量；（2）不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，問后一事件給出多少信息量；（3）對(duì)上述結(jié)果作出解釋。解：（1）從240顆珠子中取3顆，含1顆假珠的概率為 （2）240顆中含1顆假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量為0。105個(gè)象素組成，所有象素均獨(dú)立變化，且每一象素又取128個(gè)不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。（1）證明 （2） H(p)110p該H(p)曲線說明，當(dāng)0與1等概出現(xiàn)時(shí)，即p=，熵最大。證明：設(shè)離散平穩(wěn)信源輸出的隨機(jī)符號(hào)序列為…X1,X2,X3,…。 H(X2|X1)只有當(dāng)(對(duì)所有)時(shí)等式成立。證明由此得到的新的概率空間的熵是增加的，并用熵的物理意義加以解釋。求：（1）上級(jí)機(jī)關(guān)值班員聽到電話振鈴而對(duì)此次通信的疑義度；（2）接續(xù)信道的噪聲熵。求輸入是M1和輸出符號(hào)是0的互信息量是多少？如果知道第2個(gè)符號(hào)也是0，這時(shí)帶來多少附加信息量？解：信源P(M1)= P(M2)= P(M3)= P(M4)=1/4, 信道為二元對(duì)稱無記憶信道，消息Mi與碼字一一對(duì)應(yīng)，所以設(shè)設(shè)接收序列為Y=(y1y2)接收到第一個(gè)數(shù)字為0，即y1=0。第三章 離散信源，即可以看做是先發(fā)出一個(gè)符號(hào)，再在此基礎(chǔ)上發(fā)出一個(gè)與前一符號(hào)相關(guān)的符號(hào)，而,第二個(gè)符號(hào)可以看做為具有一階馬爾可夫性，故有。故有。答：在信源編碼的每個(gè)碼字施加和碼字等長(zhǎng)的附加位，編碼時(shí)將要寫入的信息在新碼字上順序?qū)憙蛇?，譯碼時(shí)先譯前半段，若碼長(zhǎng)無誤則譯后半段，若前后不一致則要求重發(fā)，在帶寬充足的條件下可以采用這種方法。4. 某通信系統(tǒng)使用文字字符共10 000個(gè)，據(jù)長(zhǎng)期統(tǒng)計(jì)，使用頻率占80%的共有500個(gè)，占90%的有1000個(gè)，占99%的有4000個(gè)，%的7000個(gè)。根據(jù)字的概率大小，編碼結(jié)果為：概率在(0，)，采用6比特；在(，] ，采用5比特，但允許其中一個(gè)用4比特；在(，]，采用3比特。（1）計(jì)算該信源熵；（2）設(shè)該信源改為發(fā)出二重符號(hào)序列消息的信源，采用費(fèi)諾編碼方法，求其平均信息傳輸速率；（3）又設(shè)該信源改為發(fā)三重序列消息的信源，采用霍夫曼編碼方法，求其平均信息傳輸速率。解：（1）這是一個(gè)有固定約束的不均勻編碼的信道，有約束條件（即不能出現(xiàn)），可以把a(bǔ)1, a2作為狀態(tài)1，a3, a4, a5作為狀態(tài)2，得香農(nóng)線圖時(shí)間長(zhǎng)度分別為b11=,b12 (a3)=3, b12 (a4)=4, b12 (a5)=5, b21(a1)=1, b21(a2)=2, b22(a3)=3, b22(a5)=5,寫出行列式，可得特征方程為解方程可得所以 bit/碼元時(shí)間（2） 因?yàn)橐?guī)定a1 a2不能連用，故不能用和做碼字，根據(jù)最佳編碼的兩個(gè)原則，及單譯可譯定理，出現(xiàn)概率大的消息用短碼的原則，可用x1 x2 x3 x4 x5 x6 x71/2 1/4 1/8 1/16 1/32 1/64 1/64a3 a4 a1a3 a5 a1 a4 a2a3 a2 a43 4 4 5 5 5 6（3）編碼效率為 h = R /C =第五章 離散信道的信道編碼5．1 比特/符號(hào) 比特 命題得證。7 該信道可看成4個(gè)BSC信道串聯(lián)而成， 1 1 == 14(1)[12(1)] 4(1)[12(1)] 4(1)[12(1)] 14(1)[12(1)] 級(jí)聯(lián)后的信道仍是對(duì)稱信道，可代入公式： 其中〉4(1)[12(1)] 1〉14(1)[12(1)] 則4(1)[12(1)]log{4(1)[12(1)]}+14(1)[12(1)]log{4(1)[12(1)]} 代入=，得C’= 所以信道容量C’=C*1024= kbps。(0 1 ) (1 0 1/2 1/2)224。（1）由P(y)=[1/2 1/4+1/4a 1/41/4a]所以（2）(3) 第六章 連續(xù)信源和連續(xù)信道第六章 (1) 收到傳真的概率為8/(4+8+3+1)*2/(7+1+2)=1/10 I=log1/10= 比特 （2）可采取壓縮編碼，安最佳編碼原則編碼等措施 （3）編碼時(shí)碼長(zhǎng)盡可能長(zhǎng)，這樣根據(jù)香濃第二定理，總存在一種編碼，只要碼長(zhǎng)足夠長(zhǎng)，總存在一種編碼，是錯(cuò)誤概率任意小。（4）S/N=36dB, C= 所以。 (1)(2) 所以 B=(3) 所以 S/N=120第七章 網(wǎng)絡(luò)信息理論簡(jiǎn)介（略）第八章 信息率失真理論及其應(yīng)用1. 設(shè)輸入符號(hào)表與輸出符號(hào)表為X=Y={0, 1, 2, 3}，且輸入信號(hào)的分布為p(X = i) = 1/4, i = 0, 1, 2, 3設(shè)失真矩陣為求和及。 j時(shí)，dij = 1 (i, j = 0, 1, 2)，求信息率失真函數(shù)R(D)。證明其率失真函數(shù)滿足下列關(guān)系式：當(dāng)輸入信源為高斯分布時(shí)等號(hào)成立。設(shè)，由于所以輸出信號(hào)，于是時(shí)均值為零，方差為的隨即變量。試求：（1） 信息率失真函數(shù)R(D)；（2） 用一獨(dú)立加性高斯信道（帶寬為，限功率為P，噪聲的雙邊功率譜密度為）來傳送上述信源時(shí)，最小可能方差與的關(guān)系。若將一個(gè)合格產(chǎn)品作為廢品處理，將損失1元；若將一個(gè)廢品當(dāng)作合格產(chǎn)品出廠，將損失100元；若將合格品出廠，廢品報(bào)廢，不造成損失。情況1　全部產(chǎn)品不經(jīng)檢驗(yàn)而出廠——都當(dāng)合格品。1180。(1p)180。定義失真函數(shù)為：d (0, 0) = d (1,1) = 0d (0, 1) = d (1,0) = 1試求失真矩陣[D]。3. 設(shè)C = {11100, 01001, 10010, 00111}是一個(gè)二元碼，求碼C的最小距離d。求碼C的補(bǔ)碼以及補(bǔ)碼中所有碼字之間的距離和最小距離，它們與（1）中的結(jié)果有什么關(guān)系？（3） 把（2）中的結(jié)果推廣到一般的二元碼。解：的共軛元為：2. 求碼長(zhǎng)為n的q元重復(fù)碼的生成矩陣。證明：（反證法）奇——奇數(shù)重量，偶——偶數(shù)重量；由題意假設(shè)線性碼有個(gè)碼字，其中個(gè)是偶數(shù)重量，個(gè)是奇數(shù)重量。同理，可以推出情況2）時(shí)的矛盾。因?yàn)樗浴?. 設(shè)二元線性碼L的生成矩陣為，建立碼L的標(biāo)準(zhǔn)陣并且對(duì)字11111和10000分別進(jìn)行譯碼。9. 設(shè)有碼如下所示：信息　　　　　 碼字00 0000001 0110110 1011111 11010（1） 找出生成矩陣G與監(jiān)督矩陣H；