【正文】 （有問(wèn)題請(qǐng)更正并通知xiezg@）第二章 信息的度量1． 一珍珠養(yǎng)殖場(chǎng)收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量?jī)H有微小差異的假珠換掉1顆。（1）一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假珠，問(wèn)這一事件大約給出了多少比特的信息量；（2）不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說(shuō)他用天平最多6次能找出，結(jié)果確是如此，問(wèn)后一事件給出多少信息量；（3）對(duì)上述結(jié)果作出解釋。解：（1）從240顆珠子中取3顆，含1顆假珠的概率為 （2）240顆中含1顆假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量為0。（3）按照shannon對(duì)信息量的定義，只有事件含有不確知成分，才有信息量，且不確知成分越大，信息量越大，必然事件則沒(méi)有信息量。但從廣義信息論來(lái)說(shuō)，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也應(yīng)該含有一定的信息量。2．每幀電視圖像可以認(rèn)為是由3180。105個(gè)象素組成，所有象素均獨(dú)立變化，且每一象素又取128個(gè)不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。問(wèn)每幀圖像含有多少信息量？如果一個(gè)廣播員在約10000個(gè)漢字的字匯中選取1000個(gè)字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，且彼此獨(dú)立）？若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需用多少漢字？解：設(shè)電視圖像每個(gè)像素取128個(gè)不同的亮度電平，并設(shè)電平等概率出現(xiàn)，則每個(gè)像素亮度含有的信息量為 比特/像素一幀中像素均是獨(dú)立變化的，則每幀圖像信源就是離散亮度信源的無(wú)記憶N次擴(kuò)展信源。得每幀會(huì)圖像含有的信息量為 比特/每幀廣播口述時(shí)，廣播員是從10000個(gè)漢字字匯中選取的，假設(shè)漢字字匯是等概率分布的，則漢字字匯中每個(gè)漢字含有的信息量 比特/字廣播員口述電視圖像是從此漢字字匯信源中獨(dú)立地選取1000個(gè)字來(lái)描述的。所以，廣播員描述此幀圖像所廣播的信息量為 比特/千字若廣播員仍從此漢字字匯信源Y中獨(dú)立地選取漢字來(lái)描述電視圖像，每次口述一個(gè)漢字含有信息量是H(Y)，每幀電視圖像含有的信息量是，則廣播員口述此圖像至少需要的漢字?jǐn)?shù)等于 字3．已知 X： 1, 0P(X)： p, 1 – p (1) 求證：H(X) = H(p) (2) 求H(p)并作其曲線，解釋其含義。（1）證明 （2） H(p)110p該H(p)曲線說(shuō)明，當(dāng)0與1等概出現(xiàn)時(shí)，即p=，熵最大。，熵逐漸減小至0。4．證明H(X3|X1X2) 163。 H(X2|X1)，并說(shuō)明等式成立的條件。證明：設(shè)離散平穩(wěn)信源輸出的隨機(jī)符號(hào)序列為…X1,X2,X3,…。又設(shè),而且都取自于同一符號(hào)集，并滿足有在區(qū)域[0，1]內(nèi)設(shè)f(x)=－xlogx, f(x)在[0，1]內(nèi)是型凸函數(shù)，所以滿足詹森不等式 其中現(xiàn)今,設(shè)其概率空間為，并滿足所以根據(jù)詹森不等式得所以上式對(duì)所有的取值都成立，所以因?yàn)?，所以上式兩邊相乘，等?hào)不變。有上式對(duì)所有都成立，所以對(duì)所有求和下式也成立因?yàn)? H(X3|X1X2) 163。 H(X3|X2)所以是平穩(wěn)信源 H(X3|X2) = H(X2|X1)得 H(X3|X1X2) 163。 H(X2|X1)只有當(dāng)(對(duì)所有)時(shí)等式成立。5．設(shè)有一概率空間，其概率分布為{p1, p2, …, pq}，且p1p2。若取， ，其中0 2e 163。 p1 – p2，而其它概率值不變。證明由此得到的新的概率空間的熵是增加的，并用熵的物理意義加以解釋。證明：令 得因?yàn)閒(x)=－xlogx是型函數(shù)，根據(jù)型凸函數(shù)的定義有所以 即 同理得 以上兩不等式兩邊相加，不等號(hào)不變。所以得 6．某辦公室和其上級(jí)機(jī)關(guān)的自動(dòng)傳真機(jī)均兼有電話功能。根據(jù)多年來(lái)對(duì)雙方相互通信次數(shù)的統(tǒng)計(jì)，該辦公室給上級(jí)機(jī)關(guān)發(fā)傳真和打電話占的比例約為3:7，但發(fā)傳真時(shí)約有5%的次數(shù)對(duì)方按電話接續(xù)而振鈴，撥電話時(shí)約有1%的次數(shù)對(duì)方按傳真接續(xù)而不振鈴。求：（1）上級(jí)機(jī)關(guān)值班員聽(tīng)到電話振鈴而對(duì)此次通信的疑義度；（2）接續(xù)信道的噪聲熵。解：設(shè)發(fā)傳真和打電話分別為事件X1與X2,對(duì)方按傳真和按電話接續(xù)分別為事件Y1和Y2,則 P(X1)=30%,P(X2)=70% P(Y1|X1)=95%, P(Y2|X1)=5%, P(Y1|X2)=1%, P(Y2|X2)=99% P(X1Y1)=, P(X1Y2)= P(X2Y1)=, P(X2Y2)=P(Y1)= P(X1Y1)+ P(X2Y1)= P(Y2)=1－ P(Y1)= H(X)=－ P(X1)lb P(X1) － P(X2)lb P(X2) = bit/符號(hào) H(Y)=－ P(Y1)lb P(Y1) － P(Y2)lb P(Y2) = bit/符號(hào) H(XY)= = bit/兩個(gè)信符 I(X。Y)=H(X)+H(Y) － H(XY)= bit/信符 （1）聽(tīng)到電話振鈴的疑義度H(X|Y2)=－ P(X1Y2)lb P(X1Y2)－ P(X2Y2)lb P(X2Y2)= bit/信符 （2）接續(xù)信道的噪聲熵H(Y|X)=H(Y)－I(X。Y)= bit/信符7．四個(gè)等概分布的消息M1，M2，M3，M4被送入如圖所示的信道進(jìn)行傳輸，通過(guò)編碼使M1 = 00，M2 = 01，M3 =10，M4 =11。求輸入是M1和輸出符號(hào)是0的互信息量是多少？如果知道第2個(gè)符號(hào)也是0，這時(shí)帶來(lái)多少附加信息量？解：信源P(M1)= P(M2)= P(M3)= P(M4)=1/4, 信道為二元對(duì)稱無(wú)記憶信道，消息Mi與碼字一一對(duì)應(yīng)，所以設(shè)設(shè)接收序列為Y=(y1y2)接收到第一個(gè)數(shù)字為0，即y1=0。那么，接收到第一個(gè)數(shù)字0與M1之間的互信息為因?yàn)樾诺罏闊o(wú)記憶信道，所以同理，得輸出第一個(gè)符號(hào)是y1=0時(shí)，有可能是四個(gè)消息中任意一個(gè)第一個(gè)數(shù)字傳送來(lái)的。所以故得 接收到第二個(gè)數(shù)字也是0時(shí)，得到關(guān)于M1的附加互信息為 其中 同理，因?yàn)樾诺朗菬o(wú)記憶信道，所以 得 輸出端出現(xiàn)第一個(gè)符號(hào)和第二個(gè)符號(hào)都為0的概率為所以 比特得附加互信息為 比特8．證明若隨機(jī)變量X，Y，Z構(gòu)成馬氏鏈，即X→Y→Z，則有Z→Y→X。證明：因?yàn)?X,Y, Z)是馬氏鏈，有P(z|xy)=P(z|y),對(duì)所有成立，而P(x|yz)=P(xyz)/P(yz) = P(z|xy) P(xy)/ P(y) P(z|y)= P(z|xy) P(y) P(x|y)/ P(y) P(z|y)對(duì)所有成立故得P(x|yz)=P(x|y) 對(duì)所有成立所以(Z,Y, X)也是馬氏鏈。第三章 離散信源，即可以看做是先發(fā)出一個(gè)符號(hào)，再在此基礎(chǔ)上發(fā)出一個(gè)與前一符號(hào)相關(guān)的符號(hào)，而,第二個(gè)符號(hào)可以看做為具有一階馬爾可夫性，故有。，故，即有成立。由題轉(zhuǎn)移概率為，由馬爾可夫趨于穩(wěn)定時(shí)頻率分布不變，故得，即又由代入解得， ，又，，故H=1/2*lb3/2+1/4*lb34香農(nóng)圖略由題，由得，故H1=lb3,對(duì)二階馬爾可夫鏈有狀態(tài)為00，01，02，10，11，12，20，21，22，且P（0|00）= P（1|00）= P（2|00）= P（0|01）= P（1|01）= P（2|01）= P（0|02）= P（1|02）= P（2|02）=1/3, 由,H2=9*1/9*1/3*lb3=2/3*lb35由于，由圖知，由得，即。（2）對(duì)p求導(dǎo)得，令，得，得6記，則由條件（1）得，由條件（2）得，故，代入上邊兩式整理有，進(jìn)行遞推有，7由于，當(dāng)信源為無(wú)記憶信源時(shí)，故得信道為無(wú)記憶時(shí)，故得當(dāng)信源信道都無(wú)記憶時(shí)有，故有當(dāng)信源信道中有一個(gè)有記憶或兩個(gè)都有記憶時(shí)，信號(hào)之間或信道對(duì)信號(hào)存在干擾，故信宿對(duì)信源的不確定性增加了，由于熵是對(duì)信源不確定性的平均減少量，是信宿獲得的關(guān)于信源的平均信息量，由于不確定性的增加使獲得的信息量減少，故有，當(dāng)為無(wú)記憶時(shí)，傳輸?shù)男畔⒘磕苓_(dá)到理想狀態(tài)。故有。第四章 離散信源的信源編碼1. 簡(jiǎn)述信源譯碼的錯(cuò)誤擴(kuò)展現(xiàn)象。答：由于信道的干擾作用，造成了一定量的錯(cuò)誤，這些錯(cuò)誤在譯碼時(shí)又造成了更多的錯(cuò)誤，這就是通信譯碼的錯(cuò)誤擴(kuò)展現(xiàn)象。2. 針對(duì)某種應(yīng)用，給出一種你認(rèn)為是有價(jià)值的減小信源譯碼錯(cuò)誤擴(kuò)展的方法。答：在信源編碼的每個(gè)碼字施加和碼字等長(zhǎng)的附加位，編碼時(shí)將要寫(xiě)入的信息在新碼字上順序?qū)憙蛇?，譯碼時(shí)先譯前半段，若碼長(zhǎng)無(wú)誤則譯后半段，若前后不一致則要求重發(fā)，在帶寬充足的條件下可以采用這種方法。3. 試說(shuō)明已有的解決信源譯碼錯(cuò)誤擴(kuò)展問(wèn)題的方法，簡(jiǎn)述其基本思路及利弊。答：信道編碼的方法優(yōu)點(diǎn)：加入了糾錯(cuò)碼，減少了譯碼錯(cuò)誤的可能性，減少了發(fā)生錯(cuò)誤擴(kuò)展的概率。]缺點(diǎn)：需要對(duì)發(fā)送的碼字加入冗余，是一種降低效率來(lái)?yè)Q取可靠性的方法。4. 某通信系統(tǒng)使用文字字符共10 000個(gè)，據(jù)長(zhǎng)期統(tǒng)計(jì)，使用頻率占80%的共有500個(gè)，占90%的有1000個(gè)，占99%的有4000個(gè)，%的7000個(gè)。（1）求該系統(tǒng)使用的文字字符的熵；（2）請(qǐng)給出該系統(tǒng)一種信源編碼方法并作簡(jiǎn)要評(píng)價(jià)。解：(1) (2)可以使用huffman編碼的方法，為使壓縮效果理想，可以使用擴(kuò)展信源的方法。5. 一通信系統(tǒng)傳送的符號(hào)只有3個(gè)，、但傳送時(shí)總是以3個(gè)符號(hào)為一個(gè)字，故該系統(tǒng)的信源編碼以字為基礎(chǔ)并采用二進(jìn)制霍夫曼編碼。根據(jù)字的概率大小，編碼結(jié)果為：概率在(0，)，采用6比特；在(，] ，采用5比特，但允許其中一個(gè)用4比特；在(，]，采用3比特。求該種信源編碼的效率。解：假設(shè)三個(gè)符號(hào)分別為a b c，則p(a)=,p(b)=,p(c)= 下面對(duì)每個(gè)字可能出現(xiàn)的情況加以討論。3個(gè)符號(hào)都為a 則 編6bit碼，共1種3個(gè)符號(hào)都為b 則 編5bit碼，共1種3個(gè)符號(hào)都為c 則 編3bit碼，共1種3個(gè)符號(hào)有2個(gè)a，1個(gè)b 則 編6bit碼，共3種3個(gè)符號(hào)有2個(gè)a，1個(gè)c 則 編5bit碼，共3種3個(gè)符號(hào)有2個(gè)b，1個(gè)a 則 編6bit碼，共3種3個(gè)符號(hào)有2個(gè)b，1個(gè)c 則 編5bit碼，共3種3個(gè)符號(hào)有2個(gè)c，1個(gè)a 則 編4bit碼，共3種3個(gè)符號(hào)有2個(gè)c，1個(gè)b 則 編4bit碼，共3種3