【正文】 矩陣為平均失真度為即這種情況不會另外造成損失。1180。解　根據(jù)題意有信源空間： 好（合格） 廢（廢品） P(好)= P(廢)=選擇失真函數(shù)為d(好，好)=0 d(廢，廢)=0 d(好，廢)=10 d(廢，好)=100失真矩陣為可將產(chǎn)品檢驗分成如下4種情況：全部產(chǎn)品都當(dāng)合格品，全部產(chǎn)品都當(dāng)廢品，完美的檢驗和允許出錯的檢驗。取,求得最小均方誤差D。綜上所述，5. 隨機(jī)變量X服從對稱指數(shù)分布，失真函數(shù)為d (x, y) = | x – y |，求信源的R(D)。在失真不超過D時，為下確界的試驗信道滿足由泛函分析中的變分法求的條件極值令由于以上規(guī)定了下確界，則 （1）設(shè)集合則有 （2）令其中由（1）得即當(dāng)時，且，得由（2）（3）兩式，有 （4）由對數(shù)得換底公式，有 （5）若要（1）式等號成立，則等效于（5）式等號成立。 D根據(jù)Fano不等式H(X/Y) 163。試求：Dmax和Dmin及達(dá)到Dmax和Dmin時的轉(zhuǎn)移概率矩陣。 = 再由逐步分布積分得 H(X)=2AlnA2Aln2+2A. 因為，所以2A=1 A=1/2 所以 H(X)=1 奈特/自由度 （1） =b =logbp(x)dx2b = 因為p(x)dx=1，所以b=。 （4）C=Blog(1+S/N)=(1+)=，不失真條件下。(1 1 ) 所以根據(jù)選擇的譯碼規(guī)則 =(1/2 1/2) 正好將接收序列譯成所發(fā)送的碼字，可計算每個碼字引起的錯誤概率 所以有。9 后驗概率 1/4 1/6 1/12 P(xy)= 1/24 1/8 1/12 1/12 1/24 1/8 由 P(y)=[3/8 1/3 7/24] 所以 2/3 1/2 2/7 P(x|y)= 1/9 3/8 2/7 2/9 1/8 3/7根據(jù)最小錯誤概率準(zhǔn)則，應(yīng)作如下譯碼： 錯誤概率為 10 （1）（2）（3）5．11 ？？5．12 （1）對信源四個消息進(jìn)行編碼，選擇碼長n=4，這組碼為 C : {()} i=(1,2) 編碼后的信息傳輸率 比特/符號 （2）設(shè)接收序列 根據(jù)信道的傳輸特性，輸入序列共有16個，正好分成4個互不相交的子集，每個碼字只傳輸?shù)狡渲袑?yīng)的一個子集： (0 0 1/2 1/2)224。 （2）由圖可知，信道亦為對稱信道， P(xy)=P(x)P(y|x)= 1/6 1/6 1/12 1/12 1/12 1/12 1/6 1/6 = 比特/符號 （3）同上，信道為對稱離散信道， P(xy)= 1/6 1/9 1/18 1/18 1/6 1/9 1/9 1/18 1/6 比特/符號。解：（1）該信源的熵信息傳輸速率R=（2）霍夫曼編碼C 0B 0 A 0 0F 0 1 1 1G 0 E 1 1D 0 1H 1編碼結(jié)果：C B A F G E D H0 110 100 1110 1010 1011 1110 11111平均碼長為： 所以編碼效率為8. 設(shè)信道基本符號集合A ={a1, a2, a3, a4, a5}，它們的時間長度分別為t1 =1, t2 =2, t3 =3, t4 =4, t5 =5 （各碼元時間）用這樣的信道基本符號編成消息序列，且不能出現(xiàn)這四種符號相連的情況。解：假設(shè)三個符號分別為a b c，則p(a)=,p(b)=,p(c)= 下面對每個字可能出現(xiàn)的情況加以討論。解：(1) (2)可以使用huffman編碼的方法，為使壓縮效果理想，可以使用擴(kuò)展信源的方法。答：信道編碼的方法優(yōu)點：加入了糾錯碼，減少了譯碼錯誤的可能性，減少了發(fā)生錯誤擴(kuò)展的概率。答：由于信道的干擾作用，造成了一定量的錯誤，這些錯誤在譯碼時又造成了更多的錯誤，這就是通信譯碼的錯誤擴(kuò)展現(xiàn)象。由題轉(zhuǎn)移概率為，由馬爾可夫趨于穩(wěn)定時頻率分布不變，故得，即又由代入解得， ，又，，故H=1/2*lb3/2+1/4*lb34香農(nóng)圖略由題，由得，故H1=lb3,對二階馬爾可夫鏈有狀態(tài)為00，01，02，10，11，12，20，21，22，且P（0|00）= P（1|00）= P（2|00）= P（0|01）= P（1|01）= P（2|01）= P（0|02）= P（1|02）= P（2|02）=1/3, 由,H2=9*1/9*1/3*lb3=2/3*lb35由于，由圖知，由得，即。所以故得 接收到第二個數(shù)字也是0時，得到關(guān)于M1的附加互信息為 其中 同理，因為信道是無記憶信道，所以 得 輸出端出現(xiàn)第一個符號和第二個符號都為0的概率為所以 比特得附加互信息為 比特8．證明若隨機(jī)變量X，Y，Z構(gòu)成馬氏鏈，即X→Y→Z，則有Z→Y→X。Y)=H(X)+H(Y) － H(XY)= bit/信符 （1）聽到電話振鈴的疑義度H(X|Y2)=－ P(X1Y2)lb P(X1Y2)－ P(X2Y2)lb P(X2Y2)= bit/信符 （2）接續(xù)信道的噪聲熵H(Y|X)=H(Y)－I(X。所以得 6．某辦公室和其上級機(jī)關(guān)的自動傳真機(jī)均兼有電話功能。若取， ，其中0 2e 163。有上式對所有都成立，所以對所有求和下式也成立因為 H(X3|X1X2) 163。4．證明H(X3|X1X2) 163。得每幀會圖像含有的信息量為 比特/每幀廣播口述時，廣播員是從10000個漢字字匯中選取的，假設(shè)漢字字匯是等概率分布的，則漢字字匯中每個漢字含有的信息量 比特/字廣播員口述電視圖像是從此漢字字匯信源中獨立地選取1000個字來描述的。但從廣義信息論來說，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也應(yīng)該含有一定的信息量。（有問題請更正并通知xiezg）第二章 信息的度量1． 一珍珠養(yǎng)殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。（3）按照shannon對信息量的定義，只有事件含有不確知成分，才有信息量，且不確知成分越大，信息量越大，必然事件則沒有信息量。問每幀圖像含有多少信息量？如果一個廣播員在約10000個漢字的字匯中選取1000個字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，且彼此獨立）？若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需用多少漢字？解：設(shè)電視圖像每個像素取128個不同的亮度電平，并設(shè)電平等概率出現(xiàn)，則每個像素亮度含有的信息量為 比特/像素一幀中像素均是獨立變化的，則每幀圖像信源就是離散亮度信源的無記憶N次擴(kuò)展信源。熵逐漸減小至0。又設(shè),而且都取自于同一符號集，并滿足有在區(qū)域[0，1]內(nèi)設(shè)f(x)=－xlogx, f(x)在[0，1]內(nèi)是型凸函數(shù)，所以滿足詹森不等式 其中現(xiàn)今,設(shè)其概率空間為，并滿足所以根據(jù)詹森不等式得所以上式對所有的取值都成立，所以因為，所以上式兩邊相乘，等號不變。5．設(shè)有一概率空間，其概率分布為{p1, p2, …, pq}，且p1p2。證明：令 得因為f(x)=－xlogx是型函數(shù)，根據(jù)型凸函數(shù)的定義有所以 即 同理得 以上兩不等式兩邊相加，不等號不變。解：設(shè)發(fā)傳真和打電話分別為事件X1與X2,對方按傳真和按電話接續(xù)分別為事件Y1和Y2,則 P(X1)=30%,P(X2)=70% P(Y1|X1)=95%, P(Y2|X1)=5%, P(Y1|X2)=1%, P(Y2|X2)=99% P(X1Y1)=, P(X1Y2)= P(X2Y1)=, P(X2Y2)=P(Y1)= P(X1Y1)+ P(X2Y1)= P(Y2)=1－ P(Y1)= H(X)=－ P(X1)lb P(X1) － P(X2)lb P(X2) = bit/符號 H(Y)=－ P(Y1)lb P(Y1) － P(Y2)lb P(Y2) = bit/符號 H(XY)= = bit/兩個信符 I(X。那么，接收到第一個數(shù)字0與M1之間的互信息為因為信道為無記憶信道，所以同理，得輸出第一個符號是y1=0時，有可能是四個消息中任意一個第一個數(shù)字傳送來的。，故，即有成立。第四章 離散信源的信源編碼1. 簡述信源譯碼的錯誤擴(kuò)展現(xiàn)象。3. 試說明已有的解決信源譯碼錯誤擴(kuò)展問題的方法，簡述其基本思路及利弊。（1）求該系統(tǒng)使用的文字字符的熵；（2）請給出該系統(tǒng)一種信源編碼方法并作簡要評價。求該種信源編碼的效率。解：（1）該離散無記憶信源的熵為（2）費諾編碼消息符號序號(i)消息概率pi第一次分解第二次分解第三次分解二進(jìn)制代碼組碼組長度biBB9/16(9/16)001AB3/16(7/16)1(3/16) 0