【文章內(nèi)容簡介】 所以 S/N=, 所以= B=6 所以 所以 P=. =所以 （2）利用關系式 ，所以式（2）變?yōu)?，為一常量? = 再由逐步分布積分得 H(X)=2AlnA2Aln2+2A. 因為，所以2A=1 A=1/2 所以 H(X)=1 奈特/自由度 （1） =b =logbp(x)dx2b = 因為p(x)dx=1，所以b=。 故H(X)=2/3loge+logalog3(2) 若Y=X+A，則 , 所以 H(Y)=2/3loge+logalog3(3) 若Y=2X ，則，所以H(Y)=H(X)log1/2=2/3loge+logalog3/2。 (1)(2) 所以 B=(3) 所以 S/N=120第七章 網(wǎng)絡信息理論簡介（略）第八章 信息率失真理論及其應用1. 設輸入符號表與輸出符號表為X=Y={0, 1, 2, 3}，且輸入信號的分布為p(X = i) = 1/4, i = 0, 1, 2, 3設失真矩陣為求和及。2. 設無記憶信源，接收符號AY ={1/2, 1/2}，失真矩陣。試求：Dmax和Dmin及達到Dmax和Dmin時的轉(zhuǎn)移概率矩陣。, 在時，由于，所以在時，由于，所以3. 三元信源的概率分別為p(0) = , p(1) = , p(2) = ，失真函數(shù)dij為：當i = j時，dij = 0；當i 185。 j時，dij = 1 (i, j = 0, 1, 2)，求信息率失真函數(shù)R(D)。，由定義知：，平均失真度一定與試驗信道的平均錯誤概率Pe有關，即根據(jù)保真度準則，應有Pe 163。 D根據(jù)Fano不等式H(X/Y) 163。 H (Pe) + Pe log (r–1)4. 設有一連續(xù)信源，其均值為0，方差為，熵為H(X)，定義失真函數(shù)為“平方誤差”失真，即。證明其率失真函數(shù)滿足下列關系式：當輸入信源為高斯分布時等號成立。證明：（1） 證明上界：連續(xù)信源R(D)函數(shù)是在約束條件下，求平均互信息：引入?yún)⒘縎和待定函數(shù)。在失真不超過D時，為下確界的試驗信道滿足由泛函分析中的變分法求的條件極值令由于以上規(guī)定了下確界，則 （1）設集合則有 （2）令其中由（1）得即當時，且，得由（2）（3）兩式，有 （4）由對數(shù)得換底公式，有 （5）若要（1）式等號成立，則等效于（5）式等號成立。令則然后再求二階導數(shù)，得由于是得概率密度函數(shù)且所以，即（5）式右邊為上凸函數(shù)，在的S上確極大值，有代入得 （6）由式（5）得即（2） 證明上界設信道的傳遞函數(shù)的概率為：它是已知時y的概率分布，即均值為，方差為的高斯分布，其中。設，由于所以輸出信號，于是時均值為零，方差為的隨即變量。當方差受限時，高斯隨即變量的差熵最大，有當且僅當是高斯分布時，上式等號成立。綜上所述，5. 隨機變量X服從對稱指數(shù)分布，失真函數(shù)為d (x, y) = | x – y |，求信源的R(D)。，令，得且得對進行傅立葉變換由，得且當時6. 設有平穩(wěn)高斯信源X (t)，其功率譜為，失真度量取，容許的樣值失真為D。試求：（1） 信息率失真函數(shù)R(D)；（2） 用一獨立加性高斯信道（帶寬為，限功率為P，噪聲的雙邊功率譜密度為）來傳送上述信源時，最小可能方差與的關系。（1）對于時間 連續(xù)的平穩(wěn)高斯信源，當功率譜密度已知時，在本題中即（2）信道容量為bit/s由定理可知，當時，可以采用最佳編碼，其硬氣的錯誤小于等于D。取,求得最小均方誤差D。令，得時，時，時，由于所以如下圖：7. 某工廠的產(chǎn)品合格率為99%，廢品率為1%。若將一個合格產(chǎn)品作為廢品處理，將損失1元；若將一個廢品當作合格產(chǎn)品出廠，將損失100元；若將合格品出廠，廢品報廢，不造成損失。試分析質(zhì)量管理中各種情況造成的損失及付出的代價。解　根據(jù)題意有信源空間： 好（合格） 廢（廢品） P(好)= P(廢)=選擇失真函數(shù)為d(好，好)=0 d(廢，廢)=0 d(好，廢)=10 d(廢，好)=100失真矩陣為可將產(chǎn)品檢驗分成如下4種情況：全部產(chǎn)品都當合格品，全部產(chǎn)品都當廢品，完美的檢驗和允許出錯的檢驗。下面分別進行討論。情況1　全部產(chǎn)品不經(jīng)檢驗而出廠——都當合格品。把這一過程看作是一個“信道”，其“傳遞概率”為P(好/好)=1 P(廢/好)=0 P(好/廢)=1 P(廢/廢)=0信道矩陣為這種情況的平均損失，即平均失真度，為 　　　 =P(好)P(好/好) d(好,好)+ P(好)P(廢/好) d(好,廢)+P(廢)P(好/廢話) d(廢,好)+ P(廢)P(廢/廢) d(廢, 廢)=180。1180。100=1元/個情況2　全部產(chǎn)品不經(jīng)檢驗全部報廢——都當廢品這時的信道傳輸概率為P(好/好)=0 P(廢/好)=1 P (好/廢)=0 P (廢/廢)=1信道矩陣為平均失真度為 　=P(好)P(好/好) d(好,好)+ P(好)P(廢/好) d(好,廢)+P(廢)P(好/廢) d(廢,好)+ P(廢)P(廢/廢) d(廢, 廢)=180。1180。1= 全部報廢造成損失小于全部出廠造成的損失。情況3　經(jīng)過檢驗能正確無誤地判斷合格品和廢品——完美的檢驗這相當于無噪信道的情況，信道矩陣為平均失真度為即這種情況不會另外造成損失。 情況4 檢測時允許有一定的錯誤——非完美的檢驗設檢驗的正確率為p，則信道的傳輸概率為P(好/好)=p P(廢/好)=1p P(好/廢)=1p P(廢/廢)=p信道矩陣為平均失真度為 　　　 =P(好)P(廢/好) d(好, 廢)+P(廢)P(好/廢) d(廢,好)=180。(1p)180。1+180。p180。100 = (1p)元/個8. 設輸入符號表為X= {0, 1 }，輸出符號表為Y={0, 1}。定義失真函數(shù)為：d (0, 0) = d (1,1) = 0d (0, 1) = d (1,0) = 1試求失真矩陣[D]。9. 某二元信源X的信源空間為其中w 1/2，其失真矩陣為（1） 試求和；（2） 試求及；（3） 試求；（4） 寫出取得的試驗信道的各傳遞概率；（5） 當d = 1時，寫出與試驗信道相對應的反向試驗信道的信道矩陣。解： （1）（因為）（2）（3） 由于令，則得到得到D=0時，D=d時，所以（4）（5）d=1時，第九章 差錯控制的基本概念1. 對(2, 1), (3, 1), (4, 1), (5, 1)，討論其糾檢錯能力，對用完備譯碼、不完備譯碼以及不完備譯碼＋ARQ等方法譯碼，求譯碼錯誤概率。解： 對(2, 1)碼，若d=1，能糾檢錯0個；若d=2,能檢1個錯，糾0個錯 對(3, 1)碼，若d=1，能糾檢錯0個；若d=2,能檢1個錯，糾0個錯；若d=3，能檢2個錯，糾1個錯對(4, 1)碼，若d=1，能糾檢錯0個；若d=2,能檢1個錯，糾0個錯；若d=3，能檢2個錯，糾1個錯，若d=4,能檢3個錯，糾1個錯對(5, 1)碼，若d=1，能糾檢錯0個；若d=2,能檢1個錯，糾0個錯；若d=3，能檢2個錯，糾1個錯；若d=4,能檢3個錯，糾1個錯；若d=5,能檢4個錯，糾2個錯2. 為什么d =2的(n, n–1)碼能檢測奇數(shù)個錯誤？解:d=2，能檢1個錯，又因為(n, n–1)碼是奇偶校驗碼，即對于奇校驗碼：偶校驗碼：當出現(xiàn)一個錯或者奇數(shù)個錯時，在接收端奇校驗碼：偶校驗碼：都能檢測到錯誤，故d =2的(n, n–1)碼能檢測奇數(shù)個錯誤。3. 設C = {11100, 01001, 10010, 00111}是一個二元碼，求碼C的最小距離d。解：d(11100, 01001)=3 d(11100, 10010)=3 d(11100, 00111)=4d(01001, 10010)=4 d(01001, 00111)=3 d(10010, 00111)=3故碼C的最小距離d=34．設C = {00000000, 00001111, 00110011, 00111100}是一個二元碼。（1） 計算碼C中所有碼字之間的距離及最小距離；（2） 在一個二元碼中，如果把某一個碼字中的0和1互換，即0換為1，1換為0，所得的字稱為此碼字的補。所有碼字的補構成的集合稱為此碼的補碼。求碼C的補碼以及補碼中所有碼字之間的距離和最小距離，它們與（1）中的結果有什么關系？（3） 把（2）中的結果推廣到一般的二元碼。 解：（1） d(00000000, 00001111)=4 d(00000000, 00110011)=4 d(00000000, 00111100)=4 d(00001111, 00110011)=4d(00001111, 00111100)=4 d(00110011,00111100)=4故碼C的最小距離d=4（2） 碼C的補碼是 {11111111, 11110000, 11001100, 11000011} d(11111111, 11110000)=4 d(11111111, 11001100)=4 d(11111111, 11000011)=4 d(11110000, 11001100)=4d(11110000, 11000011)=4 d(11001100, 11000011)=4故C補碼的最小距離d=4（3）推廣到一般的二元碼也有以上的結論設碼C中任意兩碼字的距離為d, 即兩碼字有d位不同，nd位相同。變補后，仍有d位不同，nd位相同，所以任意兩碼