【文章內(nèi)容簡介】 所以 S/N=, 所以= B=6 所以 所以 P=. =所以 （2）利用關(guān)系式 ，所以式（2）變?yōu)?，為一常量? = 再由逐步分布積分得 H(X)=2AlnA2Aln2+2A. 因?yàn)?，所?A=1 A=1/2 所以 H(X)=1 奈特/自由度 （1） =b =logbp(x)dx2b = 因?yàn)閜(x)dx=1，所以b=。 故H(X)=2/3loge+logalog3(2) 若Y=X+A，則 , 所以 H(Y)=2/3loge+logalog3(3) 若Y=2X ，則，所以H(Y)=H(X)log1/2=2/3loge+logalog3/2。 (1)(2) 所以 B=(3) 所以 S/N=120第七章 網(wǎng)絡(luò)信息理論簡介（略）第八章 信息率失真理論及其應(yīng)用1. 設(shè)輸入符號(hào)表與輸出符號(hào)表為X=Y={0, 1, 2, 3}，且輸入信號(hào)的分布為p(X = i) = 1/4, i = 0, 1, 2, 3設(shè)失真矩陣為求和及。2. 設(shè)無記憶信源，接收符號(hào)AY ={1/2, 1/2}，失真矩陣。試求：Dmax和Dmin及達(dá)到Dmax和Dmin時(shí)的轉(zhuǎn)移概率矩陣。, 在時(shí)，由于，所以在時(shí)，由于，所以3. 三元信源的概率分別為p(0) = , p(1) = , p(2) = ，失真函數(shù)dij為：當(dāng)i = j時(shí)，dij = 0；當(dāng)i 185。 j時(shí)，dij = 1 (i, j = 0, 1, 2)，求信息率失真函數(shù)R(D)。，由定義知：，平均失真度一定與試驗(yàn)信道的平均錯(cuò)誤概率Pe有關(guān)，即根據(jù)保真度準(zhǔn)則，應(yīng)有Pe 163。 D根據(jù)Fano不等式H(X/Y) 163。 H (Pe) + Pe log (r–1)4. 設(shè)有一連續(xù)信源，其均值為0，方差為，熵為H(X)，定義失真函數(shù)為“平方誤差”失真，即。證明其率失真函數(shù)滿足下列關(guān)系式：當(dāng)輸入信源為高斯分布時(shí)等號(hào)成立。證明：（1） 證明上界：連續(xù)信源R(D)函數(shù)是在約束條件下，求平均互信息：引入?yún)⒘縎和待定函數(shù)。在失真不超過D時(shí)，為下確界的試驗(yàn)信道滿足由泛函分析中的變分法求的條件極值令由于以上規(guī)定了下確界，則 （1）設(shè)集合則有 （2）令其中由（1）得即當(dāng)時(shí)，且，得由（2）（3）兩式，有 （4）由對(duì)數(shù)得換底公式，有 （5）若要（1）式等號(hào)成立，則等效于（5）式等號(hào)成立。令則然后再求二階導(dǎo)數(shù)，得由于是得概率密度函數(shù)且所以，即（5）式右邊為上凸函數(shù)，在的S上確極大值，有代入得 （6）由式（5）得即（2） 證明上界設(shè)信道的傳遞函數(shù)的概率為：它是已知時(shí)y的概率分布，即均值為，方差為的高斯分布，其中。設(shè)，由于所以輸出信號(hào)，于是時(shí)均值為零，方差為的隨即變量。當(dāng)方差受限時(shí)，高斯隨即變量的差熵最大，有當(dāng)且僅當(dāng)是高斯分布時(shí)，上式等號(hào)成立。綜上所述，5. 隨機(jī)變量X服從對(duì)稱指數(shù)分布，失真函數(shù)為d (x, y) = | x – y |，求信源的R(D)。，令，得且得對(duì)進(jìn)行傅立葉變換由，得且當(dāng)時(shí)6. 設(shè)有平穩(wěn)高斯信源X (t)，其功率譜為，失真度量取，容許的樣值失真為D。試求：（1） 信息率失真函數(shù)R(D)；（2） 用一獨(dú)立加性高斯信道（帶寬為，限功率為P，噪聲的雙邊功率譜密度為）來傳送上述信源時(shí)，最小可能方差與的關(guān)系。（1）對(duì)于時(shí)間 連續(xù)的平穩(wěn)高斯信源，當(dāng)功率譜密度已知時(shí)，在本題中即（2）信道容量為bit/s由定理可知，當(dāng)時(shí)，可以采用最佳編碼，其硬氣的錯(cuò)誤小于等于D。取,求得最小均方誤差D。令，得時(shí)，時(shí)，時(shí)，由于所以如下圖：7. 某工廠的產(chǎn)品合格率為99%，廢品率為1%。若將一個(gè)合格產(chǎn)品作為廢品處理，將損失1元；若將一個(gè)廢品當(dāng)作合格產(chǎn)品出廠，將損失100元；若將合格品出廠，廢品報(bào)廢，不造成損失。試分析質(zhì)量管理中各種情況造成的損失及付出的代價(jià)。解　根據(jù)題意有信源空間： 好（合格） 廢（廢品） P(好)= P(廢)=選擇失真函數(shù)為d(好，好)=0 d(廢，廢)=0 d(好，廢)=10 d(廢，好)=100失真矩陣為可將產(chǎn)品檢驗(yàn)分成如下4種情況：全部產(chǎn)品都當(dāng)合格品，全部產(chǎn)品都當(dāng)廢品，完美的檢驗(yàn)和允許出錯(cuò)的檢驗(yàn)。下面分別進(jìn)行討論。情況1　全部產(chǎn)品不經(jīng)檢驗(yàn)而出廠——都當(dāng)合格品。把這一過程看作是一個(gè)“信道”，其“傳遞概率”為P(好/好)=1 P(廢/好)=0 P(好/廢)=1 P(廢/廢)=0信道矩陣為這種情況的平均損失，即平均失真度，為 　　　 =P(好)P(好/好) d(好,好)+ P(好)P(廢/好) d(好,廢)+P(廢)P(好/廢話) d(廢,好)+ P(廢)P(廢/廢) d(廢, 廢)=180。1180。100=1元/個(gè)情況2　全部產(chǎn)品不經(jīng)檢驗(yàn)全部報(bào)廢——都當(dāng)廢品這時(shí)的信道傳輸概率為P(好/好)=0 P(廢/好)=1 P (好/廢)=0 P (廢/廢)=1信道矩陣為平均失真度為 　=P(好)P(好/好) d(好,好)+ P(好)P(廢/好) d(好,廢)+P(廢)P(好/廢) d(廢,好)+ P(廢)P(廢/廢) d(廢, 廢)=180。1180。1= 全部報(bào)廢造成損失小于全部出廠造成的損失。情況3　經(jīng)過檢驗(yàn)?zāi)苷_無誤地判斷合格品和廢品——完美的檢驗(yàn)這相當(dāng)于無噪信道的情況，信道矩陣為平均失真度為即這種情況不會(huì)另外造成損失。 情況4 檢測時(shí)允許有一定的錯(cuò)誤——非完美的檢驗(yàn)設(shè)檢驗(yàn)的正確率為p，則信道的傳輸概率為P(好/好)=p P(廢/好)=1p P(好/廢)=1p P(廢/廢)=p信道矩陣為平均失真度為 　　　 =P(好)P(廢/好) d(好, 廢)+P(廢)P(好/廢) d(廢,好)=180。(1p)180。1+180。p180。100 = (1p)元/個(gè)8. 設(shè)輸入符號(hào)表為X= {0, 1 }，輸出符號(hào)表為Y={0, 1}。定義失真函數(shù)為：d (0, 0) = d (1,1) = 0d (0, 1) = d (1,0) = 1試求失真矩陣[D]。9. 某二元信源X的信源空間為其中w 1/2，其失真矩陣為（1） 試求和；（2） 試求及；（3） 試求；（4） 寫出取得的試驗(yàn)信道的各傳遞概率；（5） 當(dāng)d = 1時(shí)，寫出與試驗(yàn)信道相對(duì)應(yīng)的反向試驗(yàn)信道的信道矩陣。解： （1）（因?yàn)椋?）（3） 由于令，則得到得到D=0時(shí)，D=d時(shí)，所以（4）（5）d=1時(shí)，第九章 差錯(cuò)控制的基本概念1. 對(duì)(2, 1), (3, 1), (4, 1), (5, 1)，討論其糾檢錯(cuò)能力，對(duì)用完備譯碼、不完備譯碼以及不完備譯碼＋ARQ等方法譯碼，求譯碼錯(cuò)誤概率。解： 對(duì)(2, 1)碼，若d=1，能糾檢錯(cuò)0個(gè)；若d=2,能檢1個(gè)錯(cuò)，糾0個(gè)錯(cuò) 對(duì)(3, 1)碼，若d=1，能糾檢錯(cuò)0個(gè)；若d=2,能檢1個(gè)錯(cuò)，糾0個(gè)錯(cuò)；若d=3，能檢2個(gè)錯(cuò)，糾1個(gè)錯(cuò)對(duì)(4, 1)碼，若d=1，能糾檢錯(cuò)0個(gè)；若d=2,能檢1個(gè)錯(cuò)，糾0個(gè)錯(cuò)；若d=3，能檢2個(gè)錯(cuò)，糾1個(gè)錯(cuò)，若d=4,能檢3個(gè)錯(cuò)，糾1個(gè)錯(cuò)對(duì)(5, 1)碼，若d=1，能糾檢錯(cuò)0個(gè)；若d=2,能檢1個(gè)錯(cuò)，糾0個(gè)錯(cuò)；若d=3，能檢2個(gè)錯(cuò)，糾1個(gè)錯(cuò)；若d=4,能檢3個(gè)錯(cuò)，糾1個(gè)錯(cuò)；若d=5,能檢4個(gè)錯(cuò)，糾2個(gè)錯(cuò)2. 為什么d =2的(n, n–1)碼能檢測奇數(shù)個(gè)錯(cuò)誤？解:d=2，能檢1個(gè)錯(cuò)，又因?yàn)?n, n–1)碼是奇偶校驗(yàn)碼，即對(duì)于奇校驗(yàn)碼：偶校驗(yàn)碼：當(dāng)出現(xiàn)一個(gè)錯(cuò)或者奇數(shù)個(gè)錯(cuò)時(shí)，在接收端奇校驗(yàn)碼：偶校驗(yàn)碼：都能檢測到錯(cuò)誤，故d =2的(n, n–1)碼能檢測奇數(shù)個(gè)錯(cuò)誤。3. 設(shè)C = {11100, 01001, 10010, 00111}是一個(gè)二元碼，求碼C的最小距離d。解：d(11100, 01001)=3 d(11100, 10010)=3 d(11100, 00111)=4d(01001, 10010)=4 d(01001, 00111)=3 d(10010, 00111)=3故碼C的最小距離d=34．設(shè)C = {00000000, 00001111, 00110011, 00111100}是一個(gè)二元碼。（1） 計(jì)算碼C中所有碼字之間的距離及最小距離；（2） 在一個(gè)二元碼中，如果把某一個(gè)碼字中的0和1互換，即0換為1，1換為0，所得的字稱為此碼字的補(bǔ)。所有碼字的補(bǔ)構(gòu)成的集合稱為此碼的補(bǔ)碼。求碼C的補(bǔ)碼以及補(bǔ)碼中所有碼字之間的距離和最小距離，它們與（1）中的結(jié)果有什么關(guān)系？（3） 把（2）中的結(jié)果推廣到一般的二元碼。 解：（1） d(00000000, 00001111)=4 d(00000000, 00110011)=4 d(00000000, 00111100)=4 d(00001111, 00110011)=4d(00001111, 00111100)=4 d(00110011,00111100)=4故碼C的最小距離d=4（2） 碼C的補(bǔ)碼是 {11111111, 11110000, 11001100, 11000011} d(11111111, 11110000)=4 d(11111111, 11001100)=4 d(11111111, 11000011)=4 d(11110000, 11001100)=4d(11110000, 11000011)=4 d(11001100, 11000011)=4故C補(bǔ)碼的最小距離d=4（3）推廣到一般的二元碼也有以上的結(jié)論設(shè)碼C中任意兩碼字的距離為d, 即兩碼字有d位不同，nd位相同。變補(bǔ)后，仍有d位不同，nd位相同，所以任意兩碼