信息論與編碼第2章習(xí)題解答-資料下載頁(yè)
2025-06-07 14:47本頁(yè)面
【正文】 ，完全是確定的，因此確定信源的信息熵等于零。 設(shè)有一個(gè)馬爾可夫信源,它的狀態(tài)集為{s1,s2,s3},符號(hào)集為{a1,a2,a3},及在某狀態(tài)下發(fā)符號(hào)的概率為P(ak|si)(i,k=1,2,3),如下圖所示.S1S2S3a1:189。a2:188。a2:189。a3:189。a3:188。a1:1(1) 求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號(hào)的極限概率(2) 計(jì)算信源處在某一狀態(tài)下輸出符號(hào)的條件熵H(sj)(j=1,2,3).(3) 求出馬爾可夫信源熵H∞. 解: (1) 此信源的狀態(tài)集不等于符號(hào)集,從狀態(tài)轉(zhuǎn)移圖可知P(a1|s1)=1/2, P(a1|s1)=0, P(a1|s3)=1P(a2|s1)=1/4, P(a2|s2)=1/2, P(a2|s3)=0P(a3|s1)=1/4, P(a3|s2)=1/2, P(a3|s3)=0狀態(tài)轉(zhuǎn)移概率為P(s2|s1)= P(a1|s1)+ P(a2|s1)=3/4 P(s3|s1)= P(a3|s1)=1/4P(s1|s1)=0P(s1|s2)= 0P(s2|s2)= P(a2|s2)=1/2P(s3|s2)= P(a3|s2)=1/2P(s1|s3)= P(a1|s3)=1P(s2|s3)= P(a2|s3)=0P(s3|s4)= P(a3|s3)=0得狀態(tài)轉(zhuǎn)移矩陣: P=從圖可知 此狀態(tài)馬爾可夫鏈?zhǔn)菚r(shí)齊的,狀態(tài)數(shù)有限的和是不可約閉集,所以其具有各態(tài)歷經(jīng)性,平穩(wěn)后狀態(tài)的極限概率分布存在.得到如下方程組：Q(s1)= Q(s3)Q(s2)=3/4 Q(s1)+1/2 Q(s2)Q(s3)=1/4 Q(s1)+1/2 Q(s2)Q(s1)+ Q(s2)+ Q(s3)=1解得： Q(s1)=2/7, Q(s2)=2/7, Q(s3)=3/7符號(hào)的極限概率 P(ak) =所以P(a1)=Q(s1)P(a1|s1)+ Q(s2)P(a1|s2)+ Q(s3)P(a1|s3)=3/7,P(a2)=2/7, P(a3)=2/7(2) 信源處于某一狀態(tài)下的輸出符號(hào)的條件熵 H(X|sj)= j=1,2,3H(X|s1)= P(a1|s1)log P(a1|s1) P(a2|s1)log P(a2|s1) P(a3|s1)log P(a3|s1)=1/2log21/21/4log21/41/4log21/4= 比特/符號(hào) H(X|s2)=H(0,1/2,1/2)=1比特/符號(hào) H(X|s2)=H(1,0,0)= 0比特/符號(hào)（3）馬爾可夫信源熵H∞= = Q(s1)H(X|s1)+ Q(s2)H(X|s2)+ Q(s3)H(X|s3)=2/7+3/71+0=6/7比特/符號(hào)≈，即信源X＝{黑，白}，設(shè)黑色出現(xiàn)的概率為P（黑）＝，白色的出現(xiàn)概率為P（白）＝。（1） 假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵H（X）。（2） 假設(shè)消息前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為P（白|白）＝，P（黑|白）＝，P（白|黑）＝，P（黑|黑）＝，求此一階馬爾可夫信源的熵H2。（3） 分別求出上述兩種信源的剩余度，并比較H（X）和H2的大小，并說(shuō)明其物理意義。解：（1）如果圖上黑白消息出現(xiàn)沒(méi)有關(guān)聯(lián)，則熵為： H（X）=H（，）=（2）設(shè)白為w，黑為b 那么對(duì)應(yīng)兩種狀態(tài)Sw和Sb 那么轉(zhuǎn)移概率為 Sw 224。 Sb Sw 224。 Sw Sb 224。 Sw Sb 224。 Sb 則 Q（Sw）= Q（Sw）+ Q（Sb） Q（Sb）= Q（Sb）+ Q（Sw） Q（Sb）+ Q（Sw）=1 由以上三式可得出Q（Sw）=2/3，Q（Sb）=1/3 所以P（w）= Q（Sw）*+ Q（Sb）*=2/3P（B）= Q（Sw）*+ Q（Sb）*=1/3 由以上可得到：H2=H（，）*2/3+ H（，）*1/3 =（3）最大熵H0=H（，）=1，則信源一的剩余度為 ==推出H（x）H2這說(shuō)明消息前后有關(guān)聯(lián)的熵小于信息前后沒(méi)有關(guān)聯(lián)的熵，即傳送相同符號(hào)數(shù)后消息前后無(wú)關(guān)聯(lián)所獲得的信息量大于前后有關(guān)聯(lián)的信息量。 10
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1