信息論與編碼第2章答案(編輯修改稿)
2025-07-21 05:16 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 (2) 求這個(gè)鏈的極限平均符號(hào)熵(3) 求和它們說(shuō)對(duì)應(yīng)的冗余度解：（1）符號(hào)X1，X2的聯(lián)合概率分布為12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布為那么=X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=/符號(hào)所以平均符號(hào)熵／符號(hào)（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為由 得到 計(jì)算得到又滿足不可約性和非周期性/符號(hào)(3)/符號(hào) /符號(hào) /符號(hào) 230(1) 求平穩(wěn)概率 P(j/i)= 解方程組 得到 (2) 信源熵為: 231 P(j/i)= 解方程組 得到W1= , W2= , W3= 一階馬爾可夫信源的狀態(tài)圖如圖2－13所示，信源X的符號(hào)集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進(jìn)行比較解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3 得到 計(jì)算得到由齊次遍歷可得符號(hào) 由最大熵定理可知存在極大值或者也可以通過(guò)下面的方法得出存在極大值: 又所以當(dāng)p=2/3時(shí)0p2/3時(shí)2/3p1時(shí)所以當(dāng)p=2/3時(shí)存在極大值,且符號(hào)所以233 (1)解方程組: 得p(0)=p(1)=p(2)= (2) (3) 當(dāng)p=0或p=1時(shí) 信源熵為0 練習(xí)題：有一離散無(wú)記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計(jì)兩個(gè)獨(dú)立的實(shí)驗(yàn)去觀察它，其結(jié)果分別為，已知條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001(1) 求和，并判斷哪一個(gè)實(shí)驗(yàn)好些(2) 求，并計(jì)算做Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1和Y2中的一個(gè)實(shí)驗(yàn)可多得多少關(guān)于X的信息(3) 求和，并解釋它們的含義解:(1)由題意可知 Y1X0101/40101/421/41/4 Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2=符號(hào)所以第二個(gè)實(shí)驗(yàn)比第一個(gè)實(shí)驗(yàn)好P(y1y2x)0001101101/40001001/40201/401/4（2）因?yàn)閅1和Y2 相互獨(dú)立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號(hào)=由此可見(jiàn)，做兩個(gè)實(shí)驗(yàn)比單獨(dú)做Y1可多得1bit的關(guān)于X的信息量。（3）==表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得==1bit/符號(hào)表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！第三章 設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X。Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；解：1)2) 其最佳輸入分布為32某信源發(fā)送端有2個(gè)符號(hào)，i＝1，2；，每秒發(fā)出一個(gè)符號(hào)。接受端有3種符號(hào)，j＝1，2，3，轉(zhuǎn)移概率矩陣為。（1） 計(jì)算接受端的平均不確定度；（2） 計(jì)算由于噪聲產(chǎn)生的不確定度；（3） 計(jì)算信道容量。解：聯(lián)合概率X Y0
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1