信息論與編碼答案(編輯修改稿)
2025-07-21 04:53 本頁面
【文章內(nèi)容簡介】 230(1) 求平穩(wěn)概率 P(j/i)= 解方程組 得到 (2) 信源熵為: 231 P(j/i)= 解方程組 得到W1= , W2= , W3= 一階馬爾可夫信源的狀態(tài)圖如圖2－13所示，信源X的符號集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進行比較解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3 得到 計算得到由齊次遍歷可得符號 由最大熵定理可知存在極大值或者也可以通過下面的方法得出存在極大值: 又所以當p=2/3時0p2/3時2/3p1時所以當p=2/3時存在極大值,且符號所以233 (1)解方程組: 得p(0)=p(1)=p(2)= (2) (3) 當p=0或p=1時 信源熵為0 練習題：有一離散無記憶信源，其輸出為，相應的概率為，設計兩個獨立的實驗去觀察它，其結(jié)果分別為，已知條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001(1) 求和，并判斷哪一個實驗好些(2) 求，并計算做Y1和Y2兩個實驗比做Y1和Y2中的一個實驗可多得多少關(guān)于X的信息(3) 求和，并解釋它們的含義解:(1)由題意可知 Y1X0101/40101/421/41/4 Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2=符號所以第二個實驗比第一個實驗好P(y1y2x)0001101101/40001001/40201/401/4（2）因為Y1和Y2 相互獨立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號=由此可見，做兩個實驗比單獨做Y1可多得1bit的關(guān)于X的信息量。（3）==表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得==1bit/符號表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！第三章 設二元對稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X。Y)；(2) 求該信道的信道容量及其達到信道容量時的輸入概率分布；解：1)2) 其最佳輸入分布為32某信源發(fā)送端有2個符號，i＝1，2；，每秒發(fā)出一個符號。接受端有3種符號，j＝1，2，3，轉(zhuǎn)移概率矩陣為。（1） 計算接受端的平均不確定度；（2） 計算由于噪聲產(chǎn)生的不確定度；（3） 計算信道容量。解：聯(lián)合概率X Y0則Y的概率分布為Y（1）取2為底（2）取2為底取e為底= 0 在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為： 為一個BSC信道所以由BSC信道的信道容量計算公式得到： =0和1/2時的信道容量C的大小。X0 Y0111221－1－解: 信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解 = (i=1,2,3)解得 所以 C=log=log[20+22(1)log(1)+]=log[1+21H()]=log[1+2]而 (j=1,2,3)得所以 P(a1)=P(b1)=當=0時,此信道為一一對應信道,得 C=log3, 當=1/2時,得 C=log2, , 求下列二個信道的信道容量，并加以比較
法律信息相關(guān)推薦
鄂ICP備17016276號-1