【正文】 U上的兩個概率分布，于是0，0 =1，=1 又，則=+0 =+=1 因此，是概率分布。第二章 信息量和熵 八元編碼系統(tǒng)，碼長為3，第一個符號用于同步，每秒1000個碼字，求它的信息速率。 解：(a) 由已知，可得= = =+ = (b) == bit = = =2 bit == bit (c) 由可得到V的分布律V101p1/41/21/4 再由可知V101p(V|x=1)1/21/20p(V|x=1)01/21/2 bit =1 bit == bit 令和是同一事件集U上的兩個概率分布，相應(yīng)的熵分別為和。(b) 求對U的最佳二元碼、平均碼長和編碼效率。（c）碼的平均長度是多少？ 解：Huffman思想：將概率小的用長碼，大的用短碼，保證↓，當(dāng)?shù)雀艜r，趨于等長碼。(a) 求的表達(dá)式。解：（1）從而構(gòu)造出（2） 根據(jù)最小距離譯碼準(zhǔn)則，可得伴隨式與錯誤圖樣的對應(yīng)關(guān)系如下00100100 1011010001001000 1100001001100001 1110011010010000 00000000（3） 設(shè)二元(6,3)碼的生成矩陣為試給出它的一致校驗矩陣為。解：(a) bit由已知可得下表先驗概率信源輸出序列0串長度（或中間數(shù)字）輸出二元碼字100000011000100120010000130011000014010000000150101000000160110000000017011100000000181(b) bit(c) bit(d) 異字碼頭 第四章 信道及信道容量 計算由下述轉(zhuǎn)移概率矩陣給定的DMC的容量。解：(a) ，=1，=1 bit(b) DMC信道，(c)= ==%(d) 略 設(shè)離散無記憶信源 試求其二元和三元Huffman編碼。②碼A bit碼B bit③碼A U=｛｝ == bit 碼B =0 bit（收到1后，只知道它是碼字開頭，不能得到關(guān)于U的信息。(d)接收到的前四個數(shù)字0000與之間的互信息量。 解：(1) 可能的組合為 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}==得到的信息量 === bit (2) 可能的唯一，為 {6，6} = 得到的信息量=== bit