信息論與編碼理論習題答案(完整版)
【正文】 1/20p(V|x=1)01/21/2 bit =1 bit == bit 令和是同一事件集U上的兩個概率分布，相應的熵分別為和。 解：=因為輸入等概，由信道條件可知，即輸出等概，則=10= = =0 = =25+845 ==1 bit==10 1=5= bit 令{}為一等概消息集，各消息相應被編成下述二元碼字 =0000，=0011，=0101，=0110，=1001，=1010，=1100，=1111通過轉(zhuǎn)移概率為p的BSC傳送。第二章 信息量和熵 八元編碼系統(tǒng)，碼長為3，第一個符號用于同步，每秒1000個碼字，求它的信息速率。求：(a)接收到的第一個數(shù)字0與之間的互信息量。 (a)對于，證明=+是概率分布 (b)是相應于分布的熵，試證明+ 證明：(a) 由于和是同一事件集U上的兩個概率分布，于是0，0 =1，=1 又，則=+0 =+=1 因此，是概率分布?？疾炱溟L為的輸出序列，當時滿足下式(a)在=，=(b)在=，=下求(c)令是序列的集合，其中 試求L=時情況(a)(b)下，T中元素個數(shù)的上下限。(c) 求對U的最佳二元碼、平均碼長和編碼效率。(b)求對U的最佳二元碼、平均碼長和編碼效率。a) 對時，K=2j，則用長度為j碼表示；當時，用K=2j+1，用長度為j+1碼表示。 (b)求對于每個中間數(shù)字相應的信源數(shù)字的平均長度。(b) 證明時有，且與取值無關(guān)，從而證明時的級聯(lián)信道容量解：N個信道級聯(lián)后BSC可表示為N個級聯(lián)可以看成N1個級聯(lián)后與第N個級聯(lián)∴同理可得從而(a)(b)因此與無關(guān)。 第六章 線性分組碼 設(shè)有4個消息和被編成長為5的二元碼00000，01101，10111，11010。若通過轉(zhuǎn)移概率為p1/2的BSC傳送，試給出最佳譯碼表及相應的譯碼錯誤概率表示式。 一PCM語音通信系統(tǒng)，已知信號帶寬W=4000 Hz，采樣頻率為2W，且采用8級幅度量化，各級出現(xiàn)的概率為1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。(d)說明碼的唯一可譯性。b) 設(shè)長為j的碼字個數(shù)為Nj，長度為j+1的碼字數(shù)目為Nj+1，根據(jù)二元Huffman編碼思想（必定占滿整個碼樹），即從而，c） = 設(shè)二元信源的字母概率為。(d)求對U的最佳二元碼、平均碼長和編碼效率。定義Q=, i1，而Q1=0，今按下述方法進行二元編碼。字母概率碼A碼Ba111a20110a3001100a400011000(a) 各碼是否滿足異字頭條件？是否為唯一可譯碼？(b) 當收到1時得到多少關(guān)于字母a的信息？(c) 當收到1時得到多少關(guān)于信源的平均信息？解：①碼A是異頭字碼，而B為逗點碼，都是唯一可譯碼。證：①在元碼樹上，第一點節(jié)點有個，第二級有，每個節(jié)點對應一個碼字，若最長碼有，則函數(shù)有==，此時，所有碼字對應碼樹中的所有節(jié)點。(c)接收到的前三個數(shù)字000與之間的互信息量。 (b) 12。 解：令第一第
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1