信息論與編碼理論習(xí)題答案-wenkub
2023-07-08 18:17:59 本頁(yè)面
【正文】 求對(duì)U的最佳二元碼、平均碼長(zhǎng)和編碼效率。②碼A bit碼B bit③碼A U=｛｝ == bit 碼B =0 bit（收到1后，只知道它是碼字開頭，不能得到關(guān)于U的信息。解: (a)不含的序列 1個(gè)長(zhǎng)為100的序列中含有1個(gè)的序列 =100個(gè) 長(zhǎng)為100的序列中含有2個(gè)的序列 =4950個(gè) ∴所需提供碼的總數(shù)M=1+100+4950=5051于是采用二元等長(zhǎng)編碼 =，故取=13(b)當(dāng)長(zhǎng)度為100的序列中含有兩個(gè)或更多的時(shí)出現(xiàn)錯(cuò)誤，因此錯(cuò)誤概率為== 設(shè)有一離散無(wú)記憶信源，U=，其熵為。②碼長(zhǎng)為1的個(gè)；碼長(zhǎng)為2的個(gè)，…，碼長(zhǎng)為的個(gè)∴總共=個(gè) 設(shè)有一離散無(wú)記憶信源。 解：(a) 由已知，可得= = =+ = (b) == bit = = =2 bit == bit (c) 由可得到V的分布律V101p1/41/21/4 再由可知V101p(V|x=1)1/21/20p(V|x=1)01/21/2 bit =1 bit == bit 令和是同一事件集U上的兩個(gè)概率分布，相應(yīng)的熵分別為和。(d)接收到的前四個(gè)數(shù)字0000與之間的互信息量。 解：=因?yàn)檩斎氲雀?，由信道條件可知，即輸出等概，則=10= = =0 = =25+845 ==1 bit==10 1=5= bit 令{}為一等概消息集，各消息相應(yīng)被編成下述二元碼字 =0000，=0011，=0101，=0110，=1001，=1010，=1100，=1111通過轉(zhuǎn)移概率為p的BSC傳送。問各得到多少信息量。第二章 信息量和熵 八元編碼系統(tǒng)，碼長(zhǎng)為3，第一個(gè)符號(hào)用于同步，每秒1000個(gè)碼字，求它的信息速率。 解：(1) 可能的組合為 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}==得到的信息量 === bit (2) 可能的唯一，為 {6，6} = 得到的信息量=== bit 經(jīng)過充分洗牌后的一副撲克（52張），問：(a) 任何一種特定的排列所給出的信息量是多少？(b) 若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同時(shí)得到多少信息量？解：(a) = 信息量=== bit (b) == 信息量== bit 隨機(jī)擲3顆骰子，X表示第一顆骰子的結(jié)果，Y表示第一和第二顆骰子的點(diǎn)數(shù)之和，Z表示3顆骰子的點(diǎn)數(shù)之和，試求、。求：(a)接收到的第一個(gè)數(shù)字0與之間的互信息量。解：即， =+= ===1+ bit == === bit == =3[1+] bit = = bit 、。 (a)對(duì)于，證明=+是概率分布 (b)是相應(yīng)于分布的熵，試證明+
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號(hào)-1