信息論與編碼理論習(xí)題答案姜楠王健編著清華大學(xué)-文庫(kù)吧資料
2025-06-29 18:09本頁(yè)面
【正文】 平均碼長(zhǎng)：信源熵為編碼效率（3）同理可得的最佳二元碼，計(jì)算平均碼長(zhǎng)和編碼效率。根據(jù)唯一可譯碼判決準(zhǔn)則，我們構(gòu)造以下的尾隨后綴序列： （1）（2）（3）對(duì)二重延長(zhǎng)消息采用費(fèi)諾方法編碼，結(jié)果為平均碼長(zhǎng)：平均信息傳輸速率碼元0和1的概率分別為（4）對(duì)三重延長(zhǎng)消息采用霍夫曼方法編碼，結(jié)果為平均碼長(zhǎng)：平均信息傳輸速率碼元0和1的概率分別為 由香農(nóng)第一定理知顯然當(dāng)時(shí)此時(shí)的信息傳輸率為編碼后原信源變換成一個(gè)新的信源新信源的信道容量，且在輸入信源等概率時(shí)達(dá)到此容量。4．（1）此碼不滿足KraftMcMillan不等式：（2）因?yàn)椴粷M足KraftMcMillan不等式，所以此碼不是即時(shí)碼；（3）因?yàn)椴粷M足KraftMcMillan不等式，所以此碼不是唯一可以碼。2．（1）此碼滿足KraftMcMillan不等式：（2）此碼不是即時(shí)碼，因?yàn)榇a字00是碼字000的前綴；（3）此碼不是唯一可譯碼，因?yàn)榇a符號(hào)序列000000可以譯碼為00，00，00，也可以譯碼為000，000。第5章 連續(xù)信源和連續(xù)信道 略 略 略第6章 無失真信源編碼 1 信源序列 （1）唯一可譯碼有：。令此時(shí)的輸出分布為所以因?yàn)樗孕诺?無噪聲。 （1）由信道1的轉(zhuǎn)移概率矩陣可知其為對(duì)稱信道所以因?yàn)樗杂行畔㈧負(fù)p失，信道有噪聲。設(shè)輸入為計(jì)算輸出得所以比較兩信道容量，得 依題意，阻值的概率空間為功率的概率空間由題意知再設(shè)則由,得又所以。 （1）信道為準(zhǔn)對(duì)稱信道，輸入等概率分布時(shí)達(dá)到信道容量，即。由 知所以信道容量為，對(duì)信道而言內(nèi)共傳輸?shù)姆?hào)數(shù)為15000個(gè)。（1）求聯(lián)合概率（2）求邊沿概率（3）求后驗(yàn)概率（4）求熵 信道傳輸矩陣如下：可以看出這是一個(gè)對(duì)稱信道，那么信道容量為 先求輸入端須傳輸?shù)男畔⒘吭偾筝敵龆藘?nèi)傳出的信息量。(2)三元對(duì)稱強(qiáng)噪聲信道模型如圖所示。（2）只有當(dāng)信道輸入符號(hào)是等概率分布才能達(dá)到這個(gè)最大值。信道轉(zhuǎn)移關(guān)系如圖所示。且。此題中和表明某一狀態(tài)轉(zhuǎn)化到另一狀態(tài)的情況一定發(fā)生或一定不發(fā)生，即是確定事件，平均不確定性為零，即信源的熵為零。當(dāng)時(shí)，；當(dāng)時(shí)， （1）狀態(tài)轉(zhuǎn)移矩陣由解得整理得，平穩(wěn)后信源的概率分布（2）求信源熵。所以經(jīng)比較，可得到。設(shè)由即求得所以信源熵為狀態(tài)轉(zhuǎn)移圖略。（2）由離散無記憶信源的擴(kuò)展信源的性質(zhì)（3）可能發(fā)出的符號(hào)有0000，0001，0010，0011，0100，0101，0110，0111，1000，1001，1010，1011，1100，1101，1110，1111。 （1）由題中條件，該信源是離散無記憶信源，對(duì)任意和，其中為中0的個(gè)數(shù)。一階馬爾可夫過程共有3種狀態(tài)，每個(gè)狀態(tài)轉(zhuǎn)移到其他狀態(tài)的概率均為，設(shè)狀態(tài)的平穩(wěn)分布為，根據(jù)可得，3種狀態(tài)等概率分布。 由定義由于一階馬爾科夫信源之間的相關(guān)性，導(dǎo)致熵減小。在實(shí)際情況下這是不可能發(fā)生的。 由定義，信源的熵信源的概率分布要求滿足，而此題中。（2）聯(lián)合熵表示平均每?jī)蓚€(gè)信源符號(hào)所攜帶的信息量。如果，則有無數(shù)個(gè)解，其中之一為；如果，則沒有解。（3）（4）因?yàn)殡S機(jī)變量是的函數(shù)，所以 假定為最大的概率。有7個(gè)可能取值的隨機(jī)變量的最大熵為，隨機(jī)變量不是等概分布，所以。但是如果總是預(yù)報(bào)不下雨的話則會(huì)更糟，因?yàn)楹褪窍嗷オ?dú)立的兩個(gè)隨機(jī)變量，即，所以因此氣象臺(tái)的預(yù)報(bào)準(zhǔn)確率雖然比總是預(yù)報(bào)不下雨低，但還是傳遞了一些信息，消除了一些不確定性。 假設(shè)表示當(dāng)?shù)氐膶?shí)際天氣情況，表示氣象臺(tái)預(yù)報(bào)的天氣情況，表示總是預(yù)報(bào)不下雨的天氣情況。(2)就業(yè)情況的熵為它在的取值范圍內(nèi)的曲線如圖所示。麥克3場(chǎng)比賽
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1