信息論與編碼第2章習(xí)題解答(存儲(chǔ)版)
【正文】 結(jié)論時(shí)正確的。所以不論從何狀態(tài)起信源輸出的序列一定是021021序列，完全確定的。a3:188。 Sw Sb 224。 Sb Sw 224。a2:189。可得狀態(tài)一步轉(zhuǎn)移矩陣 得Q(0)＝Q(1)＝Q(2)＝1/3則可得 P(0)＝P(1)＝P(2)＝1/3(2) 一階馬爾可夫信源的熵 H∞＝H2＝∑I=13Q(Ei)H(X∣Ei) ＝P(0)H(X∣E)+P(1)H(X∣1)+P(2)H(X∣2) ＝1/3H(P1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1) ＝P1㏒P1P㏒P ＝H(P)(3) 當(dāng)P＝0 ,H∞＝0 當(dāng)P＝1 ,H∞＝1因?yàn)樾畔㈧厥潜硎拘旁吹钠骄淮_定性，題中當(dāng)P=1或P=0時(shí)表明信源從某一狀態(tài)出發(fā)轉(zhuǎn)移到另一狀態(tài)的情況是一定發(fā)生或一定不發(fā)生，即是確定的事件。求近似信源的熵并與進(jìn)行比較；(4) 對(duì)一階馬爾可夫信源取何值時(shí)取最大值，又當(dāng)時(shí)結(jié)果如何？解：（1），由圖可得于是得到整理計(jì)算得即（2） 據(jù)一階馬爾可夫信源的熵的表達(dá)式可得（3） 信源近似為無(wú)記憶信源，符號(hào)的概率分布等于平穩(wěn)分布，則此信源得到： 由此計(jì)算結(jié)果可知 （4） 求一階馬爾可夫信源的最大值。如果X1為a時(shí)，則X2為a、b、c的概率為1/3；如果X1為b，X2為a、b、c的概率為1/3；如果X1為c，X2為a、b的概率為1/2，為c的概率為0，而且后面發(fā)出Xi的概率只與Xi1有關(guān)，又P(Xi|Xi1)=P(X2|X1) i≥3。由上面的計(jì)算得亮度等概率出現(xiàn)的情況下，每個(gè)像素含有的信息量是：H(X)=。解：信源的熵為：bit/符號(hào) 是因?yàn)榇诵畔⒌?不滿足信息熵極值性的條件。即：P（A）=1/36，I（A）= P（A）=36≈ 比特設(shè)“面朝上點(diǎn)數(shù)之和為8”為事件B，則有五種可能：6；2；4；5；3；即：P（B）= 5/36，I（B）= P（B）= 36/5≈ 比特設(shè)“骰子面朝上之和是3和4”為事件C，則有兩種可能：4；3；即： P（C）= 2/36，I（C）= P（C）= 36/2≈ 比特 如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序）解：（1）P＝1/7 I＝－Log2P＝－Log27（2）已知今天星期四，問明天是星期幾？ 即：明天是星期五是必然事件，不存在不確定性，I＝0。 準(zhǔn)（3）來(lái)稱一下。從不平衡的兩組中，比如輕的一組里分為3和1表示為“輕（3）”和“輕（1）”，同樣重的一組也是分成3和1標(biāo)示為“重（3）”和“重（1）”。a）平衡：稱一下那個(gè)剩下的就行了?，F(xiàn)用比較天平左右兩邊輕重的方法來(lái)測(cè)量（因無(wú)砝碼）。(2) 不平衡：假定已經(jīng)確定該組里有假幣時(shí)候：推論1：在知道該組是輕還是重的時(shí)候，只稱一次，能找出假幣的話，那么這組的個(gè)數(shù)不超過3。 (2)右面輕：這里有兩種可能：“重（1）”是假幣，它是重的，或者“輕（1）”是假幣，它是輕的。因此，此消息的自信息就為該消息中各符號(hào)自信息之和。解：S： a1 a2 …… aq P： p1 p2 …… pqH（X）＝－Σqi＝1PiLogPiΣqi＝1Pi ＝1S`： a1 a2 ……aq aq＋1……a2q P ： p，1 p，2……p，qp，q＋1……p，2qH（X）＝－Σ2qi＝1P，iLogP，i ＝－〔Σqi＝1P，iLogP，i＋Σ2qi＝q＋1P，iLogP，i〕 ＝－{Σqi＝1（1－ε）Pi〔Log（1－ε）＋LogPi〕＋Σ2qi＝q＋1εPi－q（Logε＋LogPi－q）} ＝－{（1－ε）Σqi＝1PiLog（1－ε）＋（1－ε）Σqi＝1PiLogPi＋εΣ2qi＝q＋1Pi－qLogε＋εΣ2qi＝q＋1Pi－qLogPi－q} ＝－{（1－ε）Σqi＝1PiLogPi＋εΣ2qi＝q＋1Pi－qLogPi－q＋（1－ε）Log（1－ε）Σqi＝1Pi＋εLogε
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1