通信原理信息ppt課件-閱讀頁(yè)
2025-01-19 21:10本頁(yè)面
【正文】 式為 )(l og)()( 2 iii xpxpxH ???這個(gè)公式與物理熱力學(xué)中的熵很相似。 請(qǐng)注意其量綱 某信源每天播報(bào)某地的天氣預(yù)報(bào)，此地晴天、多云、陰、雨的概率分別為 1/ 1/ 1/ 1/8 求： （ 3）此信源的每個(gè)消息的平均信息量（稱為“信息熵”） 28 平均信息量 ?平均信息量 Ｉ 等于各個(gè)符號(hào)的信息量乘以各自出現(xiàn)的概率之和 ?二進(jìn)制時(shí) )0(l o g)0()1(l o g)1( 22 PPPPI ???把 P(1)=P 符號(hào)）/()1(l og)1(l og)1(l og)1(l og2222bi tPPPPPPPPI??????????29 平均信息量 下面計(jì)算多個(gè)信息符號(hào)的平均信息量。 解 符號(hào)）/(16416483212116l o g16116l o g1618l o g814l o g412l o g2122222b i tI???????????5個(gè)符號(hào)等概率出現(xiàn)時(shí) )/(3 2 o gl o g 22m a x 符號(hào)b itNI ???31 【 例 】 一信息源由 4個(gè)符號(hào) A、 B、 C、 D組成，它們出現(xiàn)的概率為 3/ 1/ 1/ 1/8，且每個(gè)符號(hào)的出現(xiàn)都是獨(dú)立的。 解：信源輸出的信息序列中， A出現(xiàn) 23次， B出現(xiàn) 14次， C出現(xiàn) 13次， D出現(xiàn) 7次，共有 57個(gè)。當(dāng)信源中符號(hào)出現(xiàn)的數(shù)目 m→∞ 時(shí)，則上兩種計(jì)算方法結(jié)果一樣。要解決以下問題： 發(fā)送信號(hào)的概率如何分布才能的到最大熵？ 最大熵是多少？ 36 當(dāng)離散信源中每個(gè)符號(hào)等概出現(xiàn) ， 而且各符號(hào)的出現(xiàn)為統(tǒng)計(jì)獨(dú)立時(shí) ， 該信源的平均信息量最大 。 減小或消除符號(hào)間的關(guān)聯(lián) ， 并使各符號(hào)的出現(xiàn)趨于等概 ， 將使離散信源達(dá)到最大熵， 從而以最少的符號(hào)傳輸最大的信息量 。 39 小結(jié) 信息是消息中包含的 有意義的內(nèi)容 消息發(fā)生的概率越小 信息量越大 信息量的定義 I=loga(P(x)) 信息 平均信息量的計(jì)算 40 信息對(duì)學(xué)習(xí)通信原理的意義 ?信息這個(gè)概念貫穿了所有的通信原理，香農(nóng)的信息論被認(rèn)為是 20世紀(jì)最重要的科學(xué)理論之一，也是高層次技術(shù)人才必不可少的基礎(chǔ)知識(shí) ?我們要學(xué)習(xí)的通信技術(shù)，想要了解這些技術(shù)是被怎樣創(chuàng)造出來的，就不能不了解信息的含義 41 自測(cè)題 ?信息和消息有什么區(qū)別 ？ ? 信息：消息中包含的有意義的內(nèi)容 ? 消息是信息的載體 ?信息量的定義和單位是什么 ？ ? I=loga(P(x)) ? 信息量的單位由底數(shù) a決定 。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1