信源和信息熵ppt課件-文庫(kù)吧資料
2025-05-12 02:47本頁(yè)面
【正文】 量 X1和 X2，單個(gè)符號(hào)數(shù)學(xué)模型為： 聯(lián)合事件的概率空間： 第二章 信源和信息熵 條件概率分布： 二個(gè)符號(hào)的數(shù)學(xué)模型： 聯(lián)合熵： 第二章 信源和信息熵 聯(lián)合熵（共熵）：是聯(lián)合空間 X1X2上的每個(gè)元素對(duì) X1X2的自信息量的概率加權(quán)平均值?？墒苟嘣旁吹撵睾瘮?shù) 計(jì)算簡(jiǎn)化成計(jì)算若干個(gè)二元信源的熵函數(shù)。 第二章 信源和信息熵 例：運(yùn)用熵函數(shù)的遞增性，計(jì)算熵函數(shù) H（ 1/3,1/3,1/6,1/6）的數(shù)值。 第二章 信源和信息熵 上凸性： 熵函數(shù)具有嚴(yán)格的上凸性，它的極值必為最大值。 確定性： H（ 1,0）＝ H（ 0,1）＝ H（ 1,0,0, ‥ ）＝ ‥ ＝ 0 說(shuō)明：從熵的不確定概念來(lái)說(shuō)，確知信源的不確定度應(yīng)該為 0。 它只與隨機(jī)變量的總體結(jié) 構(gòu)有關(guān) ， 而不在于個(gè)別值的概率 ， 甚至也不因隨機(jī)變 量取值的不同而異 。一般情況 下，它并不等于平均獲得的信息量，獲得的信息量是兩 熵之差，并不是信息熵本身。 ???????],[ 21 xxPX ???????],[ 21 yyPY第二章 信源和信息熵 熵的物理含義： 信息熵 H(x)是表示信源輸出后，每個(gè)消息 (或符號(hào) )所提 供的平均信息量；信息熵 H(x)是表示信源輸出前，信源 的平均不確定性；用信息熵 H(x)來(lái)表征變量 X的隨機(jī) 性。 例：設(shè)一條電線上串聯(lián) 8個(gè)燈泡，且損壞的可能性為等概，若僅有一個(gè)壞燈泡，須獲知多少信息量才可確認(rèn)？ 第二章 信源和信息熵 例解： 測(cè)量前， P1(x)＝ 1/8，存在不確定性： I(P1(x))＝ log8＝ 3bit 第一次測(cè)量獲得信息量： 第二次測(cè)量獲得信息量： 第三次測(cè)量獲得信息量： 每次測(cè)量獲得 1bit信息量，需三次測(cè)量可確定壞燈泡 第二章 信源和信息熵 自信息 I是一個(gè)隨機(jī)變量，不能作為信源總體的信息量。 ???????],[ 21xxPX第二章 信源和信息熵 注意：信息單位比特（表示以 2為底的對(duì)數(shù)）與計(jì)算機(jī)術(shù)語(yǔ)中的比特（表示二進(jìn)制數(shù)的位）的意義是不同的。 香農(nóng)定義的自信息量 I(x)：任意隨機(jī)事件出現(xiàn)概率的對(duì)數(shù)的負(fù)值表示 自信息量 。 不同統(tǒng)計(jì)特性的信源可用隨機(jī)變量、隨機(jī)矢量以及隨 機(jī)過(guò)程描述其輸出的消息。 平穩(wěn)隨機(jī)序列：序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無(wú)關(guān)。 數(shù)學(xué)模型是連續(xù)型的概率空間： 且滿(mǎn)足： X的概率 密度函數(shù) 實(shí)數(shù)集（－ ∞，＋ ∞） 第二章 信源和信息熵 隨機(jī)矢量：信源輸出的消息是按一定概率選取的符號(hào) 序列。 無(wú)記憶：不同的信源輸出消息之間相互獨(dú)立。每次試驗(yàn)只隨機(jī)出現(xiàn)其中一種消息，不可能出現(xiàn)這個(gè)集合以外的消息，考察此事件信源的數(shù)學(xué)模型。第二章 信源和信息熵 第二章 信源和信息熵 ? 信源的數(shù)學(xué)模型及分類(lèi) ? 離散信
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1