如何區(qū)別模擬信號和數(shù)字信號(編輯修改稿)
2025-03-05 15:11 本頁面
【文章內(nèi)容簡介】 SPSPSPm110??? ? ? ? ? ? ? ? ? ?b i tSISISImmm2l o g2l o g110??????? ? ? ? 一進(jìn)制僅有一種狀態(tài)，狀態(tài)唯一，不包含信息，? ? b i tSI 0?? 信息的測量納入概率的范疇，概率越小，信息量越大 綜上所述 ， 信息量 I與消息出現(xiàn)的概率 P(x)之間的關(guān)系應(yīng)為 I=loga =loga P(x) ( 1) 信息量的單位與對數(shù)底數(shù) a有關(guān) 。 a=2時 ， 信息量的單位為比特 (bit)； a=e時 ， 信息量的單位為奈特 (nit)； a=10時 ， 信息量的單位為十進(jìn)制單位 ， 叫哈特萊 。 目前廣泛使用的單位為比特 。 下面舉例說明信息量的對數(shù)度量是一種合理的度量方法 。 )(1xp例 1 – 1 設(shè)二進(jìn)制離散信源 ， 以相等的概率發(fā)送數(shù)字 0或 1，則信源每個輸出的信息含量為 I(0)=I(1)=log2 =log22=1 (bit) ( 2) 可見 ， 傳送等概率的二進(jìn)制波形之一 （ P=1/2） 的信息量為 1比特 。 同理 ， 傳送等概率的四進(jìn)制波形之一 （ P=1/4） 的信息量為 2比特 ， 這時每一個四進(jìn)制波形需要用 2個二進(jìn)制脈沖表示；傳送等概率的八進(jìn)制波形之一 （ P=1/8） 的信息量為3比特 ， 這時至少需要 3個二進(jìn)制脈沖 。 211對于離散信源 ， M個波形等概率 （ P=1/M） 發(fā)送 ， 且每一個波形的出現(xiàn)是獨(dú)立的 ， 即信源是無記憶的 ， 則傳送 M進(jìn)制波形之一的信息量為 I=log2 =log2 =log2 M(bit) ( 3) 式中 ， P為每一個波形出現(xiàn)的概率 ， M為傳送的波形數(shù) 。 若 M是 2的整冪次 ， 比如 M=2K（ K=1， 2， 3， …） ， 則式( 3)可改寫為 I=log2 2K=K (bit) ( 4) p1M11 如果是非等概情況 ， 設(shè)離散信源是一個由 n個符號組成的符號集 ， 其中每個符號 xi(i=1, 2, 3, …, n)出現(xiàn)的概率為 P(xi)， P(xi)=1, 則 x1, x2, …, xn 所包含的信息量分別為 log2 P(x1), log2 P(x2)， …， log2 P(xn)。于是 ， 每個符號所含信息量的統(tǒng)計(jì)平均值 ， 即平均信息量為 H(x)=P(x1)［ log2 P(x1)］ +P(x2)［ log2 P(x2)］ +…+P(xn)［ log2 P(xn)］ = ??ni 1符號）/)((lo g)( 21b itxpxp inii??? 由于 H同熱力學(xué)中的熵形式一樣 ， 故通常又稱它為信息源的熵 ， 其單位為 bit/符號 。 當(dāng)信源中每個符號等概獨(dú)立出現(xiàn)時 ， 此時信源的熵有最大值 。 例 1 2一離散信源由 0， 1， 2， 3四個符號組成，它們出現(xiàn)的概率分別為 3/8, 1/4, 1/4, 1/8，且每個符號的出現(xiàn)都是獨(dú)立的。試求某消息202320230213001203210100321010023102023010312032100120210的信息量。 解 此消息中 ， 0出現(xiàn) 23次 ， 1出現(xiàn) 14次 ， 2出現(xiàn) 13次 ， 3出現(xiàn) 7次 ， 共有 57個符號 ， 故該消息的信息量為 )(1088l o g74l o g134l o g1438l o
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1