信源和信息熵ppt課件-在線瀏覽
2025-06-23 02:47本頁(yè)面
【正文】 r進(jìn)制信息熵與二進(jìn)制信息熵的關(guān)系： 第二章 信源和信息熵 例如，有兩個(gè)信源： 則： H（ X） = /符號(hào) H（ Y） =1比特 /符號(hào) 顯然，信源 X輸出消息 x1的可能性是 99%，所以對(duì) X 的平均不確定性較??；而信源 Y輸出 y y2的可能性 均為 ，則我們對(duì) Y輸出哪一個(gè)消息的平均不確定性 較大。 注意： 信息熵是信源的平均不確定的描述。 第二章 信源和信息熵 二 、 信息熵的基本性質(zhì) 對(duì)稱性： 此性質(zhì)說(shuō)明：熵的總體性 。 非負(fù)性： 第二章 信源和信息熵 擴(kuò)展性： 說(shuō)明： 概率很小的值的出現(xiàn)，給予接收者以較大的信息，但在熵的計(jì)算中占的比重很小，這是熵的總體平均性的一種體現(xiàn)。 第二章 信源和信息熵 可加性： 二個(gè)隨機(jī)變量 X和 Y不獨(dú)立時(shí)： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二個(gè)隨機(jī)變量 X和 Y獨(dú)立時(shí)： H(XY)=H(X)+H(Y) 極值性： H(p1,p2, ‥ ,pq) ≤－ ∑pilogqi，當(dāng) qi＝ 1/q時(shí)， 可見(jiàn)：所有概率分布 pi所構(gòu)成的熵，以等概時(shí)為最大， 稱為最大離散熵定理。 遞增性： 其中： 此性質(zhì)說(shuō)明：熵增加了一項(xiàng)由于劃分而產(chǎn)生的不確定性 量。 可見(jiàn)：熵函數(shù)的遞增性也可稱為遞推性，表示 n 個(gè)元素的信源熵可以遞推成（ n－ 1）個(gè)二元信 源的熵函數(shù)的加權(quán)和。 第二章 信源和信息熵 離散平穩(wěn)信源的熵 離散平穩(wěn)信源： 各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān) 的完全平穩(wěn)信源稱為離散平穩(wěn)信源。共熵表示信源輸 出長(zhǎng)度為 2的序列的平均不確定性，或所含的信息量。 還可得： 且 X X2獨(dú)立時(shí)，上式等號(hào)成立。X2)＝ H(X1)－ H(X1/X2) ≥0 ＝ H(X1)＋ H(X2)－ H(X1X2) 且： I(X1。X1) 第二章 信源和信息熵 注意： 任何無(wú)源處理總是丟失信息的，至多保持原來(lái)的信息，這是信息不可增性的一種表現(xiàn)。 ? 條件熵 ≤無(wú)條件熵；條件較多的熵 ≤條件較少的熵，所以： 第二章 信源和信息熵 離 散 平 穩(wěn) 信 源 性 質(zhì)（ H1(X)∞時(shí)）： ? 條件熵隨 N的增加是遞減的； ? 平均符號(hào)熵 ≥條件熵； ? 平均符號(hào)熵 HN(X)隨 N增加是遞減的； ? 極限熵 第二章 信源和信息熵 結(jié)論： 當(dāng)平穩(wěn)信源的記憶長(zhǎng)度為 m，則離散平穩(wěn) 信源的極限熵等于有限記憶長(zhǎng)度 m的條件熵： 第二章 信源和信息熵 三、信源信息冗余與熵的相對(duì)率 對(duì)于一般的離散信源都可以近似地用不同記憶長(zhǎng)度 的馬爾可夫信源來(lái)逼近。 第二章 信源和信息熵 所以，非等概分布的信源所輸出的符號(hào)中，每一 位信源符號(hào)所載荷的平均信息量并沒(méi)有達(dá)到其應(yīng)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1