信源和信息熵ppt課件-資料下載頁(yè)
2025-05-06 02:47本頁(yè)面
【正文】 a+(i1) △ ≤x≤a+i△ }=p(xi) △ ，且 ∑Pi=1 此時(shí)離散熵： H(Xn)=∑PilogPi= ∑ p(xi) △ log p(xi) △ = ∑ p(xi) △ log p(xi) ∑ p(xi) △ log △ 當(dāng) n→∞ ，△ → 0時(shí)， H(Xn)的極限值就是連續(xù)熵： ????? ???? ? l o glim)(l o g)()(lim)( 0bann dxxpxpXHXH第二章 信源和信息熵 ? 離散信源定義的熵是一個(gè)絕對(duì)量，上式第二項(xiàng)是趨于無(wú)限大的常數(shù)，所以避開(kāi)第二項(xiàng)，定義連續(xù)信源的熵是一個(gè)比無(wú)窮大（ ∞）大多少的相對(duì)量，不是絕對(duì)量： 注意： 連續(xù)變量的熵具有相對(duì)性，在取兩熵之間的差 時(shí)，才具有信息的所有特征，也稱(chēng) h(X)為差熵，具有離 散熵的主要特征，但不一定具備非負(fù)性。 第二章 信源和信息熵 例：一個(gè)連續(xù)信源，輸出概率密度服從均勻分布，若把此信源的輸出信號(hào)放大 2倍，求放大前、后的信息熵并比較。 注意：連續(xù)熵的相對(duì)性，說(shuō)明信息不是與熵相等，如：Y=aX+b中， H(Y)可大于 H(X)，但并不意味著經(jīng)過(guò)放大器可提高信息量。 第二章 信源和信息熵 二、二元聯(lián)合信源的共熵 第二章 信源和信息熵 ? 連續(xù)信源的互信息也具有信息特征（非負(fù)性）： I（ X； Y） =I（ Y； X） ＝ h（ X）－ h（ X/Y） ＝ h（ Y）－ h（ Y/X） ＝ h（ X）＋ h（ Y）－ h（ XY） ≥0 因此：當(dāng) X被測(cè)量得到 Y時(shí)，兩者可能都是連續(xù)變量， 互信息的概念仍然存在，且是有限值。若對(duì) Y進(jìn)行處理，成為 Z，也會(huì)丟失信息，即： I（ X； Z） ≤I（ X； Y），其中 Z＝ f（ Y） 第二章 信源和信息熵 三、連續(xù)信源的最大熵 問(wèn)題：在連續(xù)信源中，怎樣的概率密度分布函數(shù) p(X)能 使連續(xù)熵最大？ 限峰功率最大熵定理 信源輸出信號(hào)的幅度或瞬時(shí)功率受到限制，如幅度限制 在 a， b之間時(shí)： p(X) x a b 第二章 信源和信息熵 結(jié)論：輸出信號(hào)值的范圍受限的連續(xù)信源，其輸出最大熵的條件是輸出信號(hào)在該范圍內(nèi)的分布是均勻分布，其最大熵為概率分布密度倒數(shù)的對(duì)數(shù)。 推廣到 N維連續(xù)平穩(wěn)信源情況： 第二章 信源和信息熵 可以證明：對(duì)于任何 p(X)，其熵必小于均勻分布 時(shí)的熵。 第二章 信源和信息熵 限平均功率的最大熵定理 設(shè)信源的平均功率為 可以得出：當(dāng)信源概率密度是數(shù)學(xué)期望為 0，方差為平均功率的高斯分布時(shí)，有最大熵，即： 第二章 信源和信息熵 即： 所以：具有高斯分布的連續(xù)信源的熵最大，其大小隨 平均功率 P的增加而增加。 在不同限制條件下最大熵是不同的，在無(wú)限制下最大 熵不存在。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1