信息論初步(ppt45)-經(jīng)營管理(編輯修改稿)
2025-09-20 15:28 本頁面
【文章內(nèi)容簡介】 P(B/C) P(C/A) P(C/B) P(C/C) = 9/11 1/8 0 2/11 190。 2/9 0 1/8 1/9 且已知 P(A)=11/36, P(B)=4/9, P(C)=1/4。 求該信源的平均信息量。 解 由 (28), 可求得該信源的條件平均信息量 H(xj/xi)=∑i∑j P(xi)P(xj/xi) log P(xj/xi) =P(A)[P(A/A)logP(A/A)+ P(B/A)logP(B/A)+ P(C/A)logP(C/A)] P(B)[P(A/B)logP(A/B)+ P(B/B)logP(B/B)+ P(C/B)logP(C/B)] P(C)[P(A/C)logP(A/C)+ P(B/C)logP(B/C)+ P(C/C)logP(C/C)]= bit 若上例 A, B, C符號統(tǒng)計獨立，則可求得平均信息量 H(X)=∑iP(xi) log P(xi) = bit 可以證明，當離散信源中每個符號等概率出現(xiàn)，而且各符號的出現(xiàn)為統(tǒng)計獨立時，該信號的平均信息量最大，此時最大熵 Hmax=∑i 1/Nlog1/N=log1/N 下面以 2元離散信源作為一個典型例子分析，若 2元離散信源的概率場為 x1, x2 P, Q , P+Q=1 則熵 H(x)=Plog2P(1P)log2(1P) (210) 由 dH(x)/dP=0， 得到 P=1/2， 此時， Hmax=1 bit 聯(lián)合熵 存在兩個離散信源 X和 Y時， X中的 xi和 Y中的 yi同時出現(xiàn)的平均信息量稱為聯(lián)合熵或者共熵，定義為 H(XY)= ∑i∑j P(xiyj) log P(xiyj) (211) 已知 X中出現(xiàn) xi條件下， Y中出現(xiàn) yi的 條件平均信息量 ： H(Y/X)= ∑i∑j P(xiyj) log P(yi/xj) (212) (26)中 互信息量 的統(tǒng)計平均值，稱為 平均 互信息量 ，定義為 I(X,Y)= ∑i∑j P(xiyj) I(xi,yj) (214) 聯(lián)合熵、熵、條件熵之間的關系 ? 聯(lián)合熵和熵、條件熵之間的關系 H(XY)=H(X)+H(Y/X) (215) ? 平均互信息量和條件熵的關系 I(X,Y)=H(Y)H(Y/X) (216) ? 平均互信息量與熵和聯(lián)合熵的關系 I(X,Y)=H(X)+H(Y)H(XY) (217) 連續(xù)信源的信息度量 抽樣定理告訴我們，如果一個連續(xù)信號的頻帶限制在 0WHz內(nèi)，那么他完全可以采用間隔為 1/2W秒的抽樣序列無失真地表示 我們來求每個采樣點所包含的信息量，以與離散消息中每個符號所攜帶的信息量相對應，可以把連續(xù)消息看成離散消息的離散情況。 連續(xù)消息信號在每個采樣點上的取值是一個連續(xù)的隨機變量，其一元概率密度函數(shù)為 p(x)。將隨機變量的取值范圍分成 2N個小段，當 N足夠大時，取值落在 Δxi小段內(nèi)的概率可近似表示為 P(xi≤ x≤ xi+Δ xi)≈ p(xi)Δ xi 由 (27)，可得各抽樣點統(tǒng)計獨立時，每個抽樣點所包含的平均信息量 H(X) ≈ ∑i p(xi)Δ xi log [p(xi)Δ xi] (218) 令 Δ x→0 ， N→∞ 時，則可以得到連續(xù)消息每個抽樣點的 絕對平均信息量 H(X) =limΔ x→0 ， N→∞ ∑i p(xi)Δ xi log [p(xi)Δ xi] =∫ p(x)dx{log[p(x)dx]} =∫p(x)logp(x)dx logdx∫p(x)dx =∫p(x)logp(x)dx+ log1/dx (219) 上式中的第二項為無窮大。但在計算熵變化貨比較不同的連續(xù)消息的熵時，可以相互抵消。因此，可以定義連續(xù)信息的 平均信息量 H(x)=∫p(x)logp(x)dx (220) 例 27 有一連續(xù)消息源，其輸出信號在 (1, +1)取值范圍內(nèi)具有均勻的概率密度函數(shù)，求該消息的平均信息量。若該消息放大 4倍，再求其平均信息量。 解 當信號在 (1, +1)時，概率密度函數(shù) p(x)=1/2，由 (220)，得到平均信息量 H(x)=－ ∫[1,1]1/2log1/2dx=1 bit 放大 4倍后，取值范圍變?yōu)?(4, +4), p(x)=1/8, 其平均信息量為
公司管理相關推薦
鄂ICP備17016276號-1