信息論與編碼第一講(參考版)
2025-04-29 13:51本頁面
【正文】 在通信系統(tǒng)中，往往各種設(shè)計都將高斯白噪聲作為標(biāo)準(zhǔn)，并不完全是為了簡化分析，而是根據(jù)最壞的條件進(jìn)行設(shè)計獲得可靠性。 根據(jù)最大熵定理可知，如果噪聲是正態(tài)分布時，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵。 高斯分布（正態(tài)分布）：（其中， m為數(shù)學(xué)期望，方差為 ） eP?2log212?222)(221)( ???mxexp???2? 在限制信號平均功率的條件下，正態(tài)分布的信源有最大差熵，其值隨平均功率的增加而增加。其值等于 log(ba)。下面分別加以討論。 1)( ??R dxxp 求泛函 的極值。當(dāng)各約束條件不同時，信源的最大熵值不同。在連續(xù)信源中，差熵也具有極大值，但其情況有所不同。()。連續(xù)信源的差熵值具有熵的部分含義和性質(zhì)，而喪失了某些重要的特性。由此可見，連續(xù)信源的熵 h(X)稱為差熵，以區(qū)別于原來的絕對熵。 既然如此，那么為什么還要那樣來定義連續(xù)信源的熵呢？一方面，因為這樣定義可與離散信源的熵在形式上統(tǒng)一起來（這里用積分代替了求和）；另一方面，因為在實際問題中，常常討論的是熵之間的差值，如平均互信息等。這一點(diǎn)可以這樣理解：因為連續(xù)信源的可能取值數(shù)是無限多個，若設(shè)取值是等概分布，那么信源的不確定性為無限大。 ? ???????????????i iiiiiiiiiinxpxpxpxpxpPPXHl o g()(l o g)(])(l o g [)(l o g)(）0, ????n 一般情況下，上式的第一項是定值，而當(dāng) 時，第二項是趨于無限大的常數(shù)。 ),2,1( ni ???????????????????)()(})1({)1(iiaiaixpdxxpiaxiaPP 此時，連續(xù)變量 X就可以用取值為 xi (i=1,2,…n) 的離散變量 xn 來近似。 1)()( ???????? ?Rdxxpxp RX 并滿足 把連續(xù)信源概率密度的取值區(qū)間 [a,b]分割成 n個小區(qū)間，各小區(qū)間設(shè)有等寬 Δ=(ba)/n，那么， x處于第 i 區(qū)間的概率 Pi是： 其中， xi是 a+(i1) Δ 到 a+iΔ之間的某一值。 對連續(xù)變量，可用離散變量來逼近，即連續(xù)變量可以認(rèn)為是離散變量的極限情況。(1m a xlim0)( WNPWYXITC sxpTt i?????這就是著名的香農(nóng)公式 連續(xù)信源的熵和互信息 連續(xù)信源的輸出是取值連續(xù)的單個隨機(jī)變量，可用變量的概率密度 p(x)來描述。 5 連續(xù)信道及其容量 ? 當(dāng)信道為加性連續(xù)信道時，情況較簡單。Y) ≤C 對于所有 ai其 p(ai) = 0 ? 上式說明： – 當(dāng)信道的平均互信息 I(X。Y)達(dá)到 極大值的 充分和必要條件 是輸入概率 {p(ai)}必須滿足 : I (ai。 ?p C )(1 pHC ??? 當(dāng)固定信源的概率分布 ω時 ,I (X,Y) 是 p的 型 下凸函數(shù)。(pHpHppHXYHYHYXI??????? ??)(1l o g)(1l o g)()(ppHppppppppYH??????????????????? 當(dāng) p固定時 ,I (X,Y) 是 ω的 型上凸函數(shù)。 ? 若輸入符號和輸出符號個數(shù)相同 ,都等于 n,且信道矩陣為 ????????????????????????????pnpnpnppnpnpnppP111111111???? 此信道稱為 強(qiáng)對稱信道 (均勻信道 ) – 信道矩陣中各列之和也等于 1 ? 對稱離散信道的平均互信息為 )|()()|()(),( XYHYHYXHXHYXI ????niaYHabpabpabpabpapXYHiijjijiji jiji?,2,1)|()|(l o g)|()|(l o g)|()()|(???????? ?),()|
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1