信息論與編碼第一講(文件)
【正文】 )/()( )/()()( )/()()()( ])/()()[( )()()(XYHXHXYHxIxpxyIyxpxIyxpxyIxIyxpyxIyxpXYHiiii jiji jjiijii jijijii jjiji??????????? ? ? ?? ?? ??????1)|()()()(jjijjjii yxpypyxpxp全概率公式 所以 H( X Y ) = H(X )＋ H(Y | X ) 同理 H( X Y ) = H(Y )＋ H( X | Y ) 而當(dāng) X、 Y 是統(tǒng)計獨立的兩個信源： H( X Y ) = H(X )＋ H(Y ) 平均互信息量 XY聯(lián)合集上的平均條件互信息量 ? ? ? ? ? ?? ?? ?? ?。 ? ? ? ? ? ?。 。I X Y H X H Y H X Y? ? ?? ?。I X Y H X H Y??噪聲很大的信道 ? ? ? ?|H X Y H X?四、信道及其 容量 信道容量計算 ? 離散信道 可分成： ? 特殊信道 – 無噪無損信道 – 有噪無損信道 – 無噪有損信道 ? 有干擾無記憶 信道 ? 有干擾有記憶 信道 特殊信道 信道名稱 信道特征 信息傳輸情況 全損信道 P(xy)=P(x)P(y) H(X/Y)=H(X) I(X。Y)=H(Y) 對稱 DMC信道 對稱性 : – 每一行都是由同一集 {p1, p2,… pm} 的諸元素不同排列組成 —— 輸入對稱 – 每一列都是由集 {q1, q2,… qn}的諸元素不同排列組成 —— 輸出對稱 ????????????????????????????????2131616121313161213131616161613131PP滿足對稱性 ,所對應(yīng)的信道是對稱離散信道。(pHpHppHXYHYHYXI??????? ??)(1l o g)(1l o g)()(ppHppppppppYH??????????????????? 當(dāng) p固定時 ,I (X,Y) 是 ω的 型上凸函數(shù)。Y)達(dá)到 極大值的 充分和必要條件 是輸入概率 {p(ai)}必須滿足 : I (ai。 5 連續(xù)信道及其容量 ? 當(dāng)信道為加性連續(xù)信道時，情況較簡單。 對連續(xù)變量，可用離散變量來逼近，即連續(xù)變量可以認(rèn)為是離散變量的極限情況。 ),2,1( ni ???????????????????)()(})1({)1(iiaiaixpdxxpiaxiaPP 此時，連續(xù)變量 X就可以用取值為 xi (i=1,2,…n) 的離散變量 xn 來近似。這一點可以這樣理解：因為連續(xù)信源的可能取值數(shù)是無限多個，若設(shè)取值是等概分布，那么信源的不確定性為無限大。由此可見，連續(xù)信源的熵 h(X)稱為差熵，以區(qū)別于原來的絕對熵。()。當(dāng)各約束條件不同時，信源的最大熵值不同。下面分別加以討論。 高斯分布（正態(tài)分布）：（其中， m為數(shù)學(xué)期望，方差為 ） eP?2log212?222)(221)( ???mxexp???2? 在限制信號平均功率的條件下，正態(tài)分布的信源有最大差熵，其值隨平均功率的增加而增加。在通信系統(tǒng)中，往往各種設(shè)計都將高斯白噪聲作為標(biāo)準(zhǔn)，并不完全是為了簡化分析，而是根據(jù)最壞的條件進行設(shè)計獲得可靠性。 根據(jù)最大熵定理可知，如果噪聲是正態(tài)分布時，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵。其值等于 log(ba)。 1)( ??R dxxp 求泛函 的極值。在連續(xù)信源中，差熵也具有極大值，但
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1