《總結(jié)與復(fù)習(xí)》ppt課件-文庫吧
2025-04-14 02:05 本頁面
【正文】 定理 1： 當(dāng)信道給定時 ， 平均互信息僅由信源性質(zhì)決定 ， 總存在一個信源能使互信息取極大值 ； 定理 2： 當(dāng)信源給定時 ， 平均互信息僅由信道性質(zhì)決定 ， 總存在一個信道能使互信息取極小值 。 平均互信息的性質(zhì) 10 11 [例 1]已知信源先驗概率 p(x)={, }， 信道傳輸 矩陣 ；試計算各信息熵和互信息 。 ?????????????????????????????????)( XYP H(XY)= – – – –– = bit/符號 解 :(1)先驗熵： H(X)= – = ( –)/lg2 = bit/符號 (2)聯(lián)合熵： 第一部分、信息論基礎(chǔ) 信道的信息理論 12 H(Y | X)= – – – – –– = bit/符號 (4)接收符號熵：由 ???mijij yxpyp1)()( P(Y)=（ +， +， +） = （ , , ） H(Y)= = bit/符號 (3)噪聲熵： ?????????)( XYP????????? 和 第一部分、信息論基礎(chǔ) 信道的信息理論 13 H(X|Y)= (7/11) …… (9/44)= bit/符號 或： H(X|Y)=H(XY)H(Y)== bit/符號 (6)平均互信息： I(X。Y)=H(X)H(X|Y)= –= bit/符號 ??????????????????44923911444352314117)|( YXP)()()|(jjiji ypyxpyxp ??????????)( XYP (5)損失熵 ： 第一部分、信息論基礎(chǔ) 信道的信息理論 14 第一部分、信息論基礎(chǔ) 信道的信息理論 4. 信道容量 對稱信道 ： 傳輸矩陣的各行都是一些相同元素的重排 ， 各列也是一些相同元素的重排 。 （ 1） 定義：對于給定的信道 ， 總存在一個信源能使互信息取極大值 ， 該極大值定義為信道的信道容量： 信道容量反映了一個信道最大所能傳輸?shù)钠骄バ畔?， 是給定信道的屬性 。 使傳信率等于信道容量的信源 ， 稱為該 信道的匹配信源 。 )。(})({ YXIM a xC xp? 15 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 2） 信道容量的計算： 對于簡單信道要求能計算信道容量： 1） 無損信道： C = max{I(X。Y)}= max{H(X)}=log m ； 2） 無噪信道： C = max{I(X。Y)}= max{H(Y)}= log S ； 3） 對稱信道： C=max{I(X。Y)}=logSH(p1, p2,…… , pS)； ?????????[例 3]求對稱信道 的信道容量 。 解： C =log4H(,) =2+(+) 2 = bit/符號； 16 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 3） 波形信道的信道容量： 發(fā)送連續(xù)信號的信源是連續(xù)信源 ， 傳輸連續(xù)信號的信道是波形信道 。 高斯加性噪聲波形信道的容量由 Shannon公式給出： C= B log(1+ PX /Pn ) 香農(nóng)公式給出了帶寬 B、 信道容量和信噪比 PX /Pn三者之間的制約關(guān)系 。 隨著帶寬的增大 ， 信道容量的增大會越來越慢 ， 最后不再改變 ， 趨于一個 理論極限值 /n0 17 第二部分、無失真信源編碼 信源編碼理論 變長碼編碼原理： （ 1）概率匹配原則： 信息量 大 (不常出現(xiàn) )的符號用 長碼 ，信息量 小 (經(jīng)常出現(xiàn) )的符號用 短碼 。 )(1lo g iriri aIpl ??（ 2）平均碼長： imii lpl ???1l（ 4） 極限碼長 ∞=H∞ / log r。 l o gHlr???（ 5） 編碼效率 ： NrHrH NN l 1lo glo g ???（ 3） Shannon變長碼編碼定理： 第二部分、無失真信源編碼 18 第二部分、無失真信源編碼
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1