信息論—-預(yù)覽頁
【正文】 ?XXHH X（比特 /符號(hào)） 熵的近似值 如有 6行 8列的棋型方格，若有二個(gè)質(zhì)點(diǎn) A和 B, 分別以等概率落入任一方格內(nèi)，且它們的坐標(biāo)分別為（ XA, ， YA），（ XB ，YB） ,但 A, B不能落入同一方格內(nèi)。此信源輸出的符號(hào)序列遵守下面的規(guī)則： 當(dāng)前面兩位符號(hào)是 00時(shí)，輸出符號(hào) 0的概率為 ，輸出符號(hào)1的概率為 。 信源有 qm=22=4種可能狀態(tài)， E1=00,E2=01,E3=10,E4=11 狀態(tài)轉(zhuǎn)移圖為 00 01 11 10 0: 0: 1: 0: 1: 1: 0: 1: )|()|( 4411 ?? EEPEEP)|()|( 4312 ?? EEPEEP)|()|()|()|( 31243223 ??? EEPEEPEEPEEP其他狀態(tài)轉(zhuǎn)移概率為 0 )()()( 311 EQEQEQ ??)()()( 312 EQEQEQ ??)()()( 423 EQEQEQ ??)()()( 244 EQEQEQ ??1)()()()( 4321 ???? EQEQEQEQ解方程組，可得 14/5)()(41 ?? EQEQ7/1)()( 32 ?? EQEQ信源的熵 ),(145),(71),(71),(145)|()(413?????? ??HHHHEXHEQH iii（比特 /符號(hào)） 信源的剩余度 熵的相對(duì)率：信源實(shí)際的信息熵與具有同樣符號(hào)集的最大熵的比值 信源剩余度： 1減去熵的相對(duì)率 小結(jié) 自信息：事件發(fā)生的不確定性 )(1lo g)(ii aPaI ?信息熵：平均不確定性 ???? qiii aPaPXH1)(l o g)()(信息熵的基本性質(zhì)：對(duì)稱性、確定性、非負(fù)性、擴(kuò)展性、可加性、強(qiáng)可加性、遞增性、極值性、上凸性 離散無記憶信源的 N次擴(kuò)展信源的熵 )()(l og)()( XNHPPXHNXiiN ??? ? ??離散平穩(wěn)信源： 平均符號(hào)熵 )(1)( 21 NN XXXHNH ??X條件熵 ? ??? ???????qiqjijjiiqiiaaPaaPaXXHaPXXH1 112112)|(l o g)()|()()|(極限熵 )|(lim)(1lim 12121 ???????? NNNNNXXXXHXXXHNH ??時(shí)齊遍歷馬爾科夫信源的信息熵 )|(l o g)|()()|()(1 11ikikJiqkiiJii EaPEaPEQEXHEQH ? ??? ??? ???)()|()( ijiEEj EQEEPEQj???1)( ??? EEiiE
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1