信息論—-資料下載頁
2025-08-01 14:51本頁面
【正文】 j EQEEPEQj???1)( ??? EEiiEQ)( iEQ iE例題 二元二階馬爾科夫信源的符號(hào)集為 [0,1]，條件概率為 )11|1()00|0( ?? PP)11|0()00|1( ?? PP)10|1()01|1()10|0()01|0( ???? PPPP求各狀態(tài)之間的轉(zhuǎn)移概率與馬爾科夫信源的信息熵。 信源有 qm=22=4種可能狀態(tài)， E1=00,E2=01,E3=10,E4=11 狀態(tài)轉(zhuǎn)移圖為 00 01 11 10 0: 0: 1: 0: 1: 1: 0: 1: )|()|( 4411 ?? EEPEEP)|()|( 4312 ?? EEPEEP)|()|()|()|( 31243223 ??? EEPEEPEEPEEP其他狀態(tài)轉(zhuǎn)移概率為 0 )()()( 311 EQEQEQ ??)()()( 312 EQEQEQ ??)()()( 423 EQEQEQ ??)()()( 244 EQEQEQ ??1)()()()( 4321 ???? EQEQEQEQ解方程組，可得 14/5)()(41 ?? EQEQ7/1)()( 32 ?? EQEQ信源的熵 ),(145),(71),(71),(145)|()(413?????? ??HHHHEXHEQH iii（比特 /符號(hào)） 信源的剩余度 熵的相對(duì)率：信源實(shí)際的信息熵與具有同樣符號(hào)集的最大熵的比值 信源剩余度： 1減去熵的相對(duì)率 小結(jié) 自信息：事件發(fā)生的不確定性 )(1lo g)(ii aPaI ?信息熵：平均不確定性 ???? qiii aPaPXH1)(l o g)()(信息熵的基本性質(zhì)：對(duì)稱性、確定性、非負(fù)性、擴(kuò)展性、可加性、強(qiáng)可加性、遞增性、極值性、上凸性 離散無記憶信源的 N次擴(kuò)展信源的熵 )()(l og)()( XNHPPXHNXiiN ??? ? ??離散平穩(wěn)信源： 平均符號(hào)熵 )(1)( 21 NN XXXHNH ??X條件熵 ? ??? ???????qiqjijjiiqiiaaPaaPaXXHaPXXH1 112112)|(l o g)()|()()|(極限熵 )|(lim)(1lim 12121 ???????? NNNNNXXXXHXXXHNH ??時(shí)齊遍歷馬爾科夫信源的信息熵 )|(l o g)|()()|()(1 11ikikJiqkiiJii EaPEaPEQEXHEQH ? ??? ??? ???)()|()( ijiEEj EQEEPEQj???1)( ??? EEiiEQ
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1