離散信源ppt課件-資料下載頁
2025-04-29 03:55本頁面
【正文】 mmmmmmmmmm）求和，則：對右端求遍歷性的 m階的馬爾可夫信源熵的公式 : )|()(1 jjjm SXHSpH ???其中： 是馬爾可夫鏈的穩(wěn)態(tài)分布 ,可利用： WP=W和 求解出 。 ? ? 1)(jSp)( jSp____表示信源處于狀態(tài) Sj時發(fā)出一個消息符號的平均不確定性 )|( jSXH 例 39: 有一個二進制二階馬爾可夫信源，其信源符號集為A={0,1},條件概率為： 求 二階馬爾可夫信源的熵 。 )10|1()01|1()10|0()01|0()11|0()00|1()11|1()00|0(????????pppppppp?????????????????43214321SSSSSSSSP解 :由例 7可知狀態(tài)轉(zhuǎn)移矩陣為： ??????????????????????????????????????2P由可知： 此信源是遍歷性的馬爾可夫信源，穩(wěn)態(tài)分布存在 設(shè)穩(wěn)態(tài)分布為： ))()()()((4321 SpSpSpSpW ?則利用 WP=W和 可知： 1)(41???J JSp 7/1)()(,14/5)()( 3241 ???? SpSpSpSp對于遍歷性馬爾可夫信源有 ??jjj SXHSpH )|()(3得出：???ijijij SapSapSXH )|(l o g)|()|(符號比特 /)|(7/1)|(7/1)|(14/5)|(14/5 43213????? SXHSXHSXHSXHH由 則有： o o )|(l o g)|()|( 111 ????? ?i iiSapSapSXH o o )|(l o g)|()|( 222 ????? ?i iiSapSapSXH o o )|(l o g)|()|( 333 ????? ?i iiSapSapSXH o o )|(l o g)|()|( 444 ????? ?i iiSapSapSXH第五節(jié) 信源的相關(guān)性和剩余度 一 .信源的相關(guān)性 信源輸出符號之間的依賴關(guān)系 對于離散平穩(wěn)信源有 m a x1211 )(...)|()|( HXHXXHXXH NNNN ???? ???當(dāng)信源輸出符號之間的相關(guān)程度越長，實際熵越小 二 .信源熵的相對率 η 為極限熵（實際熵）??? HHH ,m a x?三 .信源的剩余度 γ m a x11 HH ????? ?? 討論 γ ： 從提高抗干擾能力角度出發(fā) : 希望減少或去掉剩余度 希望增加或保留信源的剩余度 因為 :剩余度大的消息具有很強的抗干擾能力。當(dāng)干擾使消息在傳輸過程中出現(xiàn)錯誤時，能從它的上下關(guān)聯(lián)中糾正錯誤。 從提高信息傳輸?shù)挠行杂^點出發(fā) : 原因是什么 ? 例 310： 黑白氣象傳真圖的消息只有黑白兩種顏色 ， 即信源 X={黑 ，白 }， 且 p(黑 )=， p(白 )=。 （ 1） 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)系 ， 求熵 H(X)。 （ 2） 假設(shè)消息前后有關(guān)系 ， 其依賴關(guān)系為 p(白 |白 )=， p(黑 |白 )=， p(白 |黑 )=， p(黑 |黑 )=， 求此一階馬爾可夫信源的熵 H2。 （ 3） 分別求上述兩種信源的剩余度 ， 并比較 H(X)和 H2的大小 ，并說明其物理意義 。 信源的信息熵 符號比特 /)(l o g)()(21??? ??iii apapXH（ 2） 分析得此信源為 一階馬爾可夫信源 ， 它的的狀態(tài)集為：A={S1=黑 ， S2=白 }。 則狀態(tài)轉(zhuǎn)移圖： S1 S2 解 ：（ 1）假設(shè)黑白氣象傳真圖上黑白消息出現(xiàn)的前后沒有關(guān)系，則等效于一個離散無記憶信源。信源概率空間為： 1)()( ?????????????? ? xpxPX ，白黑則其狀態(tài)轉(zhuǎn)移矩陣為 ： ???????????白黑白黑P由此可見： 此 馬爾可夫信源是遍歷的 ， 穩(wěn)態(tài)分布存在 ，則設(shè) W=(p(S1) p(S2)),根據(jù) WP=W可得： ? ? ? ?1)()()p ( S)p ( S)p ( S)p ( S212121?????????SpSp以及可以求出 : 3/2)(3/1)(21??SpSp則此信源的熵為： 符號比特 /] o o )[(] o o [)()|()(21212????????? ???SpSpSXHSpHHiii（ 3）黑白消息信源的剩余度 2l og112l og1)(1m a x2m a x1???????????HHHXH??即 21 ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1