離散信源ppt課件(編輯修改稿)
2025-05-26 03:55 本頁面
【文章內(nèi)容簡介】 2111qqqqpppPX????????????熵 H(X)可用聯(lián)合熵表示： )(l o g)()()( 21 jiqiqjji ppXXHXH ????? ????條件熵為 )|(l o g)()|( 12 ijqiqjji ppXXH ????? ???可知： 平穩(wěn)信源輸出一個符號 αi， 則對輸出下一個符號有影響 ，這個影響根據(jù) αi而異 。 依賴關(guān)系越強 ， 對輸出下一個符號的影響越大 。 )...()( 21 NXXXHXH ?聯(lián)合熵可表示離散平穩(wěn)信源的熵 )|()()( 12121 XXHXHXXH ??由 可知 ： 信源聯(lián)合熵 等于 信源發(fā)出前一個符號的信息熵 加上 前一個符號已知時信源發(fā)出下一個符號的條件熵 前后序列沒有依存關(guān)系，則 ： )()|( 212 XHXXH ?)()()( 2121 XHXHXXH ??平均每個序列攜帶的信息量 )( NXH?????????????????????????NnnnNNNNNNNNNNNNNNXXHXXXXHXXXXHXXHXHXXXXHXXXXHXXXHXXXXHXXXHXXXHXH111212211121121221122112112121)|()...|()...|(...)|()(...)...|()...|()...()...|()...()...()(由 N=2推廣到 N=∞ 信源序列的熵： )...()( 21 NN XXXHXH ?三 .極限熵 平均每個符號攜帶的熵 )( XHN)...(1)(1)( 21 NNN XXXHNXHNXH ??當 N→∞, 極限熵（信源的熵率）記作 )(XH?)...|(lim )|(1lim )(lim)(12111??????????????NNNNnnnNNNXXXXHXXHNXHXH注意： 對于一般平穩(wěn)信源，信源的極限熵一定存在。 熵率的計算很復雜，在實際應用中常采用有限 N下的條件熵作為極限熵的近似值，即 信源輸出信號所攜帶的信息利用 極限熵 來表示。 ). . .|()|()( 1211 ??? ?? NNNN XXXXHXXHXH例 35： 設(shè)某二階離散平穩(wěn)信源 X=X1X2的原始信源的信源模型為： ?????????????36/119/44/1)(321 xxxXPXX=X1X2中前后兩個符號的條件概率為： 11/9)|(,8/1)|(,0)|(11/2)|(,4/3)|(9/2)|(0)|(,8/1)|(,9/7)|(332313322212312111?????????xxpxxpxxpxxpxxpxxpxxpxxpxxp比較原始信源與二階信源的熵。 信源 X提供的熵 序列/)|()()( 12121 b itXXHXHXXH ???平均每個符號攜帶的信息量： s y m b o lb itXXHXH /)(21)( 212 ??結(jié)論： 極限熵、條件熵都小于原始信源的熵 原因 ： 符號之間存在相關(guān)性 解： 原始信源的熵： s y m b o lb itxpxpXHiii /)(l o g)()(31??? ??條件概率確定的條件熵： ? ?? ????313112 /)|(l o g)()|(i jijji s y m b o lb i txxpxxpXXH第四節(jié) 馬爾可夫信源及其熵 一 .馬爾可夫信源的概念 信源在某一時刻發(fā)出某一個符號的概率僅與前面發(fā)出的 m個符號有關(guān)，而與更早的無關(guān)，這樣的有記憶信源稱為 m階馬爾可夫信源。 對于 m階馬爾可夫信源，當有 q個可能的輸出符號時，則該信源有 mq 個可能的狀態(tài)，從而一個 討論信源輸出符號不確定性的問題轉(zhuǎn)換成了討論信源狀態(tài)轉(zhuǎn)換的問題 。 二 .馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖 例 36： 設(shè)有一個二進制一階馬爾可夫信源 ， 其信源符號集為 A={0,1},條件概率為 求狀態(tài)轉(zhuǎn)移矩陣 。 )0|1()1|1()1|0()0|0(????pppp解 ： 信源符號個數(shù) q=2， k=1,故狀態(tài)數(shù) 22 1 ???? kq則令狀態(tài) S1=0,狀態(tài) S2=1 狀態(tài)圖： S1=0 S2=1 根據(jù)狀態(tài)圖求狀態(tài)轉(zhuǎn)移概率： p(S1|S1)= p(S2|S1)= p(S1|S2)= p(S2|S2)= 則狀態(tài)轉(zhuǎn)移矩陣為： ???????????2121ssSSP有一個二進制二階馬爾可夫信源，其信源符號集為A={0,1},條件概率為： 求狀態(tài)轉(zhuǎn)移矩陣。 例 37： )10|1()01|1()10|0()01|0()11|0()00|1()11|1()00|0(????????pppppppp由狀態(tài)圖可知轉(zhuǎn)移矩陣：
教學課件相關(guān)推薦
鄂ICP備17016276號-1