離散信源ppt課件(編輯修改稿)
2025-05-26 03:55 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 2111qqqqpppPX????????????熵 H(X)可用聯(lián)合熵表示： )(l o g)()()( 21 jiqiqjji ppXXHXH ????? ????條件熵為 )|(l o g)()|( 12 ijqiqjji ppXXH ????? ???可知： 平穩(wěn)信源輸出一個(gè)符號(hào) αi， 則對(duì)輸出下一個(gè)符號(hào)有影響 ，這個(gè)影響根據(jù) αi而異 。 依賴關(guān)系越強(qiáng) ， 對(duì)輸出下一個(gè)符號(hào)的影響越大 。 )...()( 21 NXXXHXH ?聯(lián)合熵可表示離散平穩(wěn)信源的熵 )|()()( 12121 XXHXHXXH ??由 可知 ： 信源聯(lián)合熵 等于 信源發(fā)出前一個(gè)符號(hào)的信息熵 加上 前一個(gè)符號(hào)已知時(shí)信源發(fā)出下一個(gè)符號(hào)的條件熵 前后序列沒(méi)有依存關(guān)系，則 ： )()|( 212 XHXXH ?)()()( 2121 XHXHXXH ??平均每個(gè)序列攜帶的信息量 )( NXH?????????????????????????NnnnNNNNNNNNNNNNNNXXHXXXXHXXXXHXXHXHXXXXHXXXXHXXXHXXXXHXXXHXXXHXH111212211121121221122112112121)|()...|()...|(...)|()(...)...|()...|()...()...|()...()...()(由 N=2推廣到 N=∞ 信源序列的熵： )...()( 21 NN XXXHXH ?三 .極限熵 平均每個(gè)符號(hào)攜帶的熵 )( XHN)...(1)(1)( 21 NNN XXXHNXHNXH ??當(dāng) N→∞, 極限熵（信源的熵率）記作 )(XH?)...|(lim )|(1lim )(lim)(12111??????????????NNNNnnnNNNXXXXHXXHNXHXH注意： 對(duì)于一般平穩(wěn)信源，信源的極限熵一定存在。 熵率的計(jì)算很復(fù)雜，在實(shí)際應(yīng)用中常采用有限 N下的條件熵作為極限熵的近似值，即 信源輸出信號(hào)所攜帶的信息利用 極限熵 來(lái)表示。 ). . .|()|()( 1211 ??? ?? NNNN XXXXHXXHXH例 35： 設(shè)某二階離散平穩(wěn)信源 X=X1X2的原始信源的信源模型為： ?????????????36/119/44/1)(321 xxxXPXX=X1X2中前后兩個(gè)符號(hào)的條件概率為： 11/9)|(,8/1)|(,0)|(11/2)|(,4/3)|(9/2)|(0)|(,8/1)|(,9/7)|(332313322212312111?????????xxpxxpxxpxxpxxpxxpxxpxxpxxp比較原始信源與二階信源的熵。 信源 X提供的熵 序列/)|()()( 12121 b itXXHXHXXH ???平均每個(gè)符號(hào)攜帶的信息量： s y m b o lb itXXHXH /)(21)( 212 ??結(jié)論： 極限熵、條件熵都小于原始信源的熵 原因 ： 符號(hào)之間存在相關(guān)性 解： 原始信源的熵： s y m b o lb itxpxpXHiii /)(l o g)()(31??? ??條件概率確定的條件熵： ? ?? ????313112 /)|(l o g)()|(i jijji s y m b o lb i txxpxxpXXH第四節(jié) 馬爾可夫信源及其熵 一 .馬爾可夫信源的概念 信源在某一時(shí)刻發(fā)出某一個(gè)符號(hào)的概率僅與前面發(fā)出的 m個(gè)符號(hào)有關(guān)，而與更早的無(wú)關(guān)，這樣的有記憶信源稱為 m階馬爾可夫信源。 對(duì)于 m階馬爾可夫信源，當(dāng)有 q個(gè)可能的輸出符號(hào)時(shí)，則該信源有 mq 個(gè)可能的狀態(tài)，從而一個(gè) 討論信源輸出符號(hào)不確定性的問(wèn)題轉(zhuǎn)換成了討論信源狀態(tài)轉(zhuǎn)換的問(wèn)題 。 二 .馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖 例 36： 設(shè)有一個(gè)二進(jìn)制一階馬爾可夫信源 ， 其信源符號(hào)集為 A={0,1},條件概率為 求狀態(tài)轉(zhuǎn)移矩陣 。 )0|1()1|1()1|0()0|0(????pppp解 ： 信源符號(hào)個(gè)數(shù) q=2， k=1,故狀態(tài)數(shù) 22 1 ???? kq則令狀態(tài) S1=0,狀態(tài) S2=1 狀態(tài)圖： S1=0 S2=1 根據(jù)狀態(tài)圖求狀態(tài)轉(zhuǎn)移概率： p(S1|S1)= p(S2|S1)= p(S1|S2)= p(S2|S2)= 則狀態(tài)轉(zhuǎn)移矩陣為： ???????????2121ssSSP有一個(gè)二進(jìn)制二階馬爾可夫信源，其信源符號(hào)集為A={0,1},條件概率為： 求狀態(tài)轉(zhuǎn)移矩陣。 例 37： )10|1()01|1()10|0()01|0()11|0()00|1()11|1()00|0(????????pppppppp由狀態(tài)圖可知轉(zhuǎn)移矩陣：
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1