信息論—-在線瀏覽
2024-09-11 14:51本頁(yè)面
【正文】 PaaPaXXH ?????? ?? ??? ?? ?????????qiqjijjiqiqjijijiiqiiaaPaaPaaPaaPaPaXXHaPXXH1 11 112112)|(l o g)()|(l o g)|()()|()()|(聯(lián)合熵與條件熵的關(guān)系（ 熵的強(qiáng)可加性 ） 條件熵與無(wú)條件熵的關(guān)系 )|()()( 12121 XXHXHXXH ??)()|( 212 XHXXH ?對(duì)于一般的離散平穩(wěn)有記憶信源 信源符號(hào)之間的依賴長(zhǎng)度為 N, 則其聯(lián)合熵為 ?????????????)(,),(),(,)( 2121qqaPaPaPaaaxPX??1)(1???qiiaP? ?? ???qiqiiiiiiiNNNNaaaPaaaPXXXH1 121 )(l og)()( 2121 ????NN ,3,2 ??)21(1l i m)( NXXXHNNHN????X極限熵 例題 某一離散二維平穩(wěn)信源 且 發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān)，聯(lián)合概率為 求信源符號(hào)之間無(wú)依賴關(guān)系時(shí)信源 X的信息熵，有依賴關(guān)系時(shí)二維信源的條件熵與聯(lián)合熵。 ???????????????41943611210)( xPX 1)(31???iiaP0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 iaja條件概率 為 0 1 2 0 9/11 1/8 0 1 1/11 3/4 2/9 2 0 1/8 7/9 iaja)|( ij aaP信源符號(hào)之間無(wú)依賴性時(shí)，信源 X的信息熵為 )(l o g)()(31??? ??iii aPaPXH（比特 /符號(hào)） 考慮符號(hào)之間有依賴性時(shí)，條件熵為 )|(l o g)()|(313112 ??? ? ?? ?iijjji aaPaaPXXH（比特 /符號(hào)） 聯(lián)合熵為 )(l o g)()(313121 ??? ? ?? ?ijjiji aaPaaPXXH（比特 /二個(gè)符號(hào)） 2 0 )(21)( 212 ?XXHH X（比特 /符號(hào)） 熵的近似值 如有 6行 8列的棋型方格，若有二個(gè)質(zhì)點(diǎn) A和 B, 分別以等概率落入任一方格內(nèi)，且它們的坐標(biāo)分
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1