[理學(xué)]信息論-第3章多符號(hào)離散信源與信道-文庫吧資料
2024-10-25 00:37本頁面
【正文】 d. 狀態(tài)連續(xù) 時(shí)間參數(shù)集 T 連續(xù) —— 連續(xù)馬爾可夫過程 34 有限狀態(tài)馬爾可夫鏈 ： (1) 設(shè) {xn , n?N+ }為一隨機(jī)序列，時(shí)間參數(shù)集 N+={0,1,2,…} , 其狀態(tài)空間 S={S1,S2,…S J}有限或可數(shù)，若對(duì)所有 n ? N+ ，有 ? ?? ?1 2 111 2 11| , , ,|n n nnnn i n i n i in i n iP X S X S X S X SP X S X S??????? ? ? ?? ? ?則稱 , {xn,n?N+ }為 馬爾可夫鏈 ， 即 有限狀態(tài)一階馬爾可夫鏈。 注： ? k=0時(shí)，稱為 零階馬爾可夫過程 。,。,。 ,tn時(shí)刻 , 取值分別為x1,x2, tn，ti?T,i=1,2, 30 N次擴(kuò)展信源熵的 性質(zhì) ? ?1 2 1|NNH X X X X ?? ? ? ?1 2 1|N N NH X H X X X X ??? ?NHX)(lim)( XHXH NN ??? ?)|(lim)(lim)( 121 ?????? ?? NNNNN XXXXHXHXH ?(4) 極限熵 存在，且 (1) 條件熵 隨 N的增加是非遞增的 (2) (3) 平均符號(hào)熵 隨 N的增加是非遞增的。 NXXXHXXXHXH NNNN)()()( 2121?? ??28 離散平穩(wěn)有記憶信源的極限熵 極限熵 （極限信息熵） 當(dāng)信源符號(hào)序列長(zhǎng)度趨于無窮時(shí) )(1lim)(lim)( 21 NNNNXXXHNXHXH ????????有 )()()()(0 21 XHXHXHXH NNN ????? ?? ?結(jié)論 1. 平均符號(hào)熵 HN(X)是記憶長(zhǎng)度的 N的非遞增函數(shù)； 2. 平均符號(hào)熵 HN(X)的極限，即極限熵值存在。 )()()()(1321212211121???????kkkkkkkkXXXXHXXXXHXXXXHXXXXH????)()()()(12132211121XHXXXHXXXXHXXXXH NNNN???? ??????)()()()()(112132121NNNNNNNNNNXHXXHXXXHXXXXHXXXXH?????????????（ 1） （ 2） （ 3） （ 4） 27 離散平穩(wěn)有記憶信源的信息熵 三 平均符號(hào)熵 定義 對(duì)離散平穩(wěn)有記憶信源 X來說，因?yàn)橛杏洃?，所以在? 同時(shí)刻所發(fā)符號(hào)提供的平均信息量是不同的。 212 XXX ? 21 XXX ?)()()()()()()()()()()()(2121221212121212XXHXHXXHXHXXHXHXXHXHXHXHXXHXH??????????????21, XX25 離散平穩(wěn)有記憶信源的信息熵 2 N維平穩(wěn)有記憶信源的信息熵 NXXXX ?21?)()()()()(l o g)()(l o g)()(l o g)()(l o g)()}()()(l o g {)()(l o g)()(l o g)()()(1212131211111 12 12121311 12 1211211 12 121111 12 1211112111 12 1212111 12 121121??? ? ?? ? ?? ? ?? ? ??? ? ?? ? ???????????????????? ? ?? ? ?? ? ?? ? ?? ? ?? ? ??NNiNiiNriririNiNiiiiiriririNiNiiiiriririNiNiiiriririNiNiiiNiiNiiiriririNiNiiiNiiriririNiNiiriiiNXXXXHXXXHXXHXHaaapaaapaaapaaapaapaaapapaaapaaapaapapaaapaaapaaapppXXXHXHN???????????????????? ??26 離散平穩(wěn)有記憶信源的信息熵 幾個(gè)結(jié)論 表明： 離散平穩(wěn)有記憶信源每發(fā)一個(gè)符號(hào)所提供的信息量， 隨記憶長(zhǎng)度的增長(zhǎng)而減小。 23 離散平穩(wěn)有記憶信源的信息熵 二 離散平穩(wěn)有記憶信源的信息熵 1 二維離散平穩(wěn)有記憶信源的信息熵 21 XXX ?)()()l o g ()()(l o g)()}()(l o g {)(),(l o g)()(l o g)()(12111 12 11 12122112111 121212111 1221211212XXHXHaaaapapaapaapapaapaapaapppXXHririririiiiiiiiririiiiiiririiiiiriii???????????? ? ? ?? ?? ??? ? ? ?? ?? ????24 離散平穩(wěn)有記憶信源的信息熵 (無記憶 )與 (有記憶 )的比較 表明： 二維離散平穩(wěn)有記憶信源每發(fā)一條消息提供的平均 信息量，不會(huì)超過二維離散平穩(wěn)無記憶信源每發(fā)一條消息 提供的平均信息量。 離散平穩(wěn)有記憶信源的信息熵 NXXXX ?21?20 N維平穩(wěn)有記憶信源 有平穩(wěn)的特性 設(shè) Q和 T是任意兩個(gè)時(shí)刻，即有 所以，有 離散平穩(wěn)有記憶信源的信息熵 NXXXX ?21?)()()()()()(2121212111NTTTNQTTTQXXXPXXXPXXPXXPXPXP??????????????????)()()()()()()()()()()()(1112111121121!2111????????????????????????
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1