[理學]信息論-第3章多符號離散信源與信道(編輯修改稿)
2025-11-15 00:37 本頁面
【文章內(nèi)容簡介】 ririNiNiirii aaappN???NXXXX ?21?N維離散平穩(wěn)有記憶信源的概率空間是一個完備集。 23 離散平穩(wěn)有記憶信源的信息熵 二 離散平穩(wěn)有記憶信源的信息熵 1 二維離散平穩(wěn)有記憶信源的信息熵 21 XXX ?)()()l o g ()()(l o g)()}()(l o g {)(),(l o g)()(l o g)()(12111 12 11 12122112111 121212111 1221211212XXHXHaaaapapaapaapapaapaapaapppXXHririririiiiiiiiririiiiiiririiiiiriii???????????? ? ? ?? ?? ??? ? ? ?? ?? ????24 離散平穩(wěn)有記憶信源的信息熵 (無記憶 )與 (有記憶 )的比較 表明： 二維離散平穩(wěn)有記憶信源每發(fā)一條消息提供的平均 信息量，不會超過二維離散平穩(wěn)無記憶信源每發(fā)一條消息 提供的平均信息量。 之間的統(tǒng)計聯(lián)系，即有記憶性，減少了二維離散 平穩(wěn)有記憶信源每發(fā)一條消息提供的平均信息量。 212 XXX ? 21 XXX ?)()()()()()()()()()()()(2121221212121212XXHXHXXHXHXXHXHXXHXHXHXHXXHXH??????????????21, XX25 離散平穩(wěn)有記憶信源的信息熵 2 N維平穩(wěn)有記憶信源的信息熵 NXXXX ?21?)()()()()(l o g)()(l o g)()(l o g)()(l o g)()}()()(l o g {)()(l o g)()(l o g)()()(1212131211111 12 12121311 12 1211211 12 121111 12 1211112111 12 1212111 12 121121??? ? ?? ? ?? ? ?? ? ??? ? ?? ? ???????????????????? ? ?? ? ?? ? ?? ? ?? ? ?? ? ??NNiNiiNriririNiNiiiiiriririNiNiiiiriririNiNiiiriririNiNiiiNiiNiiiriririNiNiiiNiiriririNiNiiriiiNXXXXHXXXHXXHXHaaapaaapaaapaaapaapaaapapaaapaaapaapapaaapaaapaaapppXXXHXHN???????????????????? ??26 離散平穩(wěn)有記憶信源的信息熵 幾個結(jié)論 表明： 離散平穩(wěn)有記憶信源每發(fā)一個符號所提供的信息量， 隨記憶長度的增長而減小。記憶長度越長，在某時刻發(fā)符 號之前的關(guān)于這個符號的預備知識越多，這時刻發(fā)符號的不 確定性越小，提供的平均信息量也就小。 )()()()(1321212211121???????kkkkkkkkXXXXHXXXXHXXXXHXXXXH????)()()()(12132211121XHXXXHXXXXHXXXXH NNNN???? ??????)()()()()(112132121NNNNNNNNNNXHXXHXXXHXXXXHXXXXH?????????????（ 1） （ 2） （ 3） （ 4） 27 離散平穩(wěn)有記憶信源的信息熵 三 平均符號熵 定義 對離散平穩(wěn)有記憶信源 X來說，因為有記憶，所以在不 同時刻所發(fā)符號提供的平均信息量是不同的。 平均符號熵成為評估 N維離散平穩(wěn)有記憶信源，每發(fā)一 個符號提供的平均信息量，也就是提供信息能力的一個衡 量標準。 NXXXHXXXHXH NNNN)()()( 2121?? ??28 離散平穩(wěn)有記憶信源的極限熵 極限熵 （極限信息熵） 當信源符號序列長度趨于無窮時 )(1lim)(lim)( 21 NNNNXXXHNXHXH ????????有 )()()()(0 21 XHXHXHXH NNN ????? ?? ?結(jié)論 1. 平均符號熵 HN(X)是記憶長度的 N的非遞增函數(shù)； 2. 平均符號熵 HN(X)的極限，即極限熵值存在。 29 離散平穩(wěn)有記憶信源的極限熵 結(jié)論 )(lim)(lim 121 ?????? ?? NNNNN XXXXHXHH ?說明 1 極限熵的計算轉(zhuǎn)化為條件熵的極限值； 2 實際計算困難： 需要測定 X的無限維條件概率和聯(lián)合概率。 30 N次擴展信源熵的 性質(zhì) ? ?1 2 1|NNH X X X X ?? ? ? ?1 2 1|N N NH X H X X X X ??? ?NHX)(lim)( XHXH NN ??? ?)|(lim)(lim)( 121 ?????? ?? NNNNN XXXXHXHXH ?(4) 極限熵 存在，且 (1) 條件熵 隨 N的增加是非遞增的 (2) (3) 平均符號熵 隨 N的增加是非遞增的。 離散平穩(wěn)有記憶信源的極限熵 31 馬爾可夫信源的極限熵 馬爾可夫過程 有限狀態(tài)馬爾可夫鏈 馬爾可夫信源 32 馬爾可夫過程 1. 定義： 設(shè) {X(t), t?T}是隨機過程，任取 0??t1t2 tn，ti?T,i=1,2, n ,若 t1,t2, ,tn時刻 , 取值分別為x1,x2, ,xn， 并有 ? ?? ?knknnnnnnnnnnnnntxtxtxtxPtxtxtxtxP??????????? ,。,。,|,。,。,|,2211112211??則稱 {X(t)}為 k階馬爾可夫過程。 注： ? k=0時，稱為 零階馬爾可夫過程 。 ? 零階馬爾可夫過程 =白
教學課件相關(guān)推薦
鄂ICP備17016276號-1