[理學(xué)]信息論-第3章多符號(hào)離散信源與信道-資料下載頁(yè)
2024-10-19 00:37本頁(yè)面
【正文】 量 只依賴(lài)于它前面的已經(jīng)發(fā)生的 m個(gè)隨機(jī)變量 ，而與更前面的隨機(jī)變量無(wú)關(guān)，則 稱(chēng)這種信源為 m階 馬爾可夫信源 （簡(jiǎn)寫(xiě) m階 M信源）。 馬爾可夫信源 ??? 2121 ??? mmm XXXXXX1?mXmXXX ?21注： m階 M信源，狀態(tài) 只與前一時(shí)刻的狀態(tài) 有關(guān)。 iSjS48 馬爾可夫信源 m階馬爾可夫信源的狀態(tài)空間為 ? ?12|mqijS S Sp S S??????? ?1 1 2|mmi i i ip a a a a?? ? ? ?1 2 1 12, 1 , 2 , , , , , , , , , ,mmm i i i i qi j q a a a a a a a???其中， p(Sj|Si)由信源符號(hào)條件概率 確定， 49 狀態(tài)一步轉(zhuǎn)移矩陣 [P]每行元素處于 [0,1],且每行元素之和等于 1。 馬爾可夫信源 ? ????????????????)()()()()()()()()(212222111211mmmmmmrrrrrrSSpSSpSSpSSpSSpSSpSSpSSpSSpP???????為狀態(tài)一步轉(zhuǎn)移概率。其中為 )( ij SSp50 m階 M信源狀態(tài) n步轉(zhuǎn)移矩陣 [P(n)] 馬爾可夫信源 ][]][[)]([ PPPnP ??nP][?說(shuō)明： 狀態(tài)一步轉(zhuǎn)移概率 是描述 m階 M信源有 依賴(lài)地發(fā)出消息（狀態(tài)）的統(tǒng)計(jì)特性的最本質(zhì)的參數(shù)。 )( ij SSp51 馬爾可夫信源 3 信源的極限熵 當(dāng)時(shí)間足夠長(zhǎng)時(shí)， 遍歷的 m階 馬爾可夫信源 可視為 平穩(wěn)信源 rkNkmkmkkaaaaaaaaaaaapaaaapaaaaaaprkNkmkmkkkmkkkmkNmkNmkNkNkNkmkmkkkN,2,1,1,2,1},{,,)()()(21121211111121???????????????????????52 ? ?1 2 1l i m |NNNH H X X X X????? 馬爾可夫信源 ? ?? ? ?? ? ?? ?? ???? ? ??? ? ????? ????????????m mrirjijijikmkkkmkmkkkmrkrkmrkmkmkkrkrkmrkmkmkkkmkmkkrkrkNkNkkkNkNkkNSSpSSpSpaaaapaaaapaaapaaaapaaapaaaapaaap1 121121111 1 112111 1 1121112111 112121)(l o g)()()(l o g)()()(l o g)(})(l o g)({lim??????????說(shuō)明 :m階 M信源的 Markov性，使求解離散平穩(wěn)有記憶 信源的極限熵的無(wú)限問(wèn)題，轉(zhuǎn)化成有限問(wèn)題。 53 極限熵中的狀態(tài)概率 應(yīng)是 m 階 M信源到達(dá)穩(wěn)定時(shí)出現(xiàn)狀態(tài) 的概率， 把這種概率稱(chēng)為 狀態(tài)極限概率 。 若對(duì)于有限平穩(wěn)的 m階 M信源，由 m個(gè)符號(hào) 組成的消息（狀態(tài)） 和 存在一個(gè)正整數(shù) ，且經(jīng)過(guò) 步，從 狀態(tài) 轉(zhuǎn)移到狀態(tài) 的 步轉(zhuǎn)移概率 則這種 m階 M信源具有各態(tài)歷經(jīng)性。 馬爾可夫信源 ),2,1)(( mi riSp ??)( iSp)( 21 imiii aaaS ?? )( 21 jmjjj aaaS ??10 ?n 0n0niS jS0)( 0 ?np ij54 各態(tài)歷經(jīng)定理 對(duì)各態(tài)歷經(jīng)的 m階 M信源來(lái)說(shuō)，對(duì)每個(gè) 都存在不依賴(lài)于起始狀態(tài) 的狀 態(tài)極限概率 而且狀態(tài)極限概率 是在約束件 的約束下，方程組 的唯一解。 馬爾可夫信源 mrj ,2,1 ??),2,1( mi riS ??),2,1()()(l i m mjjijn rjpSpnp ??????),2,1()( mjj rjpSp ???1)(),2,1(0)(11?????????mm rjjrjjmjjpSprjpSp ?? ?? ???m mririijijijij ppppSpSp1 1)()( 或55 信源的剩余度與結(jié)構(gòu)信息 (1)平穩(wěn)信源 條件熵 H(XN|X1X2? XN1)隨 N的增加是非遞增的 ? ? ? ?? ?? ?? ?1 2 1 1 1 2 22 1 2 3211||||N N N NNNH X X X X H X X X XH X X X XH X XHX? ? ????????56 (4) 信源輸出符號(hào)間的依賴(lài)關(guān)系使信源熵減小，這就是信源的相關(guān)性 ? 相關(guān)長(zhǎng)度越長(zhǎng)，信源熵越小，趨于極限熵 H? ? 相關(guān)長(zhǎng)度越短，信源熵越大，趨于極限熵 H0 0 1 2 1NNH H H H H H??? ? ? ? ? ?(2) 等概分布時(shí)，平穩(wěn)信源熵最大， Hmax=H0=logq (3) 信源的剩余度與結(jié)構(gòu)信息 57 01 HR H ???當(dāng)信源等概率分布時(shí)， H0=Hmax=logq (1)信源剩余度定義 為 其中， H?為信源 實(shí)際熵 H0=Hmax為信源 最大熵 信源的剩余度與結(jié)構(gòu)信息 58 (2)信源實(shí)際熵與具有同樣符號(hào)集的最大熵的比值稱(chēng)為 熵的相對(duì)率 0HH? ??1R ???所以 , 剩余度 為 信源的剩余度與結(jié)構(gòu)信息 59 ?? ?? HHI 00?0I結(jié)構(gòu)信息是語(yǔ)言本身固有的習(xí)慣結(jié)構(gòu)決定的， 是不需傳遞或存儲(chǔ)的；要傳遞或存儲(chǔ)的那一 部分信息是極限熵，因此由語(yǔ)法結(jié)構(gòu)規(guī)定不得 不用的符號(hào)應(yīng)該可能被大幅度壓縮。 稱(chēng) 為信息變差或結(jié)構(gòu)信息。 說(shuō)明： 信源的剩余度與結(jié)構(gòu)信息 60 信源剩余度表示信源可壓縮的程度 從通信有效性的角度，應(yīng)盡可能降低剩余度－－信源編碼的核心問(wèn)題 從通信可靠性的角度，應(yīng)增加或保留必要的、有用的剩余度－－信道編碼的核心問(wèn)題 信源的剩余度與結(jié)構(gòu)信息 61 Week 4 Homework P234 ， ,
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1