[理學(xué)]信息論-第3章多符號離散信源與信道(已修改)
2025-10-26 00:37 本頁面
【正文】 1 第 3章 多符號離散信源與信道 ? 內(nèi)容提要 離散平穩(wěn)信源的數(shù)學(xué)模型 離散平穩(wěn) 無記憶 信源的信息熵 離散平穩(wěn) 有記憶 信源的信息熵 離散平穩(wěn) 有記憶 信源的極限熵 馬爾可夫信源 的極限熵 信源的 剩余度 和 結(jié)構(gòu)信息 2 離散平穩(wěn)信源的數(shù)學(xué)模型 1. 基本概念 多符號離散信源： 由多個符號組成的時間（或空間）序列 才能代表一個完整的消息的信源，稱為多符號離散信源。 多符號離散信道： 相對于多符號離散信源來說，若信道的 輸入端輸入一個由多個信源符號組成的時間序列所代表的 消息，在信道的輸出端相應(yīng)以一定概率輸出一個由同樣個 數(shù)的符號組成的時間序列所代表的消息，這種信道稱為多 符號離散信道。 3 離散平穩(wěn)信源的數(shù)學(xué)模型 多符號離散信源的表示： 多符號離散信源可用隨機變量序列 Xk(k=1,2, …) 組成的時 間序列來表示，其中 Xk表示某一單位時間 k信源發(fā)出的符 號。 注： 多符號離散信源 可看成時刻 k(k=1,2, …) 的單符號離散信源 Xk(k=1,2, …) 的時間序列。 ?321 XXXX ?),2,1}(,{: 21 ?? ?? kaaaXX rk?321 XXXX ?4 離散平穩(wěn)信源的數(shù)學(xué)模型 離散平穩(wěn)信源 一般情況下，信源 X的概率分布與時間 k(k=1,2, …) 有關(guān) 設(shè) Q,T為兩個任意時刻，若信源 X的分布與時間無關(guān)，即有 則把信源 X稱為 N+1維離散平穩(wěn)信源。 ),2,1()}(,),(),({)( 21 ?? ?? kapapapXP rkkkk)()( TQ XPXP ?)()( 11 ?? ? TT XXPXXp?)()( 11 NTTTNQ XXXPXXXp ???? ? ??5 離散平穩(wěn)信源的數(shù)學(xué)模型 說明 （符號集 ） 表明 N+1維離散平穩(wěn)信源的 1至 N+1維聯(lián)合概率分布不隨時間的 推移而變化，對時間的起點來說是平穩(wěn)的。 ),2,1()()()(.1 riapaXPaXP iiTiQ ??????},{: 21 raaaX ?),2,1,()(),(),(.2 11rjiaapaXaXPaXaXP jijTiTjQiQ???????? ??其中riNiiaaaaaaaaapaXaXaXPaXaXaXPriNiiiNiiiNNTiTiTiNNQiQiQ,2,1,2,1},{),()(},{},{.321212122112211???????????????????????其中6 離散平穩(wěn)信源的數(shù)學(xué)模型 2. 數(shù)學(xué)模型 信源符號集 ， N維離散平穩(wěn)信源 ， },{: 21 raaaX ?},{ 2121 rN aaaXXXXX ?? ??消息維平穩(wěn)信源發(fā)出的一條表示令 Naaa iNiii ),( 21 ???時刻的符號在時刻分別表示 Naaa iiNii ,2,1, 21 ?? ?種不同的消息。共可以發(fā)出維平穩(wěn)信源 NN rXXXXN ?21?1)(1)()(0121 ???? ??NriiiNiii paaapp ?? ?7 離散平穩(wěn)信源的數(shù)學(xué)模型 數(shù)學(xué)模型 信源空間 其中 ?????????????)()()( 2121NNrrpppPX????????)( 21 iNiii aaa ???},{, 2121 riNii aaaaaa ?? ?riNii ,2,1,2,1 ?? ?Nri ,2,1 ??1)()(0 21 ??? iNiii aaapp ?? ),2,1( Nri ??1)()(11 12 1211?? ? ? ??? ? ??riririNiNiirii aaappN???8 離散平穩(wěn)信源的數(shù)學(xué)模型 推廣 不妨假定：多符號離散平穩(wěn)信源發(fā)出的所有信息都由 N 個符號組成；多符號離散平穩(wěn)信源發(fā)出的長度為 N的不同 消息間相互統(tǒng)計獨立、互不相關(guān)，因此可將 N維離散穩(wěn)定 信源在時間上延長到無窮序列 中，每 N個隨機變量看作一組，每組代表一個完整的消息。 N維離散平穩(wěn)信源 稱為信源 的 N次擴展 。 ????? NNNNNNNNN XXXXXXXXXX ??????? 222122121NXXXX ?21? },{: 21 raaaX ?9 一 . 離散平穩(wěn)無記憶信源概念 定義 設(shè)信源 X 輸出符號集 ， r為信源發(fā)出的消息符號個數(shù)，每個符號發(fā)生的概率為 。 這些消息符號彼此互不相關(guān)，且 離散平穩(wěn)無記憶信源的信息熵 則 X 稱為離散無記憶信源。 },{ 21 raaa ?)( iap??????riii apriap11)(),2,1(1)(0 ?10 若 N維離散平穩(wěn)信源 中，各時刻 隨機變量 之間相互統(tǒng)計獨立，則 我們將 稱為 N維離散平穩(wěn)無記憶信源 。 對 N維離散平穩(wěn)無記憶信源 ，有 離散平穩(wěn)無記憶信源的信息熵 NXXXX ?21?NXXXX ?21?),2,1( NkX k ??NXXXX ?21?)()()()( 21 NXPXPXPXP ??11 離散平穩(wěn)無記憶信源的信息熵 N維離散平穩(wěn)無記憶信源 信源空間 其中 ?????????????)()()( 2121NNrrpppPX????????)( 21 iNiii aaa ???},{, 2121 riNii aaaaaa ?? ?riNii ,2,1,2,1 ?? ? Nri ,2,1 ??1)()()()()(0 2121 ???? iNiiiNiii apapapaaapp ???1)()(11 12 1211?? ? ? ??? ? ??riririNiNiirii aaapp
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1