【正文】 有關(guān)，對于時齊、遍歷的馬爾可夫鏈，其極限概率存在，即： ? ? ? ?NNNN XXXHNXH ?211limlim ???? ?? ? ? ? ? ? ? ?iJiiiJiiNN EXHEqEsXHEq ??????????11l i m? ? ? ?????? ??NLiLNi EsPNEq11lim? ? ? ? ? ?iNjNjiNN EQPEsEsP i ???? ???? l i ml i m 1條件 ? 并非所有的 m階 M信源都存在狀態(tài)極限概率。 ? 這串狀態(tài)序列是時齊的馬爾可夫鏈，其在任何時刻 l，狀態(tài)之間的轉(zhuǎn)移可由一步轉(zhuǎn)移概率確定。 續(xù) ? 二元信源發(fā)出的一串二元序列就可變換成狀態(tài)序列。 續(xù) ? 根據(jù)給定的條件概率，可以求得狀態(tài)之間的轉(zhuǎn)移概率（一步轉(zhuǎn)移概率） P（ E1︱ E1） = P（ E4︱ E4） = P（ E2︱ E1） = P（ E3︱ E4） = P（ E3︱ E2） = P（ E2︱ E3） = P（ E4︱ E2） = P（ E1︱ E3） = 除此以外，其他的狀態(tài)轉(zhuǎn)移概率為零。由于信源符號集合 X＝ {x1, x2, …, x q}共有 q個符號，因此信源的狀態(tài)共有 qm個，信源輸出依賴長度為 m+1的隨機序列就可轉(zhuǎn)換成對應(yīng)的狀態(tài)隨機序列。 P(xkN|xk1xk2…x k(N－ 1)) = P(xkN|xk(N－ m) xk(N－ m+1) …x k(N－ 1)) （ m階 M信源） = P(xk(m+1)|xk1xk2 …x km) 其中： k1, k2, … , k m, … , k N = 1, 2, …, q m階馬爾可夫信源 ? 對 m階 M信源的數(shù)學描述為： 當 m=1時，任何時刻信源符號發(fā)出的概率只與前面一個符號有關(guān)，則稱為一階馬爾可夫信源。 見例 ? 例題 a3=1/4 a1=1/4 a3=1/2 a2=1/2 a3=1/4 a2=1/4 a1=1/2 E1 E2 E3 E4 E5 a2=3/4 a1=1 a2=1/4 a3=1/2 ? P(a1︱ E1)=1/2, P(a2︱ E2)=1/2 ? P(a1︱ E5)=1/4, P(a2︱ E1)=1/4 ? P(a3︱ E2)=1/2, P(a2︱ E5)=1/4 ? P(a3︱ E1)=1/4, P(a2︱ E3)=3/4 ? P(a3︱ E5)=1/2, P(a1︱ E4)=1 ? P(a3︱ E3)=1/4,其他 P(ak︱ Ei)=0 ? 可見，滿足 （ i=1,2,3,4,5） ? ? 131???kik EaP續(xù) ? 圖中可得： 滿足條件（ 2） ? ?? ?? ?? ??????????????????????????????. . . . . .01101132112211111112EsaxEsPEsaxEsPEsaxEsPEsaxEsPllllllllllll根據(jù)已知可得： ? 狀態(tài)的一步轉(zhuǎn)移概率 P（ E1︱ E1） =1/2 ， P（ E2︱ E2） =1/2 P（ E3︱ E3） =1/4， P（ E2︱ E1） =1/4 P（ E3︱ E2） =1/2， P（ E5︱ E4） =1 P（ E4︱ E1） =1/4， P（ E2︱ E3） =3/4 P（ E5︱ E5） =1/4， P（ Ej︱ Ei） =0 P（ E4︱ E5） = P（ a2︱ E5)+P（ E3︱ E5） = 190。又因 條件概率 P(ak|Ei)已給定，所以狀態(tài)之間的轉(zhuǎn)移有一定的概率分布，并可求得狀態(tài)的一步轉(zhuǎn)移概率 P(Ej|Ei)。 ? 條件（ 2）表明，若信源處于某一狀態(tài) Ei，當它輸出一個符號后，所處的狀態(tài)就變了，一定從狀態(tài) Ei轉(zhuǎn)移到另一狀態(tài)。 ? Pij(l)=P(sl=Ej|sl1=Ei)是假設(shè)第 (l1)時刻信源處于 Ei狀態(tài)，在下一時刻狀態(tài)轉(zhuǎn)移到 Ej的狀態(tài)轉(zhuǎn)移概率。 即： P(sl=Ej|xl=ak sl1=Ei)= 則此信源稱為 馬爾可夫信源 。這類信源輸出的符號序列中符號之間的依賴關(guān)系是有限的，它滿足馬爾可夫鏈的性質(zhì)，因此可用馬爾可夫鏈來處理。 ? 對于有限記憶長度的離散平穩(wěn)信源可用有限記憶長度的條件熵對離散平穩(wěn)信源進行信息測度。 ? H0(X) ≥ H1(X) ≥ H2(X) ≥ … ≥ H ∞(X) 其中： H0(X)為等概率無記憶信源的單個符號的熵； H1(X)為一般（不等概率）無記憶信源的單個符號的熵； … 依次類推。無記憶信源是有記憶信源的一種特例。 N長的信源符號序列中平均每個信源符號所攜帶的信息量為平均符號熵： ? 若信源退化為無記憶時，有 H(X) = H(X1) + H(X2) + … + H(XN) 。 可以計算得出聯(lián)合熵、條件熵、平均符號熵。 ? H(X1) ≥ H(X1 / X2)； H(X2) ≥ H(X2 / X1) 條件熵小于無條件熵 離散二維平穩(wěn)信源 ? 近似等效為新的離散無記憶信源 [X1X2] ? 根據(jù)定義可以求出信息熵 ? ? ? ? ? ? ? ?? ? 1,21 112111121???????????????? ?? ??qiqjiiijijiqqqqaaPaaPaPaaPaaaaaaaaxxPXX ?聯(lián)合熵 ? ? ? ? ? ?? ?? ???qiqjjiji aaPaaPXXH1 121 l o g 表示原來信源 X輸出任意一對可能的消息的共熵，可用 1/2H(X1X2)作為二維離散平穩(wěn)信源 X的信息熵的近似值 條件熵 ? 符號之間有依賴性，可以求得已知前面一個符號 X1=ai時，信源輸出下一個符號的平均不確定性 ? 已知前面符號為 X1=ai時，信源再輸出一個符號的平均不確定性應(yīng)是對全部可能的符號 aj的不確定性求統(tǒng)計平均。 續(xù) 對于 N維離散平穩(wěn)有記憶信源，我們還得到： P(Xi) = P(Xj) P(Xi+1 / Xi ) = P(Xj+1 / Xj) P(Xi+2 / Xi Xi+1 ) = P(Xj+2 / Xj Xj+1 ) …… P(Xi+N / Xi Xi+1 … Xi+N1) = P(Xj+N / Xj Xj+1…. Xj+N1 ) 上面一系列等式表明： N維離散平穩(wěn)有記憶信源X=X1X2…X N的各維條件概率也是平穩(wěn)的。 ? 如果滿足 (1)、 (2) … (N) ，則該信源稱為“ N維離散平穩(wěn)有記憶信源 ”。 ? 如果僅滿足 (1)，則該信源稱為“一維平穩(wěn)信源”，表示無論在什么時刻信源均按 P(X)的概率分布發(fā)出符號Xi。 ? 平穩(wěn)隨機序列就是 序列的 統(tǒng)計特性 與時間無關(guān) ，即信源所發(fā)出符號 序列的 概率分布 與時間起點無關(guān) 。一般若 t 不同則概率分布也不同，即 P(xi) ≠ P(xj) ? 與 t = i 時刻以前信源發(fā)出的符號有關(guān)，即與條件概率 P(xi / xi1 xi2 …) 有關(guān)。 i?信源的序列熵可表示為： H(X) = H(XN) = N H(X) 平均每個符號的熵（平均符號熵） HN(X) = H(X) / N = N H(X) / N = H(X) ? 當前后符號無依賴關(guān)系（無記憶）時，有以下推論： ? H(X1X2) = H(X1) + H(X2) ； ? H(X1 / X2) = H(X1) ； ? H(X2 / X1) = H(X2)。 ? ? ?????????????413412211, aaaXPX ???311iip分析 ? 擴展信源的每個符號是信源 的輸出長度為 2的符號序列 ? 二次擴展信源共有 9個不同的符號（信源有 3個不同的符號，所以信源中每兩個符號組成的不同排列共有 32=9種） ? 無記憶信源滿足 X? ? ? ?3,2,1, 2121 ??? iippP iii? X2信源的符號 對應(yīng)的由兩個ai組成的符號序列 概率 p（ ） 1? 2? 3? 4? 5? 6? 7? 8? 9?11?? 21?? 31?? 12?? 22?? 32?? 13?? 23?? 33??i? 41 81 81 81 161 161 16116181離散無記憶信源二次擴展的信源概率空間 解答 ? ? ? ? ? ?iii PPXH ?? l o g912 ????H（ X） = 代入可得： ? ? 32 ?XH發(fā)現(xiàn) H（ X） = ? ?32 ?XH? ?XH? ?XHH（ X） =2 = 結(jié)論 ? 可以證明：離散無記憶信源 X的 N次擴展信源的熵等于離散信源 X的熵的 N倍， （見書 P42頁） ? 因此，信源的序列熵可表示為： H(X) = H(XN) = N H(X) 說明 ? 已知每個信源符號 ai含有的平均自信息量為 H（ X）， N個 ai組成的平穩(wěn)無記憶序列平均含有的自信息量就為 NH（ X）。 ? 我們用 N重概率空間來描述離散無記憶信源 X的 N次擴展信源，一般記為 XN ? 信源 X的 N次擴展信源 XN是具有 qN個符號序列的離散信源，其 N重概率空間為： N 1212XP ( ) ( ) ( )PNNqqp p p? ? ?? ? ????????????????? ?? ??X11Nqiip???新信源（擴展信源） 其中每個 αi對應(yīng)于一個由 N個 ai組成的序列。 ? 隨機矢量的聯(lián)合概率分布等于隨機矢量中各個隨機變量的概率乘積。 ? 其中序列中每個分量 Xi（ i=1， 2， ? 但是離散無記憶信源輸出的消息是一串符號序列（用隨機矢量描述）。 研究 ? 101001110001100000101000000 ? 例如電報系統(tǒng)，發(fā)出的是一串有、無脈沖的信號（有脈沖用“ 1”表示，無脈沖用“ 0”表示），這個電報系統(tǒng)就是二元信源。 離散序列信源的熵 實際情況 ? 最簡單的離散信源每次輸出的只是單個符號的消息。 H(XY) = H(X) + H(Y/X) 續(xù) 極值性 ? 當且僅當離散信源的各個符號以等概率出現(xiàn)時，熵最大。 ? H(1 , 0 ) = H(1 , 0 , 0 ) = H(1 , 0 , 0 ….0 ) = 0 ? 確知事件，不存在不確定度，則 H(X ) = 0 可加性 ? 兩個統(tǒng)計獨立的 信源 X和 Y的聯(lián)合信源的熵等于這兩個信源的獨立熵之和。 ? 如果兩個信源的總體統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么兩個信源就是相同的。 ? 只有當隨機變量是一個確知量 （ P(xi) = 1） 時等號才成立。又試求乙地出現(xiàn)這兩種極端情況所提供的平均信息量。另一種是晴、陰、小雨和大雨出現(xiàn)的概率都相等，為 1/4。試求兩地天氣預(yù)報各自提供的平均信息量。 分析 這種測量方法每次只能獲得 1比特的信息量，所以說至少要測量 3次才能完全消除不確定性 課本 29頁 【 例 】 設(shè)某甲地的天氣預(yù)報為：晴（ 4/8）、陰（ 2/8）、大雨（ 1/8）和小雨（ 1/8）。 課本 29頁（續(xù)例題 ） 分析： 此時 H（ X）正好表示在獲知哪個燈泡已損壞的情況前，關(guān)于哪