【正文】 極值性 H(X/Y) ≤ H(X)； H(Y/X) ≤ H(Y) H(XY) ≤ H(X) + H(Y) 續(xù) 非負性 ? 離散 信源熵的值不會小于 0，即 H(X) ≥ 0。 對稱性 ? 當變量 P的順序任意互換后， H(X)的值不變，即 H(P1 , P2 , P3 …. P n ) = H(P2 , P3 , P4 …. P n , P1 ) ? 該性質(zhì)表明：信源熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，即與信源的總體統(tǒng)計特性有關(guān)。 續(xù) 確定性 ? 只要信源符號集中有一個符號出現(xiàn)的概率為 1，那么信源熵就等于零。 H(XY) = H(X) + H(Y) ? 強可加性 兩個互相關(guān)聯(lián)的 信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上 X已知條件下信源 Y的條件熵。 ? H(X) ≤ H(1/m, 1/m…..1/m) = log m 條件熵小于無條件熵 ? H(X/Y) ≤ H(X)； H(Y/X) ≤ H(Y) ? 上式說明：條件熵不可能大于信源熵，因為信宿收到符號集Y后，對信源 X的平均不確定度下降了，它所能提供的信息量也必然下降，只有當 X與 Y相互獨立時（即 Y沒有提供有關(guān)X的任何信息），有 H(X/Y) ＝ H(X)； H(Y/X) ＝ H(Y) 聯(lián)合熵與信源熵滿足以下不等式 ? H(XY) ≤ H(X) + H(Y)；僅當 X與 Y相互獨立時等號成立。 ? 很多實際信源輸出的消息是時間或空間上的一系列符號。輸出的消息是一串“ 0”或“ 1”的序列。 ? 將信源輸出的序列看成是一組一組發(fā)出的 ? 二元無記憶信源的 N次擴展信源（每 N個二元數(shù)字一組） 推廣 ? 離散無記憶信源的數(shù)學模型與最簡單的離散信源的數(shù)學模型基本相同，可用 【 (X)】 概率空間描述。 離散無記憶信源 X的信源空間 ? ? ?????????????qqpapapax . .. ,. .. ,,PX22111pq1ii ???描述 ? 該信源輸出的消息是一組長度為 N的符號序列，可用 N維隨機矢量來描述，寫成： X = (X1 X2 X3 … XN)。 ， N）都是隨機變量，且各個分量之間統(tǒng)計獨立（即無記憶、相互獨立），取于同一信源。 離散無記憶信源 X的 N次擴展信源 ? 由上述隨機矢量 X所組成的新信源稱為“離散無記憶信源 X的 N次擴展信源”，或者“ N重符號序列離散無記憶信源”。 根據(jù)該信源的無記憶性（彼此統(tǒng)計獨立） 若 αi = (ai1, ai2, ai3 … aiN) 則 P(αi ) = P (ai1 ai2 ai3 … aiN) = P (ai1) P (ai2) … P (aiN) = Pi1 Pi2 … PiN 其中 i1, i2 … iN= 1, 2 … q 擴展信源的信息熵 ? 根據(jù)信息熵的定義， N次擴展信源的熵： H(X) = H(XN) = － ∑P(X) logP(X) ? ? ? ?iqiiXPPNN?? lo g1??????? P(X) logP(X) 例題 【 例 】 有一離散無記憶信源： 求這個離散無記憶信源的二次擴展信源的序列熵（ N = 2）。 （根據(jù)熵的可加性） ? 因此信源 XN每個輸出符號 含有的平均自信息量為 NH（ X）。 ? 如果 X1和 X2都取自統(tǒng)一概率空間 X，且是平穩(wěn)的，則有： H(X1X2) ≤ 2H(X) 僅當 X1X2統(tǒng)計獨立時，有 H(X1X2) = 2H(X) 離散有記憶信源的序列熵 一般情況下，離散信源的輸出是空間或時間的離散符號序列，而且在序列中符號之間是有依賴關(guān)系的，信源在 t = i時刻將要發(fā)出什么樣的符號取決于 兩個方面： ? 與信源在 t = i 時隨機變量 xi的取值的概率分布 P(xi)有關(guān)。一般若 t 不同則概率分布也不同，即 P(xi / xi1 xi2 …) ≠ P(x j / xj1 xj2 …) 以上所述的是一般隨機序列的情況，而它比較復雜，所以我們只討論 平穩(wěn)隨機序列 。 ? 如果各維聯(lián)合分布均與時間起點無關(guān)，即當 t = i， t = j，其中 i、 j為任意整數(shù)，且 i≠j時有： (1) P(Xi) = P(Xj) (2) P(Xi Xi+1) = P(Xj Xj+1) (3) P(Xi Xi+1 Xi+2) = P(Xj Xj+1 Xj+2) …… (N) P(Xi Xi+1 … Xi+N－ 1) = P(Xj Xj+1 … Xj +N－ 1) (N+1) P(Xi Xi+1 … Xi+N) = P(Xj Xj+1 … Xi+N) 續(xù) ? 如果上述等式均成立，那么我們說信源是 完全平穩(wěn)的 ，信源發(fā)出的序列也是完全平穩(wěn)的，這種 各維聯(lián)合分布均與時間起點無關(guān)的完全平穩(wěn)信源稱為“ 離散平穩(wěn)信源 ” 。 ? 如果滿足 (1)、 (2)，則該信源稱為“二維平穩(wěn)信源”，表示任何時刻信源發(fā)出的兩個符號的聯(lián)合概率分布完全相同。所以， N維離散平穩(wěn)有記憶信源X=X1X2…X N的 各維聯(lián)合概率都是平穩(wěn)的 。 二維離散平穩(wěn)信源及其信息熵 二維離散平穩(wěn)有記憶信源 二維離散平穩(wěn)有記憶信源 X=X1X2的信息熵（此處也叫序列熵、 聯(lián)合熵 ）： H(X) = H(X1X2) 有以下結(jié)論： ? H(X1X2) = H(X1) + H(X2 / X1) = H(X2) + H(X1 / X2) 信源的序列熵等于信源發(fā)出前一符號 X1的信息熵加上前一符號 X1已知時信源發(fā)出下一個符號 X2的條件熵。 ? ? ? ? ? ?ijqjiji aaPaaPaXXH l o g112 ?????續(xù) ? 前面一個符號有 q種選擇，對某一個 ai存在一個平均不確定性 H（ X2︱ X1=ai ） ? 對所有的 ai的可能值進行統(tǒng)計平均就得當前面一個符號已知時，再輸出后面一個符號的總的平均不確定性 ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?ijqiqjjiijijqiqjiiqiiaaPaaPaaPaaPaPaXXHaPXXHl o gl o g1 11 112112? ?? ??? ?? ????????例題 ? 某一二維離散平穩(wěn)信源 并設(shè)輸出的符號只與前一 個符號有關(guān)，可用聯(lián)合概率 P（ ai aj ）給出他們的關(guān)聯(lián)程度，如表所示。 ? ? ? ??? ???????????????? 31141943611210iiaPxPX 且計算結(jié)果 1 ? ? ? ? ? ? )/(54 og31符號比特??? ??iii aPaPXH? ? ? ? ? ? )/(8 7 o g313112 符號比特??? ? ?? ?iji jji aaPaaPXXH? ? ? ? ? ? )/( o g313121 兩個符號比特??? ? ?? ?jii jji aaPaaPXXH? ? ? ? ? ? )/( 兩個符號比特????? XXHXHXXH ，說明了符號之間有依賴性 ? ? ? ?XHXXH ?12計算結(jié)果 2 ? ? ? ? )/(2 0 212 符號比特?? XXHXH問題：在聯(lián)合熵和條件熵中到底哪一個值更能接近實際二維離散平穩(wěn)信源的熵？ ? ? ? ? ? ? )/( 兩個符號比特????? XXHXHXXH? ? ? ?XHXH ?2擴展 N維離散平穩(wěn)有記憶信源 存在一個 N維離散平穩(wěn)有記憶信源 X=X1X2…X N，且Xi∈ {x1x2…x q} 對于上述 N維離散平穩(wěn)有記憶信源 X，可以得出如下一些結(jié)論： X P（ x） ＝ x1 x2 … x q P(x1) P(x2) … P(x q) 離散平穩(wěn)信源性質(zhì) 聯(lián)合熵 /序列熵 H(X) = H(X1X2…X N) = H(X1) + H(X2 / X1) + H(X3 / X1X2) + … + H(X N / X1X2…X N1)。 ? 若進一步滿足平穩(wěn)性，則有 ∴ 。 1 2 NNH ( X X X )H ( )H ( )NN??XXH ( ) N H ( X )?XNH ( )H ( )N?XX續(xù) 離散平穩(wěn)信源 具有以下性質(zhì)： ? 條件熵 H(XN / X1X2…X N1)隨 N的增加而遞減，即： H(XN / X1X2…X N1) ≤ H(XN1 / X1X2…X N2) ≤ H(XN2 / X1X2…X N3) … ≤ H(X3 / X1X2) ≤ H(X2 / X1) ≤ H(X2) ＝ H(X1) 離散平穩(wěn)信源的極限熵 ? N給定時，平均符號熵 ≥條件熵：即 HN(X) ≥ H(XN / X1X2…X N1) ? 平均符號熵 HN(X)隨 N的增加而遞減 ? 存在，且： 我們稱 H∞為離散平穩(wěn)有記憶信源的 極限熵 或極限信息量，也稱為平穩(wěn)信源的熵率。 l im ( )NnH H X? ???1 2 1l im ( ) l im ( / )N N N NnnH H X H X X X X??? ? ? ???結(jié)論 ? 離散平穩(wěn)信源的極限熵等于有限記憶長度 m的條件熵。 ? ?? ?? ? ? ? ? ?mmmmm mm iiiiiii i iiimmNNNaaaPaaaPaaPXXXXHXXXXHH. . .l o g. . .. . .. . .. . .. . .lim11111 111 1 1211121???? ? ?? ? ?????????? 馬爾可夫信源 ? 在非平穩(wěn)離散信源中有一類特殊的信源。 m階馬爾可夫信源的定義 ? 若信源輸出的符號序列和信源所處的狀態(tài)滿足下列兩個條件： （ 1） 某一時刻信源符號的輸出只與此刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號都無關(guān)， 即 P(xl=ak|sl=Ei,xi1=ak1,sl1=Ej,… )=P(xl=ak|sl=Ei) 當具有時齊性時，有 P(xl=ak|sl=Ei)=P(ak|Ei)及 ? ? 1EaPAa ikk???（ 2） 信源某 l時刻所處的狀態(tài)由當前的輸出符號和前一時刻（ l1）信源的狀態(tài)唯一決定。 ?????Aa 1EE,E 0kji? 定義中 P(xl=ak|sl=Ei)是在第 l時刻，信源處于狀態(tài) Ei時，輸出符號 ak的概率。 ? 一般情況下，狀態(tài)轉(zhuǎn)移概率和已知狀態(tài)輸出符號的概率均與時刻 l有關(guān)，若這些概率與時刻 l無關(guān)時，即滿足 P(xl=ak|sl=Ei)=P(ak|Ei)和Pij=P(Ej|=Ei)時，則稱為時齊的或齊次的。 ? 狀態(tài)的轉(zhuǎn)移依賴于輸出的信源符號，因此任何時刻信源處在什么狀態(tài)完全由前一時刻的狀態(tài)和輸出的符號決定。 ? 這種信源的狀態(tài)序列在數(shù)學模型上可以作為時齊馬爾可夫鏈來處理，可以用馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖來描述信源。 信源滿足條件（ 1）和（ 2），所以是馬爾可夫信源 m階馬爾可夫信源的定義 若隨機變量序列 X中的任一時刻第 m+1個隨機變量 Xm+1只依賴于它前面已發(fā)生的 m個隨機變量 X1…X m，而與更前面的隨