【文章內(nèi)容簡介】 而當(dāng) i≠n時 pij=0，所以 jnjn qpp ?), . . . ,1(/ mjpqp njnj ??), . . . , . . . ,( 11211 mnmn qqpppH ???), . . . ,(), . . . ,( 2121nmnnmnnn pqpqpqHppppH ??即得： 遞增性的推廣 ? 它表示 n個元素的信源熵可以遞推成 (n1)個二元信源的熵函數(shù)的加權(quán)和。這樣，可使 多元信源的熵函數(shù)的計算簡化成計算若干個二元信源的熵函數(shù) 。因此，熵函數(shù)的遞增性又可稱為遞推性。 ),(...),(),(11121232222212?????????????????????????nniinnniinnniiniiniiniiniiniippppHpppppHpppH),...,()(),(),...,(223221221221????????????? niinniiniinniiniinnppppppHpppHpppH極值性 (定理 ) ? 在離散信源情況下，信源各符號 等概率分布 時，熵值達(dá)到最大。 ? 性質(zhì)表明 等概率分布信源的平均不確定性為最大。 ? 這是一個很重要的結(jié)論，稱為 最大離散熵定理。 qqqqHPPPH q l o g)1,...,1,1(), . . . ,( 21 ??證明 ： 因為對數(shù)是 ∩ 型凸函數(shù)，滿足詹森不等式 E[log Y] ? log E[Y]，則有： qpppppppHiqiiqi iiq l og)1l og (1l og),...,(1121 ??? ???? 二進(jìn)制信源是離散信源的一個特例。 該信源符號只有二個，設(shè)為 “ 0”和 “ 1”。符號輸出的概率分別為 “ ?” 和 “ 1 ?”，即信源的概率空間為： H(X) = ?log? –(1?) log(1?) =H(?) ?????????????????? 110)( xpx即信息熵 H(x)是 ?的函數(shù)。 ?取值于 [0， 1]區(qū)間，可畫出熵函數(shù) H(?) 的曲線來，如右圖所示。 ? 熵函數(shù) H(P)是概率矢量 P＝ (p1， p2， … ， pq)的嚴(yán)格 ∩型凸函數(shù) (或稱上凸函數(shù) )。 ? 它表示：對任意概率矢量 P1＝ (p1,p2, … ,pq )和P2＝ (p’1,p’2, … ,p’q)，和任意的 0＜ ?＜ 1，有： H[? P1十 (1 ?)P2] ＞ ? H(P1)十 (1?)H(P2) ? 因為熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，其最大值存在。 上凸性 ? 當(dāng)離散平穩(wěn)無記憶信源發(fā)出固定長度的消息序列時，則得到原信源的 擴(kuò)展信源 。 ? 例如在電報系統(tǒng)中，若信源輸出的是二個二元數(shù)字組成的符號序列，此時可認(rèn)為是一個新的信源，它由四個符號（ 00， 01， 10， 11）組成，我們把該信源稱為 二元無記憶信源的二次擴(kuò)展信源 。 ? 如果把 N個二元數(shù)字組成一組，則信源等效成一個具有 2N個符號的新信源，把它稱為 二元無記信源的 N次擴(kuò)展信源 。 離散無記憶信源的擴(kuò)展信源 ? 一般情況下，對一個離散無記憶信源 X，其樣本空間為 {a1,a2, … ,aq} ，對它的輸出 消息序列 ，可用一組組長度為 N的序列來表示它。這時，它等效成一個 新信源 。 ? 新信源輸出的 符號 是 N維離散 隨機(jī)矢量 X =(X1，X2,…… ,XN)，其中每個分量 Xi (i＝ 1,2,… ,N)都是隨機(jī)變量，它們都取值于同一信源符號集，并且分量之間統(tǒng)計獨立，則由隨機(jī)矢量 X 組成的新信源稱為 離散無記憶信源 X的 N次擴(kuò)展信源。 單符號離散信源 X的數(shù)學(xué)模型： ? N次擴(kuò)展信源與單符號離散信源 比較 ：數(shù)學(xué)模型相同但輸出不是單個符號，而是一串 N個相互獨立的符號序列： X＝ (X1,X2,… , XN) ，聯(lián)合分布密度 P(X)=P(X1X2… XN) ? 把 X 等效為一個新信源，稱為 X的 N次擴(kuò)展信源，其數(shù)學(xué)模型 ： 1......)( 12121 ?????????????? ??qiiqq ppppaaaxpX),...,(,)(...)()(...)( 212121NNNiiiiqqiNaaappppX ????????????????????????111( ) ( . . . ) ( )N k kNNi i i i ikkP P a a P a p???? ? ???1( ) 1NqiiP ????因為是無記憶的 (彼此統(tǒng)計獨立 )則： 離散平穩(wěn)無記憶 N次擴(kuò)展信源的熵 H(X ) = H(XN) = NH(X) )(l o g)()(l o g)()()( iXiXN PpPpXHHNN???? ????? XXX)1l og...1l og1( l og)(...1l og)(2121 NNNN iiiXiiiiXi pppppppp ????? ?? ??其中 ： 12111l og...1l og)(iiiXiiXi pppppp NNN?? ??)(...1l o g111 22111XHppppqiiqiiiqiiNN?????????? ??????同理計算式中其余各項，得到： H(XN) = H(X)+H(X)+…… +H(X)= N H(X) 證： [例 ] 求如下離散無記憶信源的二次擴(kuò)展信源及其熵。 解 ：二次擴(kuò)展信源的概率空間為 X2的信源符號 ?1 ?2 ?3 ?4 ?5 ?6 ?7 ?8 ?9 對應(yīng)的符號序列 a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3 概率 P(?i) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16 )/( o g4141l o g4121l o g21)( S y mb o lB i tXH ?????921( ) ( ) l o g ( ) 3 ( / ) 2 ( )iiiH X P P B i t S y m b o l s H X???? ? ? ??1,414121)(31321???????????????? ??iipaaaxpX一、離散平穩(wěn)信源的數(shù)學(xué)定義 ? 在一般情況下 ，信源在 t = i 時刻將要發(fā)出什么樣的符號決定于兩方面： (1) 信源在 t = i 時刻隨機(jī)變量 Xi 取值的概率分布 P(xi)。 [一般 P(xi) ? P(xj) ] (2) t= i 時刻以前信源發(fā)出的符號。 [即與條件概率 P(xi/xi1 xi2…) 有關(guān) ] ? 對 平穩(wěn)隨機(jī)序列 ，序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)，即信源發(fā)出符號序列的概率分布與時間起點無關(guān)。 聯(lián)合熵 ? 平穩(wěn)隨機(jī)序列的數(shù)學(xué)定義如下： ? 若當(dāng) t = i， t = j時 (i,j 是大于 1的任意整數(shù) )， P(xi)=P(xj )=P(x)，則序列是一維平穩(wěn)的。具有這樣性質(zhì)的信源稱為 一維平穩(wěn)信源 。 ? 除上述條件外，如果聯(lián)合概率分布 P(xixi+1)也與時間起點無關(guān)，即 P(xixi+1)=P(xjxj+1) (i,j為任意整數(shù)且 i?j)，則信源稱為 二維平穩(wěn)信源 。它表示任何時刻信源發(fā)出二個符號的聯(lián)合概率分布也完全相等。 ? 如果各維聯(lián)合概率分布均與時間起點無關(guān)，那么，信源是完全平穩(wěn)的。這種各維聯(lián)合概率分布均與時間起點無關(guān)的完全平穩(wěn)信源稱為 離散平穩(wěn)信源 。這時有： P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) = P(xj xj+1 … xi+N ) 由于 聯(lián)合概率與條件概率 有以下關(guān)系： ? 結(jié)論： 對于平穩(wěn)信源來說，其條件概率均與時間起點無關(guān)，只與關(guān)聯(lián)長度 N有關(guān)。 即平穩(wěn)信源發(fā)出的平穩(wěn)隨機(jī)序列前后的依賴關(guān)系與時間起點無關(guān) 。 從 平穩(wěn)性 可得： )|()|()()...()|()|()()()|()()(111211212111??????????????????????????????NiiiNiiiiNiiiiiiiiiiiiiiiiiixxxxPxxPxPxxxxPxxxPxxPxPxxxPxxPxPxxP)|()|()|()|()|()|(1111121211?????????????????????????????NjjjNjNiiiNijjjiiijjiixxxxPxxxxPxxxPxxxPxxPxxP? 對平穩(wěn)信源 如果 某時刻發(fā)出什么符號只與前面發(fā)出的 N個符號有關(guān) ，那么 任何時刻 它們的依賴關(guān)系都是一樣的。即： ).../().../().../(1101111???????????NNNjjjNjNiiiNixxxxPxxxxPxxxxP二、二維平穩(wěn)信源及其信息熵 最簡單的平穩(wěn)信源就是 二維平穩(wěn)信源 。它 滿足一維和二維概率分布與時間起點無關(guān)。 同時已知：連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為 P(ai aj) (i, j = 1,…,q ) ，且： ?????????????)(......)()()(......)( 321321qqaPaPaPaPaaaaxPX 1)(1???qiiaP? 設(shè)有一個離散一維平穩(wěn)信源，其概率空間為： 1)|(), . . . ,2,1,()()()|(1)(11 1?????? ??? ?qjijijiijqiqjjiaaPqjiaPaaPaaPaaP? 對離