【正文】 jijniimjiiijnipppppp1111l o gl o g)(? ? ??? ? ?????ninimjijijimjiiji pppppp1 1 11l o gl o g???????? ???? ??????mjijijniiniii ppppp111l o gl o g),...,(),...,( 21121 imiimniinn pppHppppH ????)(XYH? H（ XY） = H（ X） + H（ Y/X） )/(), . . . ,(121 iniinn xXYHppppH ??? ??遞增性 若原信源 X 中 有一個符號分割成了 m個元素 (符號 )，這 m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則 新信源的熵增加 。 ), . . . , . . ,( 211211 mnmn qqqpppH ???),...,(),..,( 21121nmnnmnnnn pqpqpqHpppppH ???nmjjnii pqp ?? ???? 11,1證明可以從熵的定義或 強可加性 得出： ), . . . , . . . ,( 21211121111 nmnmnm ppppppppppH),...,(),...,( 21121 imiimniinn pppHppppH ????), . . . , . . . ,( 11211 nmnnnnmn pppppppH ????),...,(...),...,(),...,(),...,(21222212112111211nmnnmnmmmmimiimniipppHppppHppppHppppHp??????),...,( 21 nmnnmn pppHp?), . . . , . . . ,( 11211 nmnnnnmn pppppppH ????), . . . ,(), . . . ,( 2121 nmnnmnnn pppHppppH ??),...,...,( 11211 nmnnnnmn pppppppH ???), . . . ,(), . . . ,( 2121 nmnnmnnn pppHppppH ??jniiji qpp ???1因為 而當(dāng) i≠n時 pij=0，所以 jnjn qpp ?), . . . ,1(/ mjpqp njnj ??), . . . , . . . ,( 11211 mnmn qqpppH ???), . . . ,(), . . . ,( 2121nmnnmnnn pqpqpqHppppH ??即得： 遞增性的推廣 ? 它表示 n個元素的信源熵可以遞推成 (n1)個二元信源的熵函數(shù)的加權(quán)和。因此，熵函數(shù)的遞增性又可稱為遞推性。 ? 性質(zhì)表明 等概率分布信源的平均不確定性為最大。 qqqqHPPPH q l o g)1,...,1,1(), . . . ,( 21 ??證明 ： 因為對數(shù)是 ∩ 型凸函數(shù)，滿足詹森不等式 E[log Y] ? log E[Y]，則有： qpppppppHiqiiqi iiq l og)1l og (1l og),...,(1121 ??? ???? 二進制信源是離散信源的一個特例。符號輸出的概率分別為 “ ?” 和 “ 1 ?”，即信源的概率空間為： H(X) = ?log? –(1?) log(1?) =H(?) ?????????????????? 110)( xpx即信息熵 H(x)是 ?的函數(shù)。 ? 熵函數(shù) H(P)是概率矢量 P＝ (p1， p2， … ， pq)的嚴(yán)格 ∩型凸函數(shù) (或稱上凸函數(shù) )。 上凸性 ? 當(dāng)離散平穩(wěn)無記憶信源發(fā)出固定長度的消息序列時，則得到原信源的 擴展信源 。 ? 如果把 N個二元數(shù)字組成一組，則信源等效成一個具有 2N個符號的新信源，把它稱為 二元無記信源的 N次擴展信源 。這時，它等效成一個 新信源 。 單符號離散信源 X的數(shù)學(xué)模型： ? N次擴展信源與單符號離散信源 比較 ：數(shù)學(xué)模型相同但輸出不是單個符號，而是一串 N個相互獨立的符號序列： X＝ (X1,X2,… , XN) ，聯(lián)合分布密度 P(X)=P(X1X2… XN) ? 把 X 等效為一個新信源，稱為 X的 N次擴展信源，其數(shù)學(xué)模型 ： 1......)( 12121 ?????????????? ??qiiqq ppppaaaxpX),...,(,)(...)()(...)( 212121NNNiiiiqqiNaaappppX ????????????????????????111( ) ( . . . ) ( )N k kNNi i i i ikkP P a a P a p???? ? ???1( ) 1NqiiP ????因為是無記憶的 (彼此統(tǒng)計獨立 )則： 離散平穩(wěn)無記憶 N次擴展信源的熵 H(X ) = H(XN) = N 解 ：二次擴展信源的概率空間為 X2的信源符號 ?1 ?2 ?3 ?4 ?5 ?6 ?7 ?8 ?9 對應(yīng)的符號序列 a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3 概率 P(?i) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16 )/( o g4141l o g4121l o g21)( S y mb o lB i tXH ?????921( ) ( ) l o g ( ) 3 ( / ) 2 ( )iiiH X P P B i t S y m b o l s H X???? ? ? ??1,414121)(31321???????????????? ??iipaaaxpX一、離散平穩(wěn)信源的數(shù)學(xué)定義 ? 在一般情況下 ，信源在 t = i 時刻將要發(fā)出什么樣的符號決定于兩方面： (1) 信源在 t = i 時刻隨機變量 Xi 取值的概率分布 P(xi)。 [即與條件概率 P(xi/xi1 xi2…) 有關(guān) ] ? 對 平穩(wěn)隨機序列 ，序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)，即信源發(fā)出符號序列的概率分布與時間起點無關(guān)。具有這樣性質(zhì)的信源稱為 一維平穩(wěn)信源 。它表示任何時刻信源發(fā)出二個符號的聯(lián)合概率分布也完全相等。這種各維聯(lián)合概率分布均與時間起點無關(guān)的完全平穩(wěn)信源稱為 離散平穩(wěn)信源 。 即平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關(guān)系與時間起點無關(guān) 。即： ).../().../().../(1101111???????????NNNjjjNjNiiiNixxxxPxxxxPxxxxP二、二維平穩(wěn)信源及其信息熵 最簡單的平穩(wěn)信源就是 二維平穩(wěn)信源 。 同時已知：連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為 P(ai aj) (i, j = 1,…,q ) ，且： ?????????????)(......)()()(......)( 321321qqaPaPaPaPaaaaxPX 1)(1???qiiaP? 設(shè)有一個離散一維平穩(wěn)信源，其概率空間為： 1)|(), . . . ,2,1,()()()|(1)(11 1?????? ??? ?qjijijiijqiqjjiaaPqjiaPaaPaaPaaP? 對離散二維平穩(wěn)信源的信息測度： ? 由于只有兩個符號有關(guān)聯(lián) ， 且其關(guān)聯(lián)與時間無關(guān) ， 則我們可把這個信源輸出的隨機序列分成 每二個符號一組 (因為相鄰的兩個符號才有關(guān)聯(lián) )， 每組 構(gòu)成新信源的一個符號 ，并假設(shè) 組與組之間統(tǒng)計無關(guān) (實際上 ， 組尾的符號與下一組組頭的符號是有關(guān)的 )。 )(l o g)()(1 121 jiqiqjji aaPaaPXXH ? ?? ???????????????? )(......)()()(......)( 3121113121112121qqqqaaPaaPaaPaaPaaaaaaaaxxPXX 1)(1 1?? ?? ?qiqjji aaP關(guān)于 離散二維平穩(wěn)信源聯(lián)合熵 ? H(X1X2) 表示原來信源 X輸出任意一對消息的共熵，即 描述信源 X輸出長度為 2的序列的平均不確定性 （或所含有的信息量）。 ? 從另一角度 （ 來研究信源 X的信息熵的近似值 ） ： （ 1） 由于信源 X發(fā)出的符號序列中前后兩個符號之間有依賴性 ， 可以先求出在 已知 前面一個符號 Xl＝ ai時 ， 信源輸出下一個符號 的平均不確定性： （ 2） 前面一個符號 Xl又可取 ai?{a1， a2， … ， aq}中任一個 ， 對某一個 ai存在一個平均不確定性 H(X2/X1＝ ai)， 那么對所有 ai的可能值 進行統(tǒng)計平均 就得當(dāng)前面一個符號巳知時， 再輸出下一個符號的總的平均不確定性 H(X2/X1) ： )|(l o g)|()|(112 ijqjiji aaPaaPaXXH ?????)|()()|( 12112 iqii aXXHaPXXH ?? ??? ?? ?? ?? ?????qiijqjjiqiijqjiji aaPaaPaaPaaPaP1 11 1)|(l o g)()|(l o g)|()(（ 3） 根據(jù)概率關(guān)系 ， 可以得到 聯(lián)合熵與條件熵 的關(guān)系： )(l o g)()(1 121 jiqiqjji aaPaaPXXH ? ?? ???))|()((l og)(1 1ijqiiqjji aaPaPaaP? ?? ???)|()|()(l o g)( 121 1XXHaaPaPaPqiqjijii ??? ? ?? ?)|()( 121 XXHXH ??