【正文】 當(dāng)變量 的順序任意互換時(shí)，熵函數(shù)的值不變，即 ),(),(),( 12113221 ??? qqqq ppppHppppHpppH ???qppp , 21 ?2) 信息熵的確定性 3) 信息熵的非負(fù)性 4) 信息熵的擴(kuò)展性 0)0,0,0,1()0,0,1()0,1( ???? ?HHH0l o g),()(121 ???? ??iqiiq pppppHH ?P),(),(lim 322110 qqqq pppHpppH ?? ???? ???5） 可加性 如果有兩個(gè)隨機(jī)變量 X和 Y， 他們彼此是統(tǒng)計(jì)獨(dú)立的，概率分布分別為 與 則有 H(XY)=H(X)+H(Y) 即 其中 ),( 21 nppp ? ),( 21 mqqq ?),( 1212111 mnmnm qpqpqpqpqpH ??),(),( 121 mmnn qqHpppH ?? ?????niip11 ???mjjq11 ?????mjjiniqp1116） 信息熵的強(qiáng)可加性 兩個(gè)相互關(guān)聯(lián)的信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上在 X已知條件下信源 Y的條件熵 )|()()( XYHXHXYH ??7） 信息熵的遞增性 ),( 211211 mnmn qqqpppH ?? ???),(),( 21121nmnnmnnnn pqpqpqHpppppH ?? ???11???niip nmjj pq ???1其中 熵函數(shù) 是概率矢量 的嚴(yán)格 型凸函數(shù)。求這兩極端情況所提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為 1而其余為 0。某乙地的天氣預(yù)報(bào)為：晴（占 7/8）、小雨（占 1/8）。艾爾伍德 他的工作被稱為二十世紀(jì)的偉大創(chuàng)造 (intellectual achievements)之一。在這兩篇論文中，香農(nóng)