【正文】 如果事件 發(fā)生的概率為 ,事件發(fā)生的自信息量為 )(1lo g)(ii aPaI ?)( iaPia)()( 2211 aPaP ? )]([)]([ 2211 aPIaPI ?1)( ?iaP0)( ?iaP0)]([ ?iaPI??)]([ iaPI例題 如果你在不知道今天是星期幾的情況下問(wèn)你的朋友“明天是星期幾？”，答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問(wèn)題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序）？ 設(shè)事件 A為第一個(gè)事件 事件 B為第二個(gè)事件 事件 A的概率 事件 B的概率 則從事件 A中獲得的信息量 則從事件 B中獲得的信息量 例題 7/1)( ?AP1)( ?BP80 og)(l og)( ???? APAI0)(l og)( ??? BPBI 信息熵 信息熵定義為信源的平均信息量 物理意義： 1. 信源輸出的每個(gè)消息的平均信息量 2. 信源的平均不確定性 3. 輸出消息的隨機(jī)性 ????qiii aPaPXH1)(l o g)()(8個(gè)燈泡的例子 此信源的信息熵 （比特 /符號(hào)） 例題 ?????????????8/1,8/1,8/1,)(821?? aaaxPX38l o g81l o g81)(81???? ??iXH 某乙地某甲地的天氣預(yù)報(bào)為：晴（占4/8）、陰（占 2/8）、大雨（占 1/8）、小雨（占 1/8）。另一種是晴、陰、大雨、小雨出現(xiàn)的概率都相等，為 1/4。即對(duì)任意概率矢量 和 及任意 則有 8） 信息熵的極值性（最大離散熵定理） qqqqHpppH q l o g)1,1,1(),( 21 ?? ??9） 信息熵的上凸性 ),( 21 qppp ??P)(PH?),( 211 qppp ??P ),(