【安全課件】第4講--shannon信息論(存儲版)
【正文】 Apr23 ? 1世間成事，不求其絕對圓滿，留一份不足，可得無限完美。 :25:0303:25:03April 1, 2023 ? 1他鄉(xiāng)生白發(fā)，舊國見青山。log nb? ????niibi xpxp1)(log)(故 (1)成立 . (2) 由 Jensen不等式的推論 1可知 (2)成立 . ,再由 Jensen 不等式的推論 1 26 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 0?????nttbt xpxpXH1)(log)()((3)充分性 : 此時 )(log)( ibi xpxp??必要性 : 由于諸 0)(log)( ?? tbt xpxp設(shè) H(X)=0. 若存在 t,使 ,則 0)(log)( ?? tbt xpxp 1,0)( ?txp,從而 0)( ?XH兩個值 , 該矛盾說明諸 只能取 0和 1這 )( txp因而必要性成立 . .矛盾 ! 27 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 定理 : (1) 結(jié)果確定的隨機(jī)事件不提供信息量 , 因而提供的信息量最少 ! (2) 可能結(jié)果 等可能發(fā)生 的隨機(jī)事件提供 的包含的信息量最大 ! 這與我們的直覺是一致的 ! 28 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 現(xiàn)實中的事件都不是孤立的 ! 很多隨機(jī)事件之間都有相互的聯(lián)系和影響 !那么 ,如何刻劃和研究多個隨機(jī)事件相互 提供的信息呢 ? 這就要引入兩個實驗的 聯(lián)合熵 條件熵 互信息 等概念！ 29 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 因此 ,實驗 X與實驗 Y的聯(lián)合熵 (Joint Entropy)就是事件 (xi ,yj )的 自信息量 的數(shù)學(xué)期望 . 它反映了聯(lián)合分布 p(x, y )包含的信息量 . 定義 (聯(lián)合熵 ): 實驗 X與實驗 Y的可能結(jié)果分別為 和 ,定義 X與 Y的聯(lián)合熵 為 ? ?? ?? ?? ????nimjjijinimjjiji yxpyxpyxIyxpYXH1 11 1),(log),(),(),(),(nxxx , 21 ? myyy , 21 ?30 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 定義 (條件熵 ): 實驗 X與實驗 Y的可能結(jié)果分別為 和 .定義 X與 Y的條件熵為 nxxx , 21 ? myyy , 21 ? (1) 稱 為在實驗 Y的結(jié)果為 yj的條件下 ,事件 xi的 條件自信息量 . )|(log)|( jiji yxpyxI ? 為在實驗 Y的結(jié)果為 yj的條件下 ,實驗 X的 條件熵 . ???????nijiinijiij yxpxpyxIxpyXH11)|(log)()|()()|( (2)稱 31 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 (3) 稱 ? ?? ?? ?? ????nimjjijinimjjijiyxpyxpyxIyxpYXH1 11 1)|(log),()|(),()|(為在實驗 X關(guān)于實驗 Y的 條件熵 . 反映了 )|( jyXHY的結(jié)果是 yj條件下 ,實驗 X包含的信息量 . )|( YXH反映了 Y的結(jié)果已知條件下 ,實驗 X平均 包含的信息量 . 32 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 聯(lián)合熵與各自的熵的關(guān)系 定理 )()(),( YHXHYXH ??且等號成立的 充要條件是 X與 Y獨立 . 兩個實驗提供的信息總量一定不超過這兩個實驗分別提供的信息量之和 。 我們獲得的信息量與開獎前每個可能號碼成為特等獎的概率 108有何關(guān)系 ? 顯然 ,有 8 = log10 108 信息量的定量刻劃 : 定義 2 設(shè) 是一個實驗中事件 發(fā)生的概率 ,則稱 為事件 包含的 自信息量 . iA )( ip )(log)( ii ApAI ??iA18 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 熵的數(shù)學(xué)定義 定義 (隨機(jī)事件的熵 ):設(shè)一個實驗 X有 共 n個可能的結(jié)果 ,則稱 的數(shù)學(xué)期望 為實驗 X的熵 (Entropy). 其中約定 0log0 = 0. nxxx , 21 ? )(log)( ii xpxI ?? ?? ?? ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1