【正文】 息熵為： 可見， ,說明信源 比信源 的平均不確定性要大，即在事件發(fā)生之前，分析信源 ，由于事件 是等概率的，難以猜測哪一個事件會發(fā)生 . ( ) ( )H Y H X?YXY 21, yy 2. 信息量和信息熵基本定義 (6) 而信源 ，雖然也存在不確定性，但大致可以知道 , 出現(xiàn)的可能性要大。 ( ) 0ipx ?1 ( ) 1niipx??? )(log)(iai xPxI ??(2.1) 2. 信息量和信息熵基本定義 (3) 定義：將集合 X中事件所包含的信息量統(tǒng)計平均，則平均值定義為集合 X的熵 .信息熵表征了信源整體的統(tǒng)計特征，集合 X的熵 H（ x）表示 X中事件所包含的平均信息量，或總體的平均不確定性的量度。事件 xi包含的信息量 通常 =2，此時相應的信息量單位是 bit。 2. 信息量和信息熵基本定義 (2) 定義：給定一離散集合 X={xi。因此，保留一定的多余度 (或冗余度 )是非常重要的。 1. 信 息 熵 基 本 知 識 (續(xù) ) 空格所隱藏的字符屬于多余度字符，不用那些字符也能運載該句子的全部信息，比如：?我 __大 ________使 ______機來____數(shù) __。? 不用很多努力，就可以猜出完整的句子 :?我們大家都喜歡使用計算機來管理數(shù)據(jù)。 這里用 Shannon最喜歡用的猜謎方法來說明信息熵的基本概念。在該文中他從信息論觀點，對信息系統(tǒng)的保密性問題作了全面而深刻的闡述。 信息編碼基礎知識 第二次世界大戰(zhàn)期間，美國為了提高信息儲存和傳遞的效率，發(fā)明了多種新的編碼方法，奠定了現(xiàn)代信息科學技術的基礎。這些系統(tǒng)的安全也經(jīng)常依賴于這些隨機數(shù)的隨機性及被保護程度 。隨著計算機網(wǎng)絡不斷滲透到各個領域，加密技術的應用也隨之擴大，應用加密基礎理論知識，深入探索可靠可行的加密方法，應用于數(shù)字簽名、身份鑒別等新技術中成為網(wǎng)絡安全研究重要的一個方面。一般來說，密鑰越大，加密就越健壯。 引 言 (續(xù) ) 加密編碼在 Shannon的信息論中有針對性的闡述，數(shù)論及基礎代數(shù)是加密算法的理論基礎。信息加密通過使用一種編碼而使存儲或傳輸?shù)男畔⒆優(yōu)椴豢勺x的信息，解密是一個相反的過程。第二章 信息加密技術基礎 引 言 信息加密是網(wǎng)絡安全體系中重要機制之一。信息加密的目的是為了保持信息的機密性，使用恰當?shù)募用軜藴蕦⒃谟嬎銠C環(huán)境中增加安全性。這些編碼就是將明文變成密文的加密算法或數(shù)學方法。要將一段信息加密或解密，你會要用到密鑰，它是一個很大的值。一般來說加密體制分為對稱密鑰加密和公用密鑰加密，對稱密鑰加密在密鑰方面有一定的缺陷，但執(zhí)行效率高；公用密鑰加密加密執(zhí)行效率底，但保密性強，在報文和網(wǎng)絡方面對小量信息加密非常有效 . 信息加密理論基礎 信息安全的核心技術之一是加密技術，它涉及信息論、基礎數(shù)論和算法復雜性等多方面基礎知識。 加密的理論依據(jù) 密碼學問題就是隨機性的利用問題 . 差不多每臺使用加密技術的計算機安全系統(tǒng)都需要隨機數(shù)，供密鑰、協(xié)議中的基礎參量等使用或者用做輔助信息或者初始化向量。 簡單的加密舉例 中秋日月 編碼 密鑰 密文編碼 詩 月明明日 010101 10 111111 明日月明 101010 000000 ？ 明日明日 101101 000111 日明月明 110010 011000 通過這個例子我們看到一個簡單的加密過程，原來的詩通過與密鑰的模二運算實現(xiàn)了加密。 Shannon還于 1949年發(fā)表了?保密系統(tǒng)的通信理論?一文，奠定了現(xiàn)代密碼學基礎從而對加密過程中信息編碼有了明確的分析。 1. 信 息 熵 基 本 知 識 信息論中最重要的內容，是如何認識和使用信息熵來表現(xiàn)信息。假如有：?我們大 __都喜 __使 __計 __機來管 __數(shù) __。? Shannon在信息論中指出，能猜出來的字符不運載信息，而不能猜出來的字符運載信息。?就很難猜出完整的句子，在信息傳遞的時候，也很難做檢錯和抗錯。 2. 信息量和信息熵基本定義 (1) 信息熵（ information entropy）是對信息狀態(tài)?無序?與?不確定?的度量（從本質上講，熵不是對信息的度量，但信息的增加而使產(chǎn)生的熵減小，熵可以用來度量信息的增益）。 i=1,2,…, n}，令 xi出現(xiàn)的概率是 且 。Shannon定義信息的數(shù)學期望為信息熵，即信源的平均信息量。 0)(log)()](log[)( 212 ???? ??iniii xpxpxPExH () 2. 信息量和信息熵基本定義 (4) 對某一特定的信源，其信息熵只有一個，因統(tǒng)計特性不同，其熵也不同。正如兩場比賽，其中一場，雙方勢均力敵；而另一場雙方實力懸殊很大。也可以這樣理解，信息熵 表征了變量 的隨機性。 X1x 3. 信息熵的基本性質 (1) I. 對稱性 當概率空間中 序任意互換時，熵函數(shù)的值不變，例如下面兩個信源空間 : ?)(),( 21 xPxP ?????????216131)](,[321 xxxxPX?????????312161)](,[321 yyyyPX 3. 信息熵的基本性質 (2) 其信息熵 .該性質說明，熵只與隨機變量的總體結構有關，與信源總體的統(tǒng)計特性有關，同時也說明所定義的熵有其局限性，它不能描述事件本身的主觀意義。那么，這個信源是一個確知信源，其熵為零。 因為隨機變量 的所有取值的概率分布為 ，當取對數(shù)的底大于１時， ,而 ,則得到的熵是正值，只有當隨機變量是一確知量時，熵才等于零。 0)( ?XH 1)(0 ?? ixP 0)(log ?ixP 0)(log)( ?? ii xPx 3. 信息熵的基本性質 (5) IV. 可加性 獨立信源 和 的聯(lián)合信源的熵等于它們各自的熵之和。 XYXYX )](,),(),([ 21 sxPxPxP ?Y )](,),(),([ 21 zyPyPyP ? )()()( YHXHXYH ??1)(1???NiixP 1)(1 ???MjiyP 3. 信息熵的基本性質 (6) V. 極值性 信源各個狀態(tài)為零概率分布時，熵值最大，并且等于信源輸出狀態(tài)數(shù)，因為 當 時， () NxPxPxP s /1)()()( 21 ???? ? NNNXHNilog1log1)(1??? ?? 例 題 例，信源有兩種狀態(tài)時，概率空間 其 與 關系如圖所示 ,，當 =1/2時熵有最大值；當信源輸出是確定的，即 ，則 ，此時表明該信源不提供任何信息；反之，當信源輸出為等概率發(fā)生時，即 時信源的熵達到最大值，等于1bit信息量。令明文熵為 ，密鑰熵 ，密文熵 。則明文和密文之間的互信息以及密鑰與密文之間的互信息分別是： )()( lmHMH ? )()( rkHKH ? ))( vcC ? )()()。( vrrvr ckHkHckI ??() () 4. 信息熵在信息加密編碼中的作用 (2) 因為只要密文、密鑰確定后，明文也就得到了，所以 ,故 定理：對任意加密系統(tǒng) 從該理論我們可以看出，密鑰熵越大，密文中所包含的明文信息量就越小。這種加密系統(tǒng)稱為完善加密系統(tǒng)，或無條件加密系統(tǒng)。( lrvl mHkcmI ? )()()。( ?vl cmI 4. 信息熵在信息加密編碼中的作用 (3) 在對密文攻擊下，完善加密系統(tǒng)是安全的，但它不能保證在已知明文或選擇性明文攻擊下也是安全的。( ?vl cmI 0)。首先介紹一些數(shù)論的基本知識 . 1. 整 數(shù) 定義：設 。 b不能被 a整除可以記作 dFa。 （ 4）如果 且 ,則對所有的 ,有 。 0, ?? aZa Zq? aqb?ba ba0?aacc0?mb bmambaca Zyx ?, cybxa ?0?b b ba ? 2. 素 數(shù) 定義 :設整數(shù) 。若 ， 且 a不是素數(shù)，則 a稱為合數(shù)。 （ 2）任何一個整數(shù) ，均可以分解成素數(shù)冪之積： （ 3）若不計因數(shù)的順序，這個分解式是唯一的。 （ 4）素數(shù)有無窮多個。 0?p p?? ,1 0?a1?abppbp2?nkekee pppn ?21 21?1?kip )1( ki?? )1 kiei ??)(x? 1/ln)(lim ?xxx? 3. 同 余 設 ，如果 ，則稱 a和 b模 n同余，記為 ，整數(shù) n稱為模數(shù)。因此，一般我們總假定 。 0, ?? nZba )( ban ? )(mo d nba ?ban ? ba ?? )(mo d nba ? ))(m od( nba ??1?n nb ??0 同余式的一些基本性質 （ 1）反身性 : ； （ 2）對稱性 :如果 ，那么 ； （ 3）傳遞性 :如果 ， ,那么 ； （ 4）如果 ， 那么 ； 。 )(mod naa ? )(mo d nb )(mo d nab ? )d na ? )(modcb ? )(mo d nca ? )(mod1 naa )(mod1bb )(mod11 nbab ??? )(mod11 nbaba ??? )(mod11 nbaab ? )(m od nbdac ? )(mo d nba ? 1),( ?na )(mod ndc ? )(m od1 nac ? 1), ?na 一些關于同余的基本概念 (1) 同余類 可用其中任一元素a(經(jīng)常取 )代替，記作 。 }0,{ qrZqqnr ????ra?][a ]1[]1[]0[ ?? nz ???? )10(][][ ????? njiji ??(2.11) ]1[,],1[],0[ ?