【安全課件】第4講--shannon信息論-全文預(yù)覽
【正文】 有： npp bniibi loglog1?? ?? 121 ???? nppp ?0?ip nppp , 21 ? 且等號成立的充要條件是諸 pi全相等 . 證明：注意此推論中條件 與 Jensen不等式中 條件 不同，故證明如下。 這個實驗也稱為一個隨機事件。 ?如果你事先一無所知 ,說明我提供的信息量最多 . ?不知道意味著在我告訴你之前你只能猜測 ! ?猜測就是按照每個可能結(jié)果的 出現(xiàn)概率 進行猜測 ! ?因此 ,你只知道這個事情的每個結(jié)果的發(fā)生概率 ! ?所以 ,我提供的信息量就是 由 你事先知道的每個可能結(jié)果的發(fā)生概率 (即隨機事件的 概率分布 )決定 . 14 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 簡單地說 ,信息就是 : (1) 當(dāng)未知的變成已知的 之后 獲取的信息 。特等獎號碼的信息只有在開獎時才獲得。 8 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 保密系統(tǒng) 9 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 保密系統(tǒng) ? 設(shè)計目的： 使得竊聽者即使完全準(zhǔn)確地接 收帶了信道上傳輸?shù)男盘栆矡o 法恢復(fù)出原始的信息。打個比方來說，在周圍干擾嚴重的情 況下，要想使對方聽清楚，你就只有慢慢地講，甚至還要不斷重復(fù)。 只有當(dāng)發(fā)生與不發(fā)生 的概率相同時，事件的熵才達到極大。他在文中用非常簡潔的數(shù)學(xué)公式定義了信息時代的基本概念：熵。 1941年他加入了貝爾實驗室數(shù)學(xué)部 ， 在此工作了 15年 。1940年獲得麻省理工學(xué)院數(shù)學(xué)博士學(xué)位和電子工程碩士學(xué)位 。 3 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 香農(nóng)理論簡介 第一篇文章奠定了香農(nóng)信息基本理論的基礎(chǔ)。 根據(jù)香農(nóng)的定義，確定發(fā)生的事件如“太陽從東邊升起”與確定不發(fā)生的事件如“太陽從西邊升起”，其熵都是零。從這一個公式導(dǎo)出的為達到無失真通訊的傳輸速 率的極限，現(xiàn)已稱為 香農(nóng)極限 。 ? PC機上常用的 WinZip (無損壓縮算法 ) ? 手機通訊 (有損壓縮 ?無損壓縮 ,糾 錯 ) ? 在因特網(wǎng)上傳遞多媒體數(shù)據(jù) （ MP3音樂壓縮格式 ） 6 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 第三章 Shannon保密理論 ? 密碼體制的數(shù)學(xué)模型 ? 隨機事件的熵及其性質(zhì) 7 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 通信系統(tǒng) 信源 編碼器 解碼器 接收者 干擾源 信道 設(shè)計目的： 在信道有干擾的情況下，使得接收者接 收到的信息無差錯或差錯盡可能的小。 例 2 設(shè)電腦彩票由 8個 10進制數(shù)組成 .在開獎之前，我們不知道特等獎號碼的信息，因為特等獎的號碼是不確定。 ?如果你事先全知道了 ,說明我提供的信息量等于 0。 (3) 一個隨機變量包含的信息 . 其中 (1)和 (2)的含義相同 ,它們比 (3)的意義更 加廣泛 . 15 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 隨機事件和隨機變量 定義 1： 設(shè)一個實驗有 共 n個可能的結(jié)果，則每個可能結(jié)果都稱為一個事件。 當(dāng)以 10為底時 ,其單位稱為迪特 (Det)。0)( ?ixp(2) 當(dāng)且僅當(dāng) i? 。當(dāng)且僅當(dāng)兩個實驗獨立時 ,二者才相等 . 直觀含義 : 33 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 )()( YHXH ?證明 (1) 因 ? ?? ???nimjjiji yxpyxpYXH1 1),(log),(),(,故有 ? ?? ???nimjjiji ypxpyxp1 1)()(log),(下證 . 0)()(),( ??? YHXHYXH???????mjjjniii ypypxpxp11)(log)()(log)(再由 ??mjjii yxpxp1),()(和 ???nijij yxpyp1),()(得 ? ?? ???nimjiji xpyxp1 1)(log),(? ?? ??nimjjji ypyxp1 1)(log),()()( YHXH ?34 現(xiàn)代密碼學(xué) 解放軍信息工程大學(xué)電子技術(shù)學(xué)院 因 ? ?? ???nimjjiji yxpyxpYXH1 1),(log),(),(,故有 ? ?? ?? ?? ???nimjjijinimj jiji ypxpyxpyxpyxp1 11 1)()(log),(),( 1log),()()(),( YHXHYXH ??? ?? ??nimj jijiji yxpypxpyxp1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1