【正文】 二維信息熵閾值法的復雜性分析.........................................................................24 結(jié)論及分析............................................................................................................254 信息熵在圖像配準中的應用..............................................................................................27 圖像配準的基本概述 ...................................................................................................27 基于互信息的圖像配準 ...............................................................................................27 POWELL 算法 ..................................................................................................................28河北工程大學畢業(yè)設計（論文） 4 變換 ...............................................................................................................................28 平移變換 .................................................................................................................29 旋轉(zhuǎn)變換 .................................................................................................................30 基于互信息的圖像配準的設計與實現(xiàn) .......................................................................31 總體設計思路和圖像配準實現(xiàn) ............................................................................31 直方圖 ......................................................................................................................33 聯(lián)合直方圖 .............................................................................................................33 灰度級差值技術(shù) ......................................................................................................34 優(yōu)化搜索辦法級結(jié)論 .............................................................................................355 結(jié) 語..................................................................................................................................37致 謝..................................................................................................................................38參考文獻..............................................................................................................................39河北工程大學畢業(yè)設計（論文） 5 1 引言. 信息熵的概念1948年，美國科學家香農(nóng)(C．E．Shannon)發(fā)表了一篇著名的論文《通信的數(shù)學理論》。他從研究通信系統(tǒng)傳輸?shù)膶嵸|(zhì)出發(fā)，對信息做了科學的定義，并進行了定性和定量的描述。他指出，信息是事物運動狀態(tài)或存在方式的不確定性的描述。其通信系統(tǒng)的模型如下所示： 信 源 編 碼 信 道信號解 碼 信 宿干 擾噪 聲圖 信息的傳播信 息 的 基 本 作 用 就 是 消 除 人 們 對 事 物 的 不 確 定 性 。 信 息 熵 是 信 息 論 中 用 于 度 量信 息 量 的 一 個 概 念 。 假 定 是 隨 機 變 量 的 集 合 ， 表 示 其 概 率 密 度 ， 計 算 此X?)(xP隨 機 變 量 的 信 息 熵 的 公 式 是 ：)(xH???xplog)()(表 示 一 對 隨 機 變 量 的 聯(lián) 合 密 度 函 數(shù) ， 他 們 的 聯(lián) 合 熵 可 以 表 示 為 ：),(yxP ),(yxH,(l),(),( YXyYXYyx??信息熵描述的是信源的不確定性，是信源中所有目標的平均信息量。信息量是信息論的中心概念，將熵作為一個隨機事件的不確定性或信息量的量度，它奠定了現(xiàn)代信息論的科學理論基礎(chǔ)，如果一條信息是由 個字符連成的字符串組成，并且每個字符n有 種可能，那么這條信息就有 種不同的排列情況，那么可以用 度量信息量，mnmnm但這時的信息量隨著消息的長度 按指數(shù)增加，為了使信息量的度量值按線性增加，Hartley 給出了取對數(shù)的信息量的定義： ()nH22logl?由上式可以看出，信息量隨著消息的可能性組合 增多而增多，如果消息只有一種可能性時即事件為必然事件時，那么消息中包含的信息量為零 。因此可以01log2?看出，可能收到的不同消息越多，對收到哪條消息的不確定性就越大。相反，收到只有一種可能性的消息，不確定性為零，Hartley 對消息的度量實際是對不確定性的度量。Hartley 度量方法的不足之處是他所定義信息量是假定所有符號發(fā)生的概率相同，但實際情況各符號并不一定都等概發(fā)生，為此，Shannon 用概率加權(quán)來衡量消息出現(xiàn)的河北工程大學畢業(yè)設計（論文） 6 可能性，對 Hartley 的度量方法做出改進。設某一隨機過程中有 k 種可能的情況，每種情況發(fā)生的概率分別是 ， ，…，1P2， Shannon 給出了熵的如下定義：kP ()????iiii ppH22log1log 當所有可能的事件均以相等的概率發(fā)生時，上式就成了 Hartley 定 義的熵，并且這時熵取得最大值，即 ()???? nnnnn mmH222 logl1log1所以，Hartley 熵是,Shannon 熵的特殊情形，而 Shannon 更具有一般性。Shannon 熵包含三種含義：第一種含義是度量信息量，事件發(fā)生概率與獲得的信息量成反比，即概率越大，信息量越少，又由式()知，概率越大，信息量越少，熵越小，所以可用熵的大小來度量信息量，熵越大，信息量越大。第二是度量事件概率分布的分散度，概率集中分布時熵值小，分散性越強，熵越大；三含義是度量事件發(fā)生的不確定性，概率越大，事件的不確定性越小，熵越小。利用上面第三個含義，可以用Shannon 熵，來度量圖像包含的信息量，圖像灰度值的概率分布是每灰度值出現(xiàn)的次數(shù)除以圖像中所有灰度值出現(xiàn)的總次數(shù)，此時圖像的信息量可依據(jù)這個概率分布來計算，一幅圖像中不同的灰度值較少，各灰度值出現(xiàn)的概率較高，則對應的灰度值較低，意味著這幅圖像含有的信息量很少。反之，如果一幅圖像中含有很多不同的灰度值，且各灰度值發(fā)生的概率又基本一致，則它的熵值會很高，那么這幅圖像包含的信息量很大。 信息熵的基本性質(zhì)及證明信息熵的單峰性可表述為：先考察由 、 兩個事件構(gòu)成的概率系統(tǒng)，其產(chǎn)生1X2的概率分別為 和 則該系統(tǒng)的信息P1 ).1(log)(log(2PPH????通過求極限 不難證明：0logim20?xx(1) 當 時， 這是一種 產(chǎn)生的概率為0，? .0)l)(l2??H1X產(chǎn)生的概率為1 的確定系統(tǒng)。2X(2) 當 時 這是一種 產(chǎn)生的概率為1，(22??產(chǎn)生的概率為0 的確定系統(tǒng)。2(3) 對函數(shù) 可以通過求導數(shù)的方式尋找其極值).(l)(l(22PPH???河北工程大學畢業(yè)設計（論文） 7 點。該函數(shù)的一階導數(shù)為 令 則有 ，求得.)1(log2PdH??0?dHP)1(log2?0?為該函數(shù)的駐點。因為二階導數(shù) 當 時， 恒21?P ,ln)1(2 ?2dH小于0 ， 所以當 時函數(shù)有極大值。這說明當 、 兩事件產(chǎn)生的概率相同時，21PX2具有最大值，這是一種不確定性最大的不確定系統(tǒng)。H(4) 若概率系統(tǒng)中有 個事件，當每一事件產(chǎn)生的概率相同（均為 ）時，則系n n/1統(tǒng)的信息熵 具有最大值。該結(jié)論可以通過以下的討論來證明：具有 個事件的概率系統(tǒng)其信息熵可表示為 ，這是在約束條件n ???niiPH12log下的極值問題。應用 因子法，設：??niP1 ?????ni niiPH1120 ).(log?將 對 事件的概率 求一階偏導數(shù)，并令 使用約束條件 確定0H1XiP0?iH?niP1值，可求得 （常數(shù)）。同理有 （常數(shù)），即當?ni? n21?時， 有極大值。P21?? H 對稱性信息熵的對稱性可表述為：設某一概率系統(tǒng)中n 個事件的概率分布為 ),(21nP?當對事件位置的順序進行任意置換后，得到新的概率分布為 ，并有以下關(guān)),(21nP???系成立：　　　　　　 ).,(),(2121 nnPHP?????它表示概率系統(tǒng)中事件的順序雖不同，但概率系統(tǒng)的熵H 是不變的，即概率系統(tǒng)的熵與事件的順序無關(guān)。 漸化性信息熵的漸化性可表述為：設概率為 的事件可分解為概率分別為 和)(rqPn??q的兩個事件，則有：r ).,()(),(,121 121rqHrqPHn n???????? ??河北工程大學畢業(yè)設計（論文） 8 展開性信息熵的展開性可表述為：設某一概率系統(tǒng)的概率分布為 則系統(tǒng)的信),(21nP?息熵具有展開性質(zhì)：　　　　　　 ).0,(),(2121 nnPHP?? ?在此基礎(chǔ)上，進一步展開有：　　　　　　 ,? .,??根據(jù) 上述展開性不難證明。0)log(lim20???P 確定性信息熵的確定性可表述為：設信息系統(tǒng)中，任一事件產(chǎn)生的概率為1，則其他事件產(chǎn)生的概率為0。這是一種確定的系統(tǒng)，對于這樣的系統(tǒng)有： ,0)1(),(?H .0)1,()0,1,()0,( ?????? HH根據(jù) 很容易證明上述性質(zhì)。loglim21??PP河北工程大學畢業(yè)設計（論文） 9 2 基于熵的互信息理論 互信息的概述互信息（Mutual Information）來自于信息論，是信息論中的一個基本概念，是兩個隨機變量統(tǒng)計相關(guān)性的測度。當兩幅圖像達到最佳配準，它們對應像素的灰度互信息應達到最大。該測度不需要對不同成像模式下圖像灰度間的關(guān)系作任何假設，也不需要對圖像進行分割或任何預處理，具有自動化程度高的特點。因此，最近幾年將互信息作為圖像配準過程的相似性測度，利用最大互信息法進行圖像配準成為了圖像處理領(lǐng)域的研究熱點?；バ畔⑹腔诟怕式y(tǒng)計論提出的，具有統(tǒng)計特性，它被多數(shù)研究者公認為是一個很好的圖像配準準則，許多圖像配準算法的研究均是在互信息的基礎(chǔ)上加以改進的。互信息作為醫(yī)學圖像配準的一個相似性測度，多模態(tài)醫(yī)學圖像的配準很實用，其配準原理是兩幅基于共同人體解剖結(jié)構(gòu)的圖像在配準時具有最大的互信息值。 互信息定義定義1：隨機變量 和 之間的互信息 定義為：XY)。(YXI|)。(HI??或定義互信息 為：)。(I )|(可以證明二者是相等的，即 = 。因此， 和 是隨機變量)。(I)。(I。I)。(XYI和 之間相互提供的信息。XY另一種定義：也可以采用直接定義 與 之間的互信息為：XY??KkJj jkjkbpabpXI1 )(,log),()。(= )(/),(log,| YpXEyxD?可直接導出 及)()(),(HYI?? .,min。0HI? 熵與互信息的關(guān)系(1) 獨立： ，有)(|()|( YXXH??， 0)。(?I(2) 確定： ，則 .0|,?Y。I從而，互信息是隨機變量之間相互依存度的度量信息。互信息是信息論中的一個基本概念，通常用于描述兩個系統(tǒng)間