【正文】 復(fù)雜性分析 ........................................................................................ 21 二維信息熵閾值法 ................................................................................................ 22 二維信息熵閾值法的復(fù)雜性分析 ........................................................................ 24 結(jié)論及分析 ........................................................................................................... 25 4 信息熵在圖像配準(zhǔn)中的應(yīng)用 ............................................................................................. 27 圖像配準(zhǔn) 的基本概述 ................................................................................................... 27 基于互信息的圖像配準(zhǔn) ............................................................................................... 27 POWELL算法 .................................................................................................................. 28 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 4 變換 ............................................................................................................................... 28 平移變換 ................................................................................................................. 29 旋轉(zhuǎn)變換 ................................................................................................................. 30 基于互信息的圖像配準(zhǔn) 的設(shè)計(jì)與實(shí)現(xiàn) ....................................................................... 31 總體設(shè)計(jì)思路和圖像配準(zhǔn)實(shí)現(xiàn) ............................................................................ 31 直方圖 ..................................................................................................................... 33 聯(lián)合直方圖 ............................................................................................................. 33 灰度級(jí)差值技術(shù) ..................................................................................................... 34 優(yōu)化搜索辦法級(jí)結(jié)論 ............................................................................................. 35 5 結(jié) 語(yǔ) ................................................................................................................................. 37 致 謝 ................................................................................................................................. 38 參考文獻(xiàn) ............................................................................................................................. 39 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 5 1 引言 . 信息熵的概念 1948年，美國(guó)科學(xué)家香農(nóng) (C． E． Shannon)發(fā)表 了一篇著名的論文《通信的數(shù)學(xué)理論》。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息做了科學(xué)的定義，并進(jìn)行了定性和定量的描述。 他指出，信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。其通信系統(tǒng)的模型如下所示： 圖 信息的傳播 信息的基本作用就是消除人們對(duì)事物的不確定性。信息熵是信息論中用于度量信息量的一個(gè)概念。 假定 X 是隨機(jī)變量 ? 的集合， )(xP 表示其概率密度，計(jì)算此隨機(jī)變量的信息熵 )(xH 的公式是： ??? x xpxpXH )(log)()( ),( yxP 表示一對(duì)隨機(jī)變量的聯(lián)合密度函數(shù)，他們的聯(lián)合熵 ),( yxH 可以表示為： ),(l og),(),( YXpyxpYXH Yyx ?? ???? ? 信息熵描述的是信源的不確定性，是信源中所有目標(biāo)的平均信息量。信息量是信息論的中心概念，將熵作為一個(gè)隨機(jī)事件的不確定性或信息量的量度，它奠定了現(xiàn) 代信息論的科學(xué)理論基礎(chǔ)， 如果一條信息是由 n 個(gè)字符連成的字符串組成，并且每個(gè)字符有 m種可能，那么這條信息就有 nm 種不同的排列情況，那么可以用 nm 度量信息量，但這時(shí)的信息量隨著消息的長(zhǎng)度 n 按指數(shù)增加，為了使信息量的度量值按線性增加， Hartley 給出了取對(duì)數(shù)的信息量的定義： mnmH n 22 lo glo g ?? () 由上式可以看出，信息量隨著消息的可能性組合 m 增多而增多，如果消息只有一種可能性時(shí)即事件為必然事件時(shí)，那么消息中包含的信息量為零 01log2 ? 。因此可以看出，可能收到的不同消息越多，對(duì)收到哪條消息的不確定性就越大 。相反，收到只有一種可能性的消息，不確定性為零， Hartley 對(duì)消息的度量實(shí)際是對(duì)不確定性的度量。 Hartley 度量方法的不足之處是他 所定義信息量是假定所有符號(hào)發(fā)生的概率相同，但實(shí)際情況各符號(hào)并不一定都等概發(fā)生，為此， Shannon 用概率加權(quán)來(lái)衡量消息出現(xiàn)的可信 源 編 碼 信 道 信號(hào) 解 碼 信 宿 干 擾 噪 聲 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 6 能性，對(duì) Hartley 的度量方法做出改進(jìn)。 設(shè)某一隨機(jī)過(guò)程中有 k 種可能的情況，每種情況發(fā)生的概率分別是 1P ， 2P ，?， kP ，Shannon 給出了 熵 的如下定義： ? ????iiii ppppH 22 l og1l og () 當(dāng)所有可能的事件均以相等的概率發(fā)生時(shí)，上式就成了 Hartley 定 義的 熵 ，并且這時(shí) 熵 取得最大值，即 ? ? ???? nnnnn mmmmmH 222 l ogl og11l og1 () 所以， Hartley 熵 是 ,Shannon 熵 的特殊情形，而 Shannon 更具有一般性。 Shannon 熵包含三種含義：第一種含義是度量信息量，事件發(fā)生概率與獲得的信息量成反比，即概率越大，信息量越少，又由式 ()知 ，概率越大，信息量越少，熵越小，所以可用熵的大小來(lái)度量信息量，熵越大，信息量越 大 。第二是度量事件概率分布的分散度，概率集中分布時(shí)熵值小，分散性越強(qiáng)，熵越大；三含義是度量事件發(fā)生的不確定性，概率越大，事件的不確定性越小，熵越小。利用上面第三個(gè)含義，可以用 Shannon 熵，來(lái)度量圖像包含的信息量，圖像灰度值的概率分布是每灰度值出現(xiàn)的次數(shù)除以圖像中所有灰度值出現(xiàn)的總次數(shù)，此時(shí)圖像的信息量可依據(jù)這個(gè)概率分布來(lái)計(jì)算，一幅圖像中不同的灰度值較少，各灰度值出現(xiàn)的概率較高，則對(duì)應(yīng)的灰度值較低，意味著這幅圖像含有的信息量很少。反之，如果一幅圖像中含有很多不同的灰度值，且各灰度值發(fā)生的概率又基本一致，則 它的熵值會(huì)很高，那么這幅圖像包含的信息量很大。 信息熵的基本性質(zhì)及證明 信息熵的單峰性可表述為：先考察由 1X 、 2X 兩個(gè)事件構(gòu)成的概率系統(tǒng)，其產(chǎn)生的概率分別為 P 和 P1 則該系統(tǒng)的信息 )).1(l o g)1(l o g( 22 PPPPH ????? 通過(guò)求極限 0loglim20 ?? xxx不難證明： (1) 當(dāng) 0?P 時(shí)， .0))01(l o g)01(l o g0( 22 ??????H 這是一種 1X 產(chǎn)生的概率為 0， 2X產(chǎn)生的概率為 1 的確定系統(tǒng)。 (2) 當(dāng) 1?P 時(shí) .0))11(l o g)11(1l o g1( 22 ??????H 這是一種 1X 產(chǎn)生的概率為 1， 2X產(chǎn)生的概率為 0 的確定系統(tǒng)。 (3) 對(duì)函數(shù) )).1(l o g)1(l o g( 22 PPPPH ????? 可以通過(guò)求導(dǎo)數(shù)的方式尋找其極值點(diǎn) 。 該函數(shù)的一階導(dǎo)數(shù)為 .)1(log2 P PdPdH ??令 0?dPdH 則有 PP)1(log2 ? 0?， 求得 21?P 為河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 7 該函數(shù)的駐點(diǎn)。因?yàn)槎A導(dǎo)數(shù) ,2ln)1( 122PPdP Hd ??? 當(dāng) 10 ??P 時(shí)，22dPHd 恒小于 0 ， 所以當(dāng)21?P時(shí)函數(shù)有極大值。這說(shuō)明當(dāng) 1X 、 2X 兩事件產(chǎn)生的概率相同時(shí)， H 具有最大值，這是一種不確定性最大的不確定系統(tǒng)。 (4) 若概率系統(tǒng)中有 n 個(gè)事件，當(dāng)每一事件產(chǎn)生的概率相同（均為 n/1 ）時(shí)，則系統(tǒng)的信息熵 H 具有最大 值。該結(jié)論可以通過(guò)以下的討論來(lái)證明： 具有 n 個(gè)事件的概率系統(tǒng)其信息熵可表示為 ????ni ii PPH 1 2log，這是在約束條件?? ?ni iP1 1 下的極值問(wèn)題。應(yīng)用 ? 因子法，設(shè)： ? ?? ? ???? ni ni iii PPPH 1 120 ).1(l og ? 將 0H 對(duì) 1X 事件的概率 iP 求一階 偏導(dǎo)數(shù)，并令 00 ??? iPH使用約束條件 ?? ?ni iP1 1確定 ?值，可求得 nPi 1?（常數(shù)）。同理有 nPPPn 121 ???? ?（常數(shù)），即當(dāng) nPPPn 121 ???? ?時(shí)， H 有極大值。 對(duì)稱(chēng)性 信息熵的對(duì)稱(chēng)性可表述為：設(shè)某一概率系統(tǒng)中 n 個(gè)事件的概率分布為 ),( 21 nPPP ? 當(dāng)對(duì)事件位置的順序進(jìn)行任意置換后，得到新的概率分布為 ),( 21 nPPP ??? ? ，并有以下關(guān)系成立： ).,(),( 2121 nn PPPHPPPH ???? ?? 它表示概率系統(tǒng)中事件的順序雖不同，但概率系統(tǒng)的熵 H 是不變的，即概率系統(tǒng)的熵與事件的順序無(wú)關(guān)。 漸化性 信息熵的漸化性可表述為：設(shè)概率為 )( rqPn ?? 的事件可分解為概率分別為 q 和 r的兩個(gè)事件，則有： ).,()(),(),(),(121121121rqrrqqHrqrqPPPHrqPPPPHPPPPHnnnnn?????????????? 展開(kāi)性 信息熵的展開(kāi)性可表述為：設(shè)某一概率系統(tǒng)的概率分布為 ),( 21 nPPP ? 則系統(tǒng)的信河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 8 息熵具有展開(kāi)性質(zhì) ： ).0,(),( 2121 nn PPPHPPPH ?? ? 在此基礎(chǔ)上，進(jìn)一步展開(kāi)有 ： ?),( 21 nPPPH ? ).0,0,( 21 ?? nPPPH 根據(jù) ,0)lo g(lim20 ??? PPP上述展開(kāi)性不難證明。 確定性