【正文】 ii PPPH 1 120 ).1(l og ? 將 0H 對 1X 事件的概率 iP 求一階 偏導數，并令 00 ??? iPH使用約束條件 ?? ?ni iP1 1確定 ?值，可求得 nPi 1?（常數）。因為二階導數 ,2ln)1( 122PPdP Hd ??? 當 10 ??P 時，22dPHd 恒小于 0 ， 所以當21?P時函數有極大值。 信息熵的基本性質及證明 信息熵的單峰性可表述為：先考察由 1X 、 2X 兩個事件構成的概率系統，其產生的概率分別為 P 和 P1 則該系統的信息 )).1(l o g)1(l o g( 22 PPPPH ????? 通過求極限 0loglim20 ?? xxx不難證明： (1) 當 0?P 時， .0))01(l o g)01(l o g0( 22 ??????H 這是一種 1X 產生的概率為 0， 2X產生的概率為 1 的確定系統。 Shannon 熵包含三種含義：第一種含義是度量信息量，事件發(fā)生概率與獲得的信息量成反比，即概率越大，信息量越少，又由式 ()知 ，概率越大，信息量越少，熵越小，所以可用熵的大小來度量信息量，熵越大，信息量越 大 。因此可以看出，可能收到的不同消息越多，對收到哪條消息的不確定性就越大 。其通信系統的模型如下所示： 圖 信息的傳播 信息的基本作用就是消除人們對事物的不確定性。并給出了信息熵在圖像處理特別是圖像分割 和 圖像配準中的應用，最后實現了信息熵在圖像配準中的方法。在圖像處理研究中，信息熵也越來越受到關注。河北工程大學畢業(yè)設計（論文） 1 摘要 信息論是人們在長期通信實踐活動中，由通信技術與概率論、隨機過程、數理統計等學科相結合而逐步發(fā)展起來的一門新興交叉學科。隨著計算機技術和數學理論的不斷發(fā)展，人工智能、神經網絡、遺傳算法、模糊理論的不斷完善，信息理論的應用越來越廣泛。 本文介紹了信息熵在圖像處理中的應用，總結了一些基于熵的基本概念，互信息的定義。 他指出，信息是事物運動狀態(tài)或存在方式的不確定性的描述。信息量是信息論的中心概念，將熵作為一個隨機事件的不確定性或信息量的量度，它奠定了現 代信息論的科學理論基礎， 如果一條信息是由 n 個字符連成的字符串組成，并且每個字符有 m種可能，那么這條信息就有 nm 種不同的排列情況，那么可以用 nm 度量信息量，但這時的信息量隨著消息的長度 n 按指數增加，為了使信息量的度量值按線性增加， Hartley 給出了取對數的信息量的定義： mnmH n 22 lo glo g ?? () 由上式可以看出，信息量隨著消息的可能性組合 m 增多而增多，如果消息只有一種可能性時即事件為必然事件時，那么消息中包含的信息量為零 01log2 ? 。 設某一隨機過程中有 k 種可能的情況，每種情況發(fā)生的概率分別是 1P ， 2P ，?， kP ，Shannon 給出了 熵 的如下定義： ? ????iiii ppppH 22 l og1l og () 當所有可能的事件均以相等的概率發(fā)生時，上式就成了 Hartley 定 義的 熵 ，并且這時 熵 取得最大值，即 ? ? ???? nnnnn mmmmmH 222 l ogl og11l og1 () 所以， Hartley 熵 是 ,Shannon 熵 的特殊情形，而 Shannon 更具有一般性。反之，如果一幅圖像中含有很多不同的灰度值，且各灰度值發(fā)生的概率又基本一致，則 它的熵值會很高，那么這幅圖像包含的信息量很大。 該函數的一階導數為 .)1(log2 P PdPdH ??令 0?dPdH 則有 PP)1(log2 ? 0?， 求得 21?P 為河北工程大學畢業(yè)設計（論文） 7 該函數的駐點。該結論可以通過以下的討論來證明： 具有 n 個事件的概率系統其信息熵可表示為 ????ni ii PPH 1 2log，這是在約束條件?? ?ni iP1 1 下的極值問題。 漸化性 信息熵的漸化性可表述為：設概率為 )( rqPn ?? 的事件可分解為概率分別為 q 和 r的兩個事件，則有： ).,()(),(),(),(121121121rqrrqqHrqrqPPPHrqPPPPHPPPPHnnnnn?????????????? 展開性 信息熵的展開性可表述為：設某一概率系統的概率分布為 ),( 21 nPPP ? 則系統的信河北工程大學畢業(yè)設計（論文） 8 息熵具有展開性質 ： ).0,(),( 2121 nn PPPHPPPH ?? ? 在此基礎上，進一步展開有 ： ?),( 21 nPPPH ? ).0,0,( 21 ?? nPPPH 根據 ,0)lo g(lim20 ??? PPP上述展開性不難證明。當兩幅圖像達到最佳配準，它們對應像素的灰度互信息應達到最大?；バ畔⒆鳛獒t(yī)學圖像配準的一個相似性測 度，多模態(tài)醫(yī)學圖像的配準很實用，其配準原理是兩幅基于共同人體解剖結構的圖像在配準時具有最大的互信息值。( XYI 為： )|()()。因此， )。( = ))()(/),(l o g (),())()(|),(( YpXpYXpYXEypxpyxpD ? 可直接導出 )()()(),( XYHYHXHYXI ??? 及 )).(),(m i n ()。 互信息是信息論中的一個基本概念，通常用于描述兩個系統間的相關性，或者是一個系統中 所包含的另一個系統信息的多少，是兩個隨機變量 A 和 B 之間統計相關性的量度，或是一個變量包含另一個變量的信息量的量度。 在通信系統中，信源 X 和 Y 信宿是相互聯系的，因此，收到 Y 的條件下，對信源 X具有一定的了解，但仍然對 X 有不確定度，即條件熵 )( YXH ，但總小于絕對熵 )(XH 。當今信息熵主要應用在圖像分割技術中。 隨著計算機技術和數學理論的不斷發(fā)展，人工智能、神經網絡、遺傳算法、模糊理論的不斷完善，以及處理的圖像越來越復雜，單一的方法已不能滿足人們的需求，因此，研究多方法的結合是這一領域的趨勢。 圖 像 分割 的 方法 (1) 基于閾值的分割 這是一種最常用的區(qū)域分割技術，閾值是用于區(qū)分不同目標的灰度值。為區(qū)分目標還需要對多個區(qū)域進行標記。前者是從單像素出發(fā)，逐漸合并以形成所需的分割結果。 (3) 基于邊緣的分割 基于邊界的分割方法是利用不同區(qū)域間像素灰度不連續(xù)的特點檢測出區(qū)域間的邊緣，從而實現圖像分割。在穿性邊緣檢測中，當前像素點是否屬于欲檢測的邊緣取決于先前像素的驗證結果；而在并行邊緣檢測技術中，一個像素點是否屬于欲檢測的邊緣，取決于當 前正在檢測的像素點以及該像素點的一些相鄰像素點，這樣該模型可以同時用于檢測圖像中的所有像素點。解決優(yōu)化問題的方法通常有窮舉法、遺傳算法、蟻群算法、粒子群算法等 ， 其中 Kennedy 和 Eberhart提出的粒子 群優(yōu)化算法 (PSO) 因其優(yōu)越性而成為研究的熱點。用一種綜合 Morlet 變異和慣性因子自適應的改進粒子群優(yōu)化算法 ， 讓該算法和模糊熵結合應用于圖像分割 ， 利用改進粒子群優(yōu)化 (IPSO) 算法來搜索 ， 使模糊熵最大時的參數值得到模糊參數的最優(yōu)組合 ， 進而確定圖像的分割閾值。在 PSO 算法中 ， 每個個體稱為粒子，所有的粒子都有一個由被優(yōu)化的函數決定的適應值，每個粒子還有一個速度決定他 們飛翔的方向和距離 ， 然后粒子就追隨當前的最優(yōu)粒子在解空間搜索。近年來出現了不少改進的 PSO 算法，改進算法主要有對慣性因子的改進 ， 以及引入遺傳算法中的交叉、變異或進化思想對部分粒子進行相應的操作。這種情況通常會出現在當粒子本身是全局最優(yōu)時即 )()( txtp ijij ? 和)()( txtp ijgj ? 等于零時的迭代早期階段，這樣 在以后的迭代中粒子就失去了多樣性。 Morlet 變異 河北工程大學畢業(yè)設計（論文） 14 為了克服過早收斂 ， 還有一種方法就是引入遺傳算法中的變異操作 ， 即當用基本PSO 算法對粒子的位置和速度進行更新后 ， 再對部分粒子進行變異操作 ， 使得粒子種群呈現多樣性。0)),(()())((m inm a x ?? ?? xtxtx txxtxtxm utijijijijij () 其中 ： ))(( txmut ij 為變異后的 )(txij ， maxx 和 minx 分別為 x 的最大最小值 ， ? 的計算公式如下 ： )).(5c os (1 22)( aaea ??? ?? () 其中： ? ?, aa??? .)ln ()1)(ln ( m a x gttg wmea ???? ? () 這里 ： wm? 為上式單調遞增方程的形狀參數 ， g 為 a 的上限值 ， t 為當前迭代次數 ， maxt 為最大迭代次數。并且將改進粒子群優(yōu)化 (IPSO) 算法用于搜索一組最優(yōu)參數)( ca， ， 提高了算法的分割性能。 Step 2： 選擇式 () 作為粒子群算法的適應度函數 ， 計算粒子群中每個粒子的適應值 ， 并根據適應值選擇每個粒子的當前最好位置 Pi 和粒子群的全局最好位置 gp 。 Step 6： 求出全局最優(yōu)解 gp 對應的參數組合 )( ca， ， 計算分割閾值 optT 對圖像進行分割。 3 幅煤塵圖像為單峰模式。無差異測量定義為 .)()(21 2m inm a x02LLnmycucj Rjjjj????????? ?? ?? () 其中： c 為閾值數量 ， jR 為 j 階分割區(qū)域 ， iy 為像素 i 的灰度值 ， j? 為 j 階分割區(qū)域灰度平均值 ， nm? 為圖像總的像素點 ， maxL 和 minL 為圖像的最大最小灰度值。實驗結果充分地表明 ， 該算法對不同類型的圖像均能取得較好的分割結果 ， 且計算量較小，稍加改進即可在 DSP 等硬件上實現 ， 因此能滿足對煤塵濃度實時測量的要求。 一種信息熵的定義及證明 從香農熵的表達式來看 ， 因其含有對數運算導致計算所需時間較大 ， 不利于基于香農熵的圖像分割方法在實時場合的使用。對于離散概率分布 )0,0,1,0,0,0( ???P ， 使得信息熵 )(PH得到最小值，同樣也使得復合函數 ))(exp( PH 取最小值。證畢?？杉有孕畔㈧貎H有香農熵和 Renyi 熵，其它諸如 Tsallis 熵、 Kapur 熵、 Taneja 熵等眾多信息熵都屬于非可加性信息熵范疇。綜上所述，不等式 nN nPH )11()(2 ???是正確的。因 2)( ?PHN ，就有 ?? ??ni ip1 2)1(成立。 僅 1 個取值為 1 的結論。定義目標函數 2111l og)1l og ()( ???????? ?????? ???? ??ni i nnpPF在約束條件 ),2,1(,10 nip i ???? 且 ??ni ip1 1? 下取得最小值為零的必要條件是 ),2,1(1 ninpi ???其原因在于目標函數 )(PF 是變量 ip ),2,1( ni ?? 在定義域 ]1,0[]1,0[]1,0[ ??? ? 上的凸函數 ， 以及目標函數 )(PF 對變量ip ),2,1( ni ?? 的 二 階 偏 導 數 構 成 的 Hessian 矩 陣 是 正 的 。下面給出兩種的計算復雜性分析。函數 )ln(x 的冪級數展開式為 01112 11131112)l n (123 ????????? ??????? ??????????? ????????? ???? xxxixxxxxi ，?? 在滿足一定的計算誤差 )0( ??? 條件下 ， 計算函數 )ln(x 的值常采用冪級數中前 1?k 項來逼近 ， 且正整數 k 的選取與冪級數 的截斷誤差有關。 因此 ， 香農熵的計算復雜性 比乘積熵的計算復雜性大得多。但是 ， 二維直方圖的引入 ， 大大增加了計算所需時間量。設像素灰度值為 i 且鄰域平均灰度值河北工程大學畢業(yè)設計（論文） 23 為 j 的像素點數為ijw，圖像總像素數為 MN? ， 則二維聯合概率密度為2 ( , ) ijwh i j MN? ?Q且 1100LLijij w M N???? ????， 11200 ( , ) 1LLijh i j???? ???。則目標 0C 的灰度級 ,1,0(),( siji ?? ),1,0 tj ?? 所對應概率分布為： 20( , ), 0 , 1 , , , 0 , 1 , ,( , )h i j i s j tP s t ?? 而背景 1C 的灰度級 ( , ) ,