【文章內(nèi)容簡(jiǎn)介】 信息熵的確定性可表述為：設(shè)信息系統(tǒng)中，任一事件產(chǎn)生的概率為 1，則其他事件產(chǎn)生的概率為 0。這是一種確定的系統(tǒng) ， 對(duì)于這樣的系統(tǒng)有： ,0)1,0()0,1( ?? HH .0)1,0,0()0,0,1,0,0()0,0,1( ??? ???? HHH 根據(jù) ,0)lo g(lim21 ??? PPP很容易證明上述性質(zhì)。 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 9 2 基于熵的互信息理論 互信息的概述 互信息（ Mutual Information）來(lái)自于信息論，是信息論中的一 個(gè)基本概念，是兩個(gè)隨機(jī)變量統(tǒng)計(jì)相關(guān)性的測(cè)度。當(dāng)兩幅圖像達(dá)到最佳配準(zhǔn)，它們對(duì)應(yīng)像素的灰度互信息應(yīng)達(dá)到最大。該測(cè)度不需要對(duì)不同成像模式下圖像灰度間的關(guān)系作任何假設(shè)，也不需要對(duì)圖像進(jìn)行分割或任何預(yù)處理，具有自動(dòng)化程度高的特點(diǎn)。因此，最近幾年將互信息作為圖像配準(zhǔn)過(guò)程的相似性測(cè)度，利用最大互信息法進(jìn)行圖像配準(zhǔn)成為了圖像處理領(lǐng)域的研究熱點(diǎn)。 互信息是基于概率統(tǒng)計(jì)論提出的，具有統(tǒng)計(jì)特性，它被多數(shù)研究者公認(rèn)為是一個(gè)很好的圖像配準(zhǔn)準(zhǔn)則，許多圖像配準(zhǔn)算法的研究均是在互信息的基礎(chǔ)上加以改進(jìn)的?；バ畔⒆鳛獒t(yī)學(xué)圖像配準(zhǔn)的一個(gè)相似性測(cè) 度，多模態(tài)醫(yī)學(xué)圖像的配準(zhǔn)很實(shí)用，其配準(zhǔn)原理是兩幅基于共同人體解剖結(jié)構(gòu)的圖像在配準(zhǔn)時(shí)具有最大的互信息值。 互信息定義 定義 1：隨機(jī)變量 X 和 Y 之間的互信息 )。( YXI 定義為： )|()()。( YXHXHYXI ?? 或定義互信息 )。( XYI 為： )|()()。( XYHYHXYI ?? 可以證明二者是相等的，即 )。( XYI = )。( YXI 。因此， )。( YXI 和 )。( XYI 是隨機(jī)變量 X 和Y 之間相互提供的信息。 另一種定義 ：也可以采用直接定義 X 與 Y 之間的互信息為： ? ?? ?? Kk Jj jk jkjk bpap bapbapYXI 1 1 )()( ),(l og),()。( = ))()(/),(l o g (),())()(|),(( YpXpYXpYXEypxpyxpD ? 可直接導(dǎo)出 )()()(),( XYHYHXHYXI ??? 及 )).(),(m i n ()。(0 YHXHYXI ?? 熵與互信息的關(guān)系 (1) 獨(dú)立： )()|()()|( YHXYHXHYXH ?? ，有 0)。( ?YXI (2) 確定： 0)|(, ?? XYHYX ，則 )()。( XHYXI ? . 從而，互信息是隨機(jī)變量之間相互依存度的度量信息。 互信息是信息論中的一個(gè)基本概念，通常用于描述兩個(gè)系統(tǒng)間的相關(guān)性，或者是一個(gè)系統(tǒng)中 所包含的另一個(gè)系統(tǒng)信息的多少，是兩個(gè)隨機(jī)變量 A 和 B 之間統(tǒng)計(jì)相關(guān)性的量度，或是一個(gè)變量包含另一個(gè)變量的信息量的量度。 它可以用熵 )(AH 和 )(BH 來(lái)描述以及聯(lián)合熵 ),( BAH ， 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 10 )|()()|()(),()()(),( ABHBHBAHAHBAHBHAHBAI ??????? () 其中 )(AH 和 )(BH 分別是系統(tǒng) A 和 B 的熵， ),( BAH 是 A ， B 的聯(lián)合熵， )|( ABH 表示一直系統(tǒng) A 時(shí) B 的條件熵和一直系統(tǒng) B 時(shí) A 的條件熵。上述各種熵可分別表示為： ??? a AA apapAH )(lo g)()( 2 () ???b BB bpbpBH )(l o g)()( 2 () ??? ba ABAB bapbapBAH , 2 ),(l og),(),( () ???ba BAAB bapbapBAH , |2 )|(l og),()|( () ??? ba ABAB abpbapABH , |2 )|(l og),()|( () 其中， BbAa ?? , ， )(apA 和 )(bpB 分別是系統(tǒng) A 和系統(tǒng) B 完全獨(dú)立時(shí)的邊緣概率密度， ),( bapAB 是系統(tǒng) A 和 B 的聯(lián)合概率分布， )|(| abp AB 是已知系統(tǒng) B 時(shí) A 的條件概率分布， )|(| bap BA 是已知系統(tǒng) B 時(shí) A 的條件概率分布，如果聯(lián)合概率分布密度 ),( bapAB 滿(mǎn)足 )()(),( bpapbap BAAB ? ，則隨機(jī)變量 A 和 B 相互獨(dú)立 。如果 A 和 B 滿(mǎn)足某映射關(guān)系 T 使))(,())(()( aTapaTpap ABBA ?? ，則隨機(jī)變量 A 和 B 最大相關(guān)。 在通信系統(tǒng)中，信源 X 和 Y 信宿是相互聯(lián)系的，因此，收到 Y 的條件下，對(duì)信源 X具有一定的了解，但仍然對(duì) X 有不確定度，即條件熵 )( YXH ，但總小于絕對(duì)熵 )(XH 。對(duì)信源 X 的了解程度（確定度）為 )()( YXHXH ? 得到結(jié)論：差值度量了確定度。同樣，在確值 信源發(fā)送 X的條件下，差值 )|()( XYHYH ? 度量了對(duì) Y 的了解程度。 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 11 3 信息熵在圖像分割中的應(yīng)用 圖像分割的基本概念 圖像分割是圖像處理和分析的關(guān)鍵步驟，也是一種基本的計(jì)算機(jī)視覺(jué)技術(shù)。當(dāng)今信息熵主要應(yīng)用在圖像分割技術(shù)中。為了識(shí)別和分析目標(biāo)，圖像分割把圖像分各具特性的區(qū)域。這些特性可以是灰度、顏色、紋理等，目標(biāo)可以對(duì)應(yīng)單個(gè)區(qū)域，也可以對(duì)應(yīng)多個(gè)區(qū)域?；陟氐膱D像分割方法，盡可能減少了圖像信息的損失， 因此可用于復(fù)雜背景，而且這種方法有很多。 隨著計(jì)算機(jī)技術(shù)和數(shù)學(xué)理論的不斷發(fā)展，人工智能、神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊理論的不斷完善，以及處理的圖像越來(lái)越復(fù)雜，單一的方法已不能滿(mǎn)足人們的需求，因此，研究多方法的結(jié)合是這一領(lǐng)域的趨勢(shì)。 圖像分割的研究現(xiàn)狀 圖 像 分割是圖像處理中的一項(xiàng)關(guān)鍵技術(shù)，也是一經(jīng)典難題，自 20 世紀(jì) 70 年代起一直受到人們的高度重視，至今已提出了上千種分割算法。但發(fā)展至今仍沒(méi)有找出一個(gè)通用的分割理論，現(xiàn)提出的分割算法大都是針對(duì)具體問(wèn)題的，并沒(méi)有一種適合所有圖像的通用分割算法。另外，也還沒(méi)有 制定出判斷分割算法好壞和選擇適用分割算法的標(biāo)準(zhǔn)，這給圖像分割技術(shù)的應(yīng)用帶來(lái)許多實(shí)際問(wèn)題。 圖 像 分割 的 方法 (1) 基于閾值的分割 這是一種最常用的區(qū)域分割技術(shù)，閾值是用于區(qū)分不同目標(biāo)的灰度值。如果圖 像 只有目標(biāo)和背景兩大類(lèi)，那么只需選取一個(gè)閾值稱(chēng)為單閾值分割。這種方法是將圖 像 中每個(gè)像素的灰度值和閾值比較，灰度值大于閾值的像素為一類(lèi)，灰度值小于閾值的像素為另一類(lèi)。如果圖 像 中有多個(gè)目標(biāo)，就需要選取多個(gè)閾值將各個(gè)目標(biāo)分開(kāi)，這種方法稱(chēng)為多閾值分割。為區(qū)分目標(biāo)還需要對(duì)多個(gè)區(qū)域進(jìn)行標(biāo)記。閾值又可分為全局閾值，局 部閾值和動(dòng)態(tài)閾值，閾值分割的結(jié)果依賴(lài)于閾值的選取，確定閾值是閾值分割的關(guān)鍵，閾值分割實(shí)質(zhì)上就是按照某個(gè)標(biāo)準(zhǔn)求出最佳閾值的過(guò)程。常用的全局閾值選取方法有利用圖像 灰度直方圖的峰谷法，最小誤差法，最大類(lèi)間方差法，最大熵自動(dòng)閾值法以及其他一些方法。 (2) 基于區(qū)域的分割 基于區(qū)域的分割技術(shù)有兩種基本形式：區(qū)域生長(zhǎng)和分裂合并。前者是從單像素出發(fā)，逐漸合并以形成所需的分割結(jié)果。后者是從整個(gè)圖像出發(fā)，逐漸分裂或合并以形成所需要的分割結(jié)果。與閾值方法不同，這類(lèi)方法不但考慮了像素的相似性，還考慮了空間上河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 12 的鄰接性，因此可以有 效地消除孤立噪聲的干擾，具有很強(qiáng)的魯棒性。而且，無(wú)論是分裂還是合并，都能將分割深入達(dá)到像素級(jí) 。 (3) 基于邊緣的分割 基于邊界的分割方法是利用不同區(qū)域間像素灰度不連續(xù)的特點(diǎn)檢測(cè)出區(qū)域間的邊緣，從而實(shí)現(xiàn)圖像分割。邊界的像素灰度值變化往往比較劇烈。首先檢測(cè)圖像中的邊緣點(diǎn)，在按一定策略連接成輪廓，從而構(gòu)成分割區(qū)域。邊緣檢測(cè)技術(shù)可以按照處理的順序分為串行邊緣檢測(cè)及并行邊緣檢測(cè)。在穿性邊緣檢測(cè)中，當(dāng)前像素點(diǎn)是否屬于欲檢測(cè)的邊緣取決于先前像素的驗(yàn)證結(jié)果；而在并行邊緣檢測(cè)技術(shù)中，一個(gè)像素點(diǎn)是否屬于欲檢測(cè)的邊緣，取決于當(dāng) 前正在檢測(cè)的像素點(diǎn)以及該像素點(diǎn)的一些相鄰像素點(diǎn)，這樣該模型可以同時(shí)用于檢測(cè)圖像中的所有像素點(diǎn)。 基于改進(jìn)粒子群優(yōu)化的模糊熵煤塵圖像分割 對(duì)煤塵圖像進(jìn)行有效的分割是煤塵濃度測(cè)量的重要研究?jī)?nèi)容之一，在煤塵圖像分析和識(shí)別中具有重要意義。閾值法是最常用的圖像分割方法，其關(guān)鍵是閾值的選取，用圖像灰度模糊熵來(lái)確定分割閾值是一種有效的閾值確定方法。圖像灰度模糊熵中模糊參數(shù)的尋優(yōu)實(shí)際上是一個(gè)優(yōu)化問(wèn)題。解決優(yōu)化問(wèn)題的方法通常有窮舉法、遺傳算法、蟻群算法、粒子群算法等 ， 其中 Kennedy 和 Eberhart提出的粒子 群優(yōu)化算法 (PSO) 因其優(yōu)越性而成為研究的熱點(diǎn)。普通粒子群優(yōu)化算法存在易陷入局部最優(yōu)以及過(guò)早收斂的缺點(diǎn) ， 使得該算法難以得到理想的優(yōu)化效果。近年來(lái)出現(xiàn)了不少改進(jìn)的 PSO 算法 ， 改進(jìn)算法主要有對(duì)慣性因子的改進(jìn) ， 以及引入遺傳算法中的交叉、變異或進(jìn)化思想對(duì)部分粒子進(jìn)行相應(yīng)的操作。 Li等人提出的高斯變異粒子群 (GMPSO) 算法取得了不錯(cuò)的分割效果 ， 但該算法的分割精度還有待進(jìn)一步提高。用一種綜合 Morlet 變異和慣性因子自適應(yīng)的改進(jìn)粒子群優(yōu)化算法 ， 讓該算法和模糊熵結(jié)合應(yīng)用于圖像分割 ， 利用改進(jìn)粒子群優(yōu)化 (IPSO) 算法來(lái)搜索 ， 使模糊熵最大時(shí)的參數(shù)值得到模糊參數(shù)的最優(yōu)組合 ， 進(jìn)而確定圖像的分割閾值。實(shí)驗(yàn)結(jié)果表明 ， 該算法取得了令人滿(mǎn)意的分割結(jié)果 ， 算法運(yùn)算時(shí)間較小 ， 能滿(mǎn)足對(duì)煤塵濃度實(shí)時(shí)精確測(cè)量的要求。 基本粒子群算法 粒子群優(yōu)化 (PSO) 算法是一種進(jìn)化計(jì)算技術(shù)，最早由 Kenney 和 Eberhart 于 1995 年提出的。源于對(duì)鳥(niǎo)群捕食行為研究的 PSO 算法同遺傳算法類(lèi)似，是一種基于迭代的優(yōu)化工具。在 PSO 算法中 ， 每個(gè)個(gè)體稱(chēng)為粒子，所有的粒子都有一個(gè)由被優(yōu)化的函數(shù)決定的適應(yīng)值，每個(gè)粒子還有一個(gè)速度決定他 們飛翔的方向和距離 ， 然后粒子就追隨當(dāng)前的最優(yōu)粒子在解空間搜索。假定粒子規(guī)模為 N 搜索空間為 M 維，則第 i 個(gè)粒子的位置表示為 ),( 21 iMiii xxxX ? ，第 i 個(gè)粒子的速度表示為 ),( 21 iMiii vvvV ? ，每個(gè)粒子具有最好河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 13 適應(yīng)值的位置稱(chēng)為個(gè)體最好位置，記為 ),( 21 iMiii pppP ? ，整個(gè)種群中的最好適應(yīng)值位置稱(chēng)為全局最好位置，記為 ),( 21 gMggg pppP ? 。 在找到這兩個(gè)最優(yōu)值時(shí)，每個(gè)粒子根據(jù)如下公式來(lái)更新自己的速度和位置： ? ? ? ? )),()(())()(()()1( 21 txtpr an dctxtpr an dctwvtv ijgjijijijij ?????? () ).1()()1( ???? tvtxtx ijijij () 其中： i 表示第 i 個(gè)粒子； j 表示粒子的第 j 維； t 表示第 t 次迭代； 21,cc 為加速常數(shù)，通常在 2~0 間取值； ()rand 為均勻分布在 (0， 1) 上的隨機(jī)數(shù)； ? 為慣性因子。 改進(jìn)粒子群優(yōu)化算法 普通粒子群優(yōu)化算法存在易陷入局部最優(yōu)以及過(guò)早收斂的缺點(diǎn)，使得該算法難以得到理想的優(yōu)化效果。近年來(lái)出現(xiàn)了不少改進(jìn)的 PSO 算法，改進(jìn)算法主要有對(duì)慣性因子的改進(jìn) ， 以及引入遺傳算法中的交叉、變異或進(jìn)化思想對(duì)部分粒子進(jìn)行相應(yīng)的操作。本文針對(duì)慣性因子的改進(jìn)提出了慣性因子自適應(yīng)算法 ， 同時(shí)引入了 Morlet 變異操作，克服了普通粒子群優(yōu)化算法存在易陷入局部最優(yōu)以及過(guò)早收斂的缺點(diǎn)。慣性因子自適應(yīng)粒子群算法，當(dāng)粒子群中大多數(shù)粒子在連續(xù)的迭代中未找到最優(yōu)值前停止更新時(shí)，就會(huì)出現(xiàn)過(guò)早收斂的現(xiàn)像。當(dāng)慣性因子 ? 較小或固定時(shí)也會(huì)出現(xiàn)這種現(xiàn)像 ， 從式 () 可以看出， 當(dāng) )(tvij 較小并且 )()( txtp ijij ? 和 )()( txtp ijgj ? 很小時(shí) ， )1( ?tvij 也很小，即相應(yīng)的粒子失去搜索能力。這種情況通常會(huì)出現(xiàn)在當(dāng)粒子本身是全局最優(yōu)時(shí)即 )()( txtp ijij ? 和)()( txtp ijgj ? 等于零時(shí)的迭代早期階段，這樣 在以后的迭代中粒子就失去了多樣性。為了解決該問(wèn)題，一般將 ? 設(shè)為： ./)( m a xm i nm a x ttaxm ???? ???? () 其中： maxt 表示總迭代次數(shù)， max? 和 min? 分別表示最大和最小慣性因子。本文對(duì)上述方法作了改進(jìn)，根據(jù)粒子距離全局最優(yōu)值之間的距離對(duì) ? 進(jìn)行調(diào)節(jié)，即 ))./(1( m a x0 d is td is t i??? ?? ()