【導(dǎo)讀】等學(xué)科相結(jié)合而逐步發(fā)展起來的一門新興交叉學(xué)科。而熵是信息論中事件出現(xiàn)概率的不。確定性的量度，能有效反映事件包含的信息。隨著科學(xué)技術(shù)，特別是信息技術(shù)的迅猛發(fā)。方法獨(dú)特、新穎和有效，信息論已滲透到其他科學(xué)領(lǐng)域。隨著計(jì)算機(jī)技術(shù)和數(shù)學(xué)理論的。在圖像處理研究中，信息熵也越來越受到關(guān)注。為了尋找快速有效的圖像處。本文通過進(jìn)一步探討概論率中熵。并給出了信息熵在圖像處理特別是圖像分割和圖像配準(zhǔn)中的應(yīng)用，最后實(shí)現(xiàn)了信

　　

【正文】 H ni aia () 當(dāng)式 （ ） 中的 1?a 時(shí)，可以得到： ???? ni iia pppH 1 )ln()(lim () 這里對(duì) Tsallis 熵進(jìn)行如下的修改： 1,0,)1( 1)( 1 1 ???????? ???? ?? ? aanpaaPHniaaia () 修改后的 Tsallis 熵具有如下的性質(zhì) ： (1) )l og ()l n()(l i m11 nppPHni iiaa ???? ??? (2) ??? ??? ni iiaa nnppPH 10 )l n()l n()(l i m () 然而 ()中 ),1( nipi ?? 有可能為零 ， 需將 ()進(jìn)一步修改為如下形式 ： 1,0)],()1([)1( 1)( 1 ???????? ?? aaanpaaPH ainia () 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 20 針對(duì) ()式，它具有如下的性質(zhì)： (1) ??? ???????? niaia aaanpPH11a 1,0)],()1[()(l i m (2) ??? ???? ni iaa pPH 10 1)1ln()(lim () 為了定義非對(duì)數(shù)型信息熵 ， 這里引入下面的定理。 定理 1： 若 )(PH 是信息熵 ， 那么 ))(exp( PH 函數(shù)也是信息熵。 證明 ： 因指數(shù)函數(shù) )exp(n 是單調(diào)函數(shù) ， 且信息 )(PH 是 有界函數(shù) ， 那么復(fù)合函數(shù)))(exp( PH 也單調(diào)有界函數(shù)。對(duì)于離散概率分布 )0,0,1,0,0,0( ???P ， 使得信息熵 )(PH得到最小值，同樣也使得復(fù)合函數(shù) ))(exp( PH 取最小值。 對(duì)于離散概率分布 ??????? nnnP 1,1,1 ? ， 使得信息熵 )(PH 得到最大值，同樣也使得復(fù)合函數(shù) ))(exp( PH 取到最大值?？偵纤?， 復(fù)合函數(shù) ))(exp( PH 滿足信息熵最基本的性質(zhì)。 因此 ， 它是一種信息熵。證畢。 根據(jù)本文修改的 Tsallis 熵公式 () 和定理 1， 我們可以構(gòu)造如下新的信息熵為： ?? ?? ni iN pPH 1 )1()( () 該新的信息熵中僅有加法和乘法運(yùn)算 ， 其計(jì)算量很顯然比香農(nóng)熵 Tsallis 熵要少很多。為了方便 ， 將新信息熵表達(dá)式 ()簡稱為乘積型熵。它也具有如下典型性質(zhì) ： (1) 對(duì)于任意離散概率分布 P ， 則有 enPH nN ???? )11()(2； (2) 若 任意離散概率分布 P 的乘積型熵 2)( ?PHN ， 當(dāng)且僅當(dāng) )0,0,1,0,0,0( ???P (3) 對(duì) 于 任 意 離 散 概 率 分 布 P 的 乘 積 型 熵 nN nPH )11()( ??，當(dāng)且僅當(dāng)??????? nnnP 1,1,1 ? (4) 對(duì)于兩個(gè)獨(dú)立事件離散概率分布 QP和 則有 )()()( QHPHPQH NNN ?? 這表明，新信息熵是非可加性信息熵?？杉有孕畔㈧貎H有香農(nóng)熵和 Renyi 熵，其它諸如 Tsallis 熵、 Kapur 熵、 Taneja 熵等眾多信息熵都屬于非可加性信息熵范疇。 下面給出乘積型熵 )(PHN 性質(zhì)的證明。其具體過程如下 ： 證明： (1) 因 ?)(PHN ? ? ? ? ? ? ? ?? ? ? ?? ? ?? ?? ????????ninininijjninijjnijkni ikjijiiipppppppp1 1 1 1 1 1 1 11)1( ?又因 ),2,1(,10 nip i ???? 且 ?? ?ni ip1 1，所以有： ?? 2)(PHN ??? ???ninijjji pp1 1 ? ? ? ???? ?? ???ninijjnijkni ikjipppp1 1 1 1?2? 成立。 又因算術(shù)平均和幾何平均之間滿足不等關(guān)系式，若 ),2,1(,0 kia ??? 那么 河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 21 knini ii kaa? ?? ? ???????1 1，因此， ?????ni iN pPH 1 )1()(nnni i nnpn ?????? ???????? ???1)1(11成立。綜上所述，不等式 nN nPH )11()(2 ???是正確的。 又利用極限表達(dá)式 en nn ???? )11(lim，就有ePH ?? )(2 成立。 (2) 若任意離散概率分布 )0,0,1,0,0,0( ???P 則其相應(yīng)乘積型熵 2)( ?PHN 是很顯然的。這里主要是證明任意離散概率分布 P 的乘積型熵 2)( ?PHN ，則該概率分布為)0,0,1,0,0,0( ???P 的成立。因 2)( ?PHN ，就有 ?? ??ni ip1 2)1(成立。又因 ,10 ?? ip ),2,1( ni ?? 且 ?? ?ni ip1 1。 則由 ?? 2)(PHN ??? ???ninijjji pp1 1 ? ? ? ???? ?? ???ninijjnijkni ikjipppp1 1 1 1?2?可以得到 01 1 1 1 1 1????? ? ? ? ? ?? ?? ? ?? ?? ?ninijjninijjnijkni ikjijipppppp ?。 又因 ),2,1(,0 nip i ??? 則必有 ),2,1,(),2,1,( nkjipppijnjipp kjiji ?? ??? 、且且 ????ni ipkji 1, ?? ),2,1( nipi ?? 中必然有 1?n 個(gè)取值為 0。 僅 1 個(gè)取值為 1 的結(jié)論。 (3) 若任意離散概率分布 ??????? nnnP 1,1,1 ?，則其相應(yīng)乘積型熵 nN nPH )11()( ?? 是很顯然的。這里主要是證明任意離散概率分布 P 的乘積型熵 nN nPH )11()( ?? 則該概率分布為 ??????? nnnP 1,1,1 ?時(shí)成立。 因 nN nPH )11()( ??， ?? ??ni iN pPH 1 )1()(，可以得到： ?? ??ni ip1 )1log( ?????? ?nn 11log 成立，也即有 011l og)1l og ( 21 ????????? ?????? ?????ni i nnp 。定義目標(biāo)函數(shù) 2111l og)1l og ()( ???????? ?????? ???? ??ni i nnpPF在約束條件 ),2,1(,10 nip i ???? 且 ??ni ip1 1? 下取得最小值為零的必要條件是 ),2,1(1 ninpi ???其原因在于目標(biāo)函數(shù) )(PF 是變量 ip ),2,1( ni ?? 在定義域 ]1,0[]1,0[]1,0[ ??? ? 上的凸函數(shù) ， 以及目標(biāo)函數(shù) )(PF 對(duì)變量ip ),2,1( ni ?? 的 二 階 偏 導(dǎo) 數(shù) 構(gòu) 成 的 Hessian 矩 陣 是 正 的 。 因 此 ， 由?? ?????? ???ni i nnp1 11lo g)1lo g ( 必然得到 ??????? nnnP 1,1,1 ? 成立。 信息熵計(jì)算復(fù)雜性分析 在現(xiàn)有的微型計(jì)算機(jī)中 ， 其 CPU 的算術(shù)運(yùn)算單元 ( ALU) 有加法器和乘法器 ， 需將減法運(yùn)算變成加法運(yùn)算 ， 以及除法運(yùn)算變成乘法運(yùn)算來執(zhí)行。假設(shè)計(jì)算機(jī)每執(zhí)行加法或河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 22 減法運(yùn)算一次需要時(shí)間 1t 秒 ， 執(zhí)行乘法或除法運(yùn)算一 次需要時(shí)間 2t 秒，且 21 tt ? 。下面給出兩種的計(jì)算復(fù)雜性分析。 對(duì)離散概率分布 ),( 21 npppP ?? 計(jì)算乘積型 )(1 PH 所需時(shí)間 12)1( nttn ?? 秒，其計(jì)算復(fù)雜性為 )(nO 。香農(nóng)熵 )(PH 含對(duì)數(shù)運(yùn)算 ， 然而現(xiàn)有 CPU 的算術(shù)運(yùn)算單元中沒有對(duì)數(shù)運(yùn)算部件 ， 需將對(duì)數(shù)運(yùn)算轉(zhuǎn)化成 加法和乘法運(yùn)算來執(zhí)行。傳統(tǒng)計(jì)算對(duì)數(shù)函數(shù) )ln(x 是采用冪級(jí)數(shù)運(yùn)算來逼近其值。函數(shù) )ln(x 的冪級(jí)數(shù)展開式為 01112 11131112)l n (123 ????????? ??????? ??????????? ????????? ???? xxxixxxxxi ，?? 在滿足一定的計(jì)算誤差 )0( ??? 條件下 ， 計(jì)算函數(shù) )ln(x 的值常采用冪級(jí)數(shù)中前 1?k 項(xiàng)來逼近 ， 且正整數(shù) k 的選取與冪級(jí)數(shù) 的截?cái)嗾`差有關(guān)。即 ?????????? ??????? ????? ???? ?tiil xxixk0121 1112 12)l n (m i na r g 假設(shè)采用冪級(jí)數(shù)中的前 1?k 項(xiàng)來計(jì)算函數(shù) )ln(x 的值 ， 其計(jì)算函數(shù) )ln(x 所需時(shí)間轉(zhuǎn)化為計(jì)算多項(xiàng)式 ????????? ???tiixxi0121112 12的值所需時(shí)間。計(jì)算表達(dá)式 121112 1??????? ???ixxi所需時(shí)間21 )22(3 tit ?? 秒，計(jì)算整個(gè)多項(xiàng)式 ????????? ???tiixxi0121112 12所需時(shí)間為 ?? ???ki tit0 21 )22(3[ ]21 tkt? 秒，即計(jì)算函數(shù) )ln(x 的值所需時(shí) 1(4 3)kt? 2 2( 3 3)k k t? ? ? 秒。 因此 ， 計(jì)算香農(nóng)熵 )(PH 所需時(shí)間 21 2 1( ( 4 3 ) ( 3 4 ) ) ( 1 )k t k k t n n t? ? ? ? ? ?秒 ， 其計(jì)算復(fù)雜性為 2()Okn 。 因此 ， 香農(nóng)熵的計(jì)算復(fù)雜性 比乘積熵的計(jì)算復(fù)雜性大得多。 二維信息熵閾值法 設(shè) [ ( , )]MNG g x y ?? 表示大小為 MN? 的數(shù)字灰度圖像 ， 圖像灰度變化范圍為 0 到1L? 。圖中任意位置 (, )xy 處的像素灰度值記為 ( , )gxy 。 在實(shí)際應(yīng)用中 ， 由于噪聲等干擾因素的存在 ， 灰度直方圖不一定存在明顯的波峰和波谷 ， 僅利用一維最大熵 法確定閾值往往會(huì)造成錯(cuò)誤分割 ， 用最大二維香農(nóng)對(duì)數(shù)型熵閾值法 ， 使分割效果得到很大改善。但是 ， 二維直方圖的引入 ， 大大增加了計(jì)算所需時(shí)間量。這就在很大程度上限制了該算法的應(yīng)用范圍。為此 ， 用乘積信息熵引入到二維直方圖的熵閾值法中 ， 盡量降低信息熵閾值法計(jì)算所需時(shí)間量 ， 提高熵閾值算法的速度。 圖像 G 的鄰域平滑圖像 [ ( , )] (3 3 )MNF f x y ???(以鄰域均值作為該像素灰度值 ) 的灰度級(jí)也為 L ( 即與原圖像保持灰度級(jí)總數(shù)不變 ) ， 對(duì)于圖像中的任何一個(gè)像素 ， 就有了一個(gè)二元組 ： 像素灰度值 i 和鄰域平均灰度值 j 。設(shè)像素灰度值為 i 且鄰域平均灰度值河北工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 23 為 j 的像素點(diǎn)數(shù)為ijw，圖像總像素?cái)?shù)為 MN? ， 則二維聯(lián)合概率密度為2 ( , ) ijwh i j MN? ?Q且 1100LLijij w M N???? ????， 11200 ( , ) 1LLijh i j???? ???。 任意給定一個(gè)閾值 (,)st ， 就可以將圖像二維聯(lián)合概率密度分割成如圖所示的 4 個(gè)區(qū)域 ： 0、 2和 3。其中對(duì)角線上的兩個(gè)區(qū)域 0和 1分別對(duì)應(yīng)于目標(biāo)和背景 ， 而遠(yuǎn)離對(duì)角線的區(qū)域 2和 3則對(duì)應(yīng)邊緣和噪聲。假設(shè)目標(biāo)和背景分別為 0C 和 1C ， 其出現(xiàn)的概率分別為0210( , ) ( , )stijP s t h i j??? ??， 111211( , ) ( , )LLi s j tP s t h i j??? ? ? ?? ??。則目標(biāo) 0C 的灰度級(jí) ,1,0(),( siji ?? ),1,0 tj ?? 所對(duì)應(yīng)概率分布為： 20( , ), 0 , 1 , , , 0 , 1 , ,( , )h i j i s j tP s t ?? 而背景 1C 的灰度級(jí) ( , ) ,