【正文】 yL x y G x y I x y???? ? ?? ? ???????? ? ? ? (35) 式 35 中的 ? 便是圖像的尺度參數(shù)， 多幅 ? 值不同的高斯模糊圖像組成的圖片集就是圖像在多尺度空間中的表達。 Scale(first octave)Scale(next octave). . . 圖 32 高斯差分金子塔的構(gòu)建 我們可以通過高斯差分圖像看出圖像上的像元灰度值情況。主曲率可以通過計算在該點位置尺度的 2 2 的 Hessian 矩陣得到，導數(shù)由采 樣點相鄰差來估計： xx xyxy yyDDH DD??????? (316) 式中， xxD 表示 DOG 金字塔中某一尺度的圖像 x 方向求導兩次。 圖 38 是從高斯圖像上求取梯度，再由梯度得到梯度方向直方圖的例圖。 SIFT 特征描述子的生成有四個步驟，現(xiàn)總結(jié)如下： 特征描述子與關鍵點所在尺度有關，因此對梯度的求取應在特征點對應的高斯圖像上進行。對于圖像灰度值整體漂移 ，圖像各點的梯度是鄰域像素相減到，所以也能去除。 表 31 各類圖像的 SIFT 特征提取及匹配時間 圖片編號 L1 S1 S2 M1 M2 M3 F1 F2 圖片類型 低對比度 簡單紋理 簡單紋理 中等紋理 中等紋理 中等紋理 復雜紋理 復雜紋理 縮略圖 特征提取時間/ms 457 457 471 541 562 541 697 963 匹配時間 /ms 0 1 1 5 7 7 27 277 特征點數(shù)量 /個 0 20 32 139 173 203 415 1010 從表中數(shù)據(jù)可以看你出， SIFT 算法對低對比度圖像的特征提取能力十分有限，如表中圖 L1 的檢索結(jié)果所示。而圖 314 則是各種條件綜合作用下 SIFT 算法特征匹配結(jié)果，我們可以看出，在圖像發(fā) 生旋轉(zhuǎn)、平移、尺度變化甚至遮蓋的條件下， SIFT 算法依然能準確的匹配和定位目標。 Lowe 實驗結(jié)果表明：描述子采用 4 4 8＝ 128 維向量表征，綜合效果最優(yōu)（不變性與獨特性）。具有多個方向的關鍵點可以復制成多份，然后將方向值分別賦給復制后的關鍵點。梯度方向直方圖將 0176。 Lowe 的試驗顯示，所有()DX? 取值小于 的極值點均可拋棄（像素灰度值范圍 [0,1]）。所以根據(jù)高斯模糊的性質(zhì)，設 init? （ David 取值為 ）為第0 層尺度， pre? 為被相機鏡頭模糊后的尺度（一般取 ），則高斯金字塔的初始尺度 0? 為： 220 ini t pre? ? ? ? ? (38) DoG 金字塔 在獲得圖像的高斯金子塔后，就可以構(gòu)建 DoG 金字塔了。 Lindeberg在他的論文中證明，高斯尺度核是唯一可以產(chǎn)生多尺度空間的核。并且它 將 特征點 檢測，特征矢量生成，特征 點 匹配等步驟結(jié)合在一 起，獨特性好，信息量豐富，現(xiàn)在的應用十分廣泛。 哈爾濱理工大學學士學位論文 14 CBIR 系統(tǒng)性能評價 一般情況下，大型數(shù)據(jù)庫系統(tǒng)采用 RecallPrecision 準則來評自身的有效性。以比較各個算法檢測特正點的能力及對旋轉(zhuǎn)及平移的穩(wěn)定性。這種算子受信號處理中自相關函數(shù)的啟發(fā)，可以給出圖像中某一像素點的自相關矩陣肘，其特征值是自相關函數(shù)的一階曲率，如果算， Y 兩個方向上的曲率值都高，那么就認為該點是角點。下面我們將介紹幾個非常重要的特征點檢測技術，并對這幾種算法在穩(wěn)定性、有效性、處理速度及定位準確性這幾個層面進行對比分析。一般來說，紋理特征可以理解為圖像中與某種顏色或亮度都無關的具有相同性質(zhì)的視覺特征，通常是某些紋理元素有規(guī)律的排列組合。 matlab 開發(fā)了一套 CBIR 試驗系統(tǒng)，能夠?qū)^大的圖像庫（包涵 1000 張以上的圖片）進行方便高效的管理，并根據(jù)提供的樣圖快速的檢索出相關圖片。 應用領域 基于內(nèi)容的圖像檢索作為一項新興的技術自問世以來已取得了不少的突破，這些成果也已經(jīng)開始轉(zhuǎn)化為應用技術，創(chuàng)造了不少的價值和財富，甚至顛覆了不少傳統(tǒng)的運作方式，刺激了整個行業(yè)的技 術革新。 (performance evaluation) CBIR 是一項集成度很高的技哈爾濱理工大學學士學位論文 3 術，有著豐富的理論和復雜的分類，因此對不同算法的評判和比較方法是確定 CBIR 系統(tǒng)優(yōu)劣的重要工具，有利于研究者之間的交流和 算法的推廣，共同推動 CBIR 技術的發(fā)展。 ，具有根據(jù)用戶反饋進行再查詢的能力，用戶可以根據(jù)查詢結(jié)果提供反饋信息，系統(tǒng)再根據(jù)用戶的反饋對查詢結(jié)果進行修正，提高查準率。于是，自20 世紀 70 年代以來，圖像檢索技術逐漸成為一個非?；钴S的研究領域。因此，圖像檢索作為一種能從海量圖像中迅速查找到需要圖像的技術很快成為人們研究的熱點。隨著圖像庫規(guī)模的增加， TBIR 技術的弊端日益顯露。因此，要想利用高層語義特征進行圖像檢索，勢必需要人工智能、機器學習等相關理論的發(fā)展，這還有待更加深入的研究和探索。 早在 1977 年 Moravec就提出了點特征這個概念 ， 他 將圖像 特征點 稱 為“興趣點” ， 通過灰度自相關函數(shù)來衡量某像 元與 其鄰域 像元的關系。另外也可以迅速查找典型病例進行教學，對醫(yī)學研究也會產(chǎn)生深遠影響。 點特征是最重要的圖像特征，目前 大部分 局部特征 提取 算法都是基于點特征提出的。后者的描述子主要為各種矩不變量，如 Hu 不變矩、 Legenda 矩、 Zernike 矩等。 首先 ， 將模板放置在圖像某一像元上，然后比較模板內(nèi)部每個圖像像元的灰度值都與模板中心像素的灰度值。 于是角點定義為下式的局部最大值。 Harris 算子在圖像灰度值變化較大的部分能較好得檢測出圖像的特征點，但在灰度值變化較為緩和的部位則出現(xiàn)漏檢現(xiàn)象，因而檢測出的特征點總數(shù)較少，但 (a)(b)兩幅圖像檢測出的特征點總數(shù)相差不大，因而對旋轉(zhuǎn)和平移具有較好的穩(wěn)定性； SUSAN 算法對圖像中每一個區(qū) 域中的特征點都有良好的敏感度，但卻出現(xiàn)了冗余的邊緣與角點，而且兩幅圖像檢測出的特征點數(shù)量相差較大，體現(xiàn)出它對旋轉(zhuǎn)的不穩(wěn)定性；而 SIFT 算法出了檢測出合適數(shù)量的邊緣與角點外，還檢測出圖像中線段交叉點和曲線曲率較大的點，能更全面的反映圖像特征，而且對旋轉(zhuǎn)具有出色的穩(wěn)定性。而希望去除檢索結(jié)果中的不相關文檔時，務必要將 “檢索策略 ”定的更加嚴格，這樣也會使有一些相關的文檔不再能被檢索到，從而 使召回率受到影響。 圖像的尺度空間表達就是圖像在所有尺度下的描述 ， 即尺度空間是由同一副圖片分別使用不同尺度表示所組成的圖像組。 ? 越大，圖像的尺度越大，所反映的是圖想的整體特征， ? 越小，圖像的初尺度越小，反映的是圖像的細節(jié)特征。如果圖像中某像元附近灰度值變化不大，則不同尺度下高斯圖像中相應像元的灰度值相差不大，在差分后形成的高斯差分圖像中，相應像元的灰度值越??；像元附近灰度值變化越大，在不同尺度下的高斯圖像相應像元的灰度值相差越大，差分后的高斯差分圖相應像元 的灰度值也越大。 D 的主曲率和 H 的特征值成正比，為了避免直接的計算這些特征值，只考慮它們的之間的比率。 主 方 向 圖 35 用直方圖統(tǒng)計像元梯度 在計算直方圖時，每個加入直方 圖的采樣點都使 要 用圓形高斯函數(shù)函數(shù)進行加權(quán)處理，也就是進行高斯平滑。將關鍵點附近劃分成 dd 個子區(qū)域，每個子 區(qū)域尺寸為 mσ 個像元（ d=4， m=3， σ 為尺特征點的尺度值）。至此 SIFT 算法所有步驟全部完成，至于它的特征匹配方法在第二章第二節(jié)里已分析完畢，這里不再重復。另外，對比圖 S1（或 S2）與圖F1（或 F2）的檢索結(jié)果， SIFT 算法對紋理復雜、細節(jié)豐富 的圖像具有良好的特征提取能力，如圖 F F2，而對紋理簡單、灰度值變化緩慢的圖像則往往不能獲取足夠的特征點，如圖 S S2。實驗結(jié)果表明，亮度變化對 SIFT 算法圖像匹配的影響很小，算法在左圖中共檢測出 1349 個特征點，右圖檢測出 1189 個特征點，成功匹配的特征點對數(shù)為 1099 對。即每個種子點有 8 個方向區(qū)間的梯 度強度信息。通常使用一個帶箭頭的圓或直接使用箭頭表示 SIFT 區(qū)域的三個值：中心表示特征點位置 ，半徑表示關鍵點尺度（ r=） ,箭頭表示主方向。梯度方向直方圖的橫軸是梯度方向角，縱軸是剃度方向角對應的梯度幅值累加值。利用 DoG 函數(shù)在尺度空間的 Taylor 展開式： 221() 2T TDDD X D X X XXX??? ? ? (311) 式中 D(X)=D(x,y, ? )， ( , , )TX x y??，對式 311 求一階導數(shù)，并令倒數(shù)為零，計算可得特征點的精確位置： 212DDX XX?? ???? (312) 將結(jié)果帶入式 311 只取前兩項得： 1( ) ( , , ) 2 TDD X D x y XX???? ? ? ? (313) 上式去除那些對 比度較低的不穩(wěn)定極值點?？傮w上看，設 o 為圖像所在的組數(shù)，則每張圖像的尺度參數(shù)為： 11 2 12 ( , , , , ) , 2n sk k k k? ? ?? ? ? ??? ? ? (37) 當圖像通過相機拍攝時，相機的鏡頭已經(jīng)對圖像進行了一次初始 的模糊。高斯金字塔的構(gòu)建主要分為兩步：對輸入圖像進行增量式的高斯卷積和對圖像做降采樣。 SIFT 特征對旋轉(zhuǎn)、尺度縮放、亮度變化等保持不變性，是非常穩(wěn)定的局部特征 。也就是說當距離比率大于某一閾值時，認為特征點成功匹配，相反，則認為與特征點不匹配。 實驗分別使用 Harris 算子、 SUSAN 算子和 SIFT 算子對這兩幅圖片進行特征提取，比較取得的特征點數(shù)量。 算子 Harris 算子 是 1988 年由 和 提出的一種點特征提取算子。 在 一幅圖像中，特征點要遠遠少于像元，但卻攜帶大量的圖像信息，在圖像匹配、目標識別等方面也有廣泛的應用，成為眾多學者的研究重點，也提出了許多優(yōu)秀的特征提取算法。 紋理特征至今沒有一個完整的定義。 SIFT 算法的原理及細節(jié)，并編寫了 matlab 程序以驗證它的各項性能，對將 SIFT 算法應用到圖像檢索領域的可能性進行了論證?，F(xiàn)階段大部分 CBIR 系統(tǒng)都在應用低層視覺特征進行圖像檢索，少數(shù)系統(tǒng)能夠應用局部特征進行圖像中部分對象的識別與檢索，而高層語義特征的研究還在進行中，目前沒有成熟的應用。采用這種方式可以提高檢索的準確性，并從一定程度上彌補了用戶與計算機之間的語義鴻溝。 CBIR 系統(tǒng)找出的圖片是與查詢圖像最相似的圖像，并對查詢結(jié)果按相似程度進行派序，具有很高的靈活性，能應用到多個領域。隨著數(shù)碼相機、掃描儀等數(shù)字設備的普及，大量的圖像信息被創(chuàng)造出來，隨著圖像的數(shù)量越來越多，人們亟需一種能夠有效管理圖像信息的技術。 在一個圖像檢索系統(tǒng)中最重要的環(huán)節(jié)便是圖像特征提取與匹配，而SIFT 算法正是一種由 David Lowe 提出的圖像局部特征描述子，因為其良好的獨特性和魯棒性而受到人們的普遍關注。首先，由于人類意識的主觀性，對同一副圖像不同的人會產(chǎn)生不同的理解，因此不可能形成一個統(tǒng)一的檢索標準。 CBIR 是一項新興技術，集成性 很高， 技 術環(huán)節(jié) 主要包括 以下幾個： 視覺特征 主要 分為通用視覺特征和 與 領域相關的視覺特征 ，通用特征是 指所有圖像共有的特征 ， 包括顏色、紋理、形狀、空間位置關系等； 與領域相關的視覺特征 則建立某些 經(jīng)驗、專業(yè)知識 的基礎上 ，如 人臉特征 、指紋特征等。 和 在 1988 年提出的 Harris 算子 是 一種特征點提取算子 ，它是 Moravec 角 點檢測算法的改 進， 用一階偏導來描述亮度變哈爾濱理工大學學士學位論文 4 化，這種算子受信號處理中自相關函數(shù)的啟發(fā)，給出與自相關函數(shù)相聯(lián)系的矩陣 M。 可以快速檢索利用遙感技術獲得的大量圖像信息，準確辨識圖像中的各個地標，方 便地理信息的后期處理。點特征包括 對象邊緣點、線段交叉點、 角點等，其中角點是最具代表性的。另外也包括一些簡單的如面積、圓度、主軸方向等形狀因子。 如果 模板內(nèi)某點像素 的 灰度與模板中心像素 (核 )灰度的差值 較小（通常要設定一個閾哈爾濱理工大學學士學位論文 8 值） ，則認為該點與核 的灰度值相同。 2( ) ( )T D e t M k T r M?? (26) 為了降低高對比度的邊界點的漏檢率，于是添加了修正因子 k， k 一般設定為 ~。另外，在圖像發(fā)生尺度、視角及亮度變化時，哈爾濱理工大學學士學位論文 13 SUSAN 算子及 Harris 算子將檢測出完全不同的特征點，而此時 SIFT 算法將保持良好的魯棒性。凡是設計到大規(guī)模數(shù)據(jù)集合的檢索和選取，都涉及到 “召回率 ”和 “準確率 ”這兩個指標。 尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標由近到遠時目標在視網(wǎng)膜上的形成過程 。 由于高斯變換并不改變圖像的分辨率，在大尺度下，圖像的細節(jié)被忽略，過高的分辨率只會產(chǎn)生冗余的計算量 。圖 33 是不同尺度的