【文章內(nèi)容簡介】 ) 對圖像進(jìn)行高斯濾波，得到新的M。離散二維零均值高斯函數(shù) ()3) 計算原圖像上對應(yīng)的每個像素點的興趣值，即R值(角點量cim)。 ()4) 選取局部極值點。Harris方法認(rèn)為，特征點是局部范圍內(nèi)的極大興趣值對應(yīng)的像素點。5) 設(shè)定閾值，選取一定量的角點。實驗實現(xiàn)Harris角點檢測算法，測試其在圖像存在旋轉(zhuǎn)、尺度變化、噪聲等情況下的檢測效果，并分析Harris算法在設(shè)置不同閾值情況下提取角點。實驗所提取的角點用十字劃線來標(biāo)識。1. 旋轉(zhuǎn)不變性(a)為原圖角點提取結(jié)果，(b)為經(jīng)過逆時針旋轉(zhuǎn)30度后的圖像角點提取結(jié)果。從圖中可以看出，Harris算法在圖像旋轉(zhuǎn)時檢測得到角點的重復(fù)數(shù)很高，具有良好的抗旋轉(zhuǎn)性能。(a)原圖像(b)逆時針旋轉(zhuǎn)30度圖像 圖像旋轉(zhuǎn)角點提取結(jié)果圖 2. 尺度變化不變性(a)為原圖像，(b)為尺度變化后圖像角點檢測結(jié)果，由結(jié)果圖可以看出Harris算法在尺度發(fā)生變化時圖像中檢測得到的特征點與原圖有較大差別。(a)原圖像(b)放大2倍圖像 圖像尺度變化角點提取結(jié)果圖3. 噪聲情況下的不變性Harris角點檢測算法對于噪聲比較敏感，%高斯噪聲后采用Harris提取出角點的結(jié)果圖。圖(a)為原圖像，(b)為增加高斯噪聲后圖像，從結(jié)果圖中可以明顯看出，增加高斯噪聲后運用Harris算法提取出的角點準(zhǔn)確性下降。(a) 原圖像(b) 添加10%高斯噪聲圖像 圖像添加噪聲時角點提取結(jié)果圖4. 設(shè)置不同閾值時角點不變性由前文針對Harris算法提取角點步驟可知，設(shè)置閾值大小不同時得到的角點數(shù)目也隨之改變。從圖中可以看出，將閾值設(shè)定較高時，檢測得到的角點數(shù)量明顯下降。(a)閾值設(shè)置為5000(b)閾值設(shè)置為10000(c)閾值設(shè)為15000(d)閾值設(shè)置為20000 設(shè)置不同閾值時角點提取結(jié)果圖通過對Harris算法提取圖像特征點的原理及實驗結(jié)果分析，可以看出Harris算法在圖像存在旋轉(zhuǎn)情況下有很高的點重復(fù)數(shù)，是一種比較有效的點特征提取算法。因此在圖像配準(zhǔn)中通常采用這種算法來提取特征點。但是Harris特征點檢測算法也存在著一定的局限性。當(dāng)圖像間發(fā)生尺度變換時，Harris角點就可能檢測出不一致的角點。即當(dāng)尺度變化時，可能檢測出新的角點，或老的角點發(fā)生移位或消失。這樣特征點的重復(fù)數(shù)下降，不利于后續(xù)特征點匹配。同時由于Harris算法采用了偏導(dǎo)來計算角點函數(shù)，雖然經(jīng)過高斯濾波，但對噪聲仍比較敏感。 SIFT特征點提取算法由上節(jié)對Harris特征點提取算法局限性的分析，本節(jié)對目前國內(nèi)外研究廣泛的局部不變特征點提取算法SIFT進(jìn)行研究，該算法提取出的特征點對圖像尺度和旋轉(zhuǎn)不變性效果好，對光線變化和噪聲變化也具有較好魯棒性。 SIFT特征點提取算法原理及步驟SIFT算法是Lowe[14]利用尺度空間性質(zhì)提出的一種尺度不變關(guān)鍵點的檢測方法，主要利用目標(biāo)局部區(qū)域的信息來構(gòu)造特征量，它以同時在尺度域和空間域取得極值的點作為關(guān)鍵點，并以關(guān)鍵點作為特征區(qū)域的中心，同時關(guān)鍵點所在的尺度還用以確定特征區(qū)域的大小，在每個特征區(qū)域內(nèi)以梯度方向的直方圖為基礎(chǔ)得到局部不變特征向量。SIFT特征點提取方法首先對圖像進(jìn)行預(yù)處理，通過采用高斯差分金字塔分層結(jié)構(gòu)提取出圖像中的極值點作為侯選，并對這些侯選特征點進(jìn)一步篩選掉其中低對比度和處于邊緣的點，最終提取出穩(wěn)定的特征點。 SIFT算法流程1. 尺度空間極值求取SIFT方法第一步就是找出尺度空間的極值，首先構(gòu)建圖像的尺度空間函數(shù)。1) 高斯差分圖像DOG生成高斯卷積核是實現(xiàn)尺度變換的唯一線性核，一副輸入圖像: （）其中是在和之間的卷積運算符， ()是空間坐標(biāo)，是尺度坐標(biāo)。為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點，提出了高斯差分尺度空間(DOG scalespace)。利用不同尺度的高斯差分核與圖像卷積生成。 ()。首先對圖像進(jìn)行預(yù)處理以消除圖像模糊，對提取穩(wěn)定的特征點有好處。采用高斯函數(shù)先對圖像進(jìn)行卷積運算，以達(dá)到預(yù)處理的目的。接著對圖像使用不同的采樣距離以形成一個金字塔圖像分層結(jié)構(gòu)，這就意味著將原來圖像放大一倍，第一次采樣的圖像作為第一組的圖像，然后以成倍的采樣距離即4個像素再分別對圖像進(jìn)行采樣從而產(chǎn)生第二、三、四組的圖像。這樣就形成一個金字塔形狀的圖像分層結(jié)構(gòu)。不同采樣形成金字塔分層結(jié)構(gòu)，然后用高斯內(nèi)核函數(shù)對其進(jìn)行濾波形成高斯金字塔圖像分層結(jié)構(gòu)，對各層圖形進(jìn)行高斯濾波時分別采用不同的高斯濾波因子。原始圖像通過高斯函數(shù)進(jìn)行卷積生成一組圖像，這些圖像在尺度空間中借助常量k被分離。再將尺度空間中的每組分隔成一整數(shù)的間隔，令k =，所以，每組中的圖像數(shù)必須為s+3個，極值檢測才能覆蓋一組中所有圖像，論文中s為2。利用高斯差分金字塔分層結(jié)構(gòu)提取出圖像中的極值點作為候選特征點，并對這些候選特征點進(jìn)一步篩選掉其中低對比度和處于邊緣的特征點，最終提取出穩(wěn)定的特征點。在文中取為，第二層濾波因子增加k倍，依次增加濾波因子直到最高層第五層。第三組和第四組中圖像層的濾波因子也和上面的方法相同，依次增加濾波因子。 高斯 雙高斯差（DoG） 候選特征點生成圖 2) 空間極值點檢測為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的92個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。小尺度4x4中尺度2x2大尺度1x1 DoG尺度空間局部極值檢測2. 特征點位置確定一旦通過上面步驟得到了侯選特征點，下一步就是確定穩(wěn)定特征點的位置、尺度、曲率等信息。通過下面操作可以將侯選特征點中低對比度(對噪聲敏感)或位于邊緣的侯選特征點過濾掉。1) 精確確定極值點位置通過擬和三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度(達(dá)到亞像素精度)，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點(因為DoG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng))，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。2) 邊緣響應(yīng)的去除一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。主曲率通過一個22的Hessian矩陣H求出: ()導(dǎo)數(shù)由采樣點相鄰差估計得到。D的主曲率和H的特征值成正比，令為最大特征值，為最小的特征。 () ()令，則： ()的值在兩個特征值相等的時候最小，隨著的增大而增大，因此，為了檢測主曲率是否在某域值下，只需檢測 ()在Lowe的文章[15]中，?。?0。3. 特征點方向確定基于圖像屬性為每個特征點賦一個方向，在后面特征點描述符中將會用到特征點的方向并對特征點的特性進(jìn)行描述。利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。 在實際計算時，在以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0～360度，其中每10度一個柱，總共36個柱。直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個方向認(rèn)為是該關(guān)鍵點的輔方向。一個關(guān)鍵點可能會被指定具有多個方向(一個主方向，一個以上輔方向)，這可以增強(qiáng)匹配的魯棒性。 4. 特征點描述符的確定通過以上步驟得到了每個特征點的位置、尺度、方向,下一步將為每個特征點建立一個描述符，使其不隨各種變化而變化，比如光線變化、視角變化等。并且特征點描述符要盡量與眾不同，以便于特征點間的匹配。將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向，以確保旋轉(zhuǎn)不變性。為了增強(qiáng)匹配的穩(wěn)健性，Lowe建議對每個關(guān)鍵點使用44共16個種子點來描述，這樣對于一個關(guān)鍵點就可以產(chǎn)生128個數(shù)據(jù)，即最終形成128維的SIFT特征向量。此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進(jìn)一步去除光照變化的影響。 實驗分析實驗測試SIFT不變特征提取算法及采用特征點歐氏距離法最近鄰(NN)匹配方法的效果與性能，通過其在旋轉(zhuǎn)、尺度變化、噪聲干擾、照度變化等情況下的匹配實驗的結(jié)果分析，驗證該算法在圖像匹配時的有效性及適用性。實驗實現(xiàn)SIFT及最近鄰匹配算法時，利用了開源函數(shù)庫(OpenCV)，它包含了一系列C函數(shù)和少量C++類。在安裝好Visual C++的Windows操作系統(tǒng)下運行安裝文件完成安裝過程。每創(chuàng)建一個將要使用OpenCV的VC++ Project都需要給它指定需要的lib菜單：ProjectSettings,然后將Settings for選為All Configurations，選擇右邊的link標(biāo)簽，在Object/library modules附加上： 。實驗結(jié)果圖中提取出的特征向量用箭頭表示，箭頭起點表示特征點在圖像中的二維坐標(biāo)位置，箭頭長度代表了關(guān)鍵點所處的尺度，箭頭方向代表了該尺度下關(guān)鍵點所處鄰域的主梯度方向。在匹配結(jié)果圖中將識別出的匹配點用直線進(jìn)行連接。1. 旋轉(zhuǎn)不變性(a)為原圖像特征向量提取圖，(b)為經(jīng)過逆時針旋轉(zhuǎn)40度圖像特征向量提取圖，(c)所示。(a)中提取出149個特征點，(b)中提取出129個特征點，(c)中有70個特征點匹配到。在圖像存在旋轉(zhuǎn)情況下，兩幅圖像提取得到較多不變特征點，驗證該算法在尺度變化時的不變性。(d)與(e)為對應(yīng)的一個特征區(qū)域的局部放大圖像，從圖中可以看出，這兩個區(qū)域內(nèi)容基本相同。(a)原圖特征向量(d)原圖局部(b)旋轉(zhuǎn)40度特征向量(c)圖像旋轉(zhuǎn)時匹配結(jié)果(e)旋轉(zhuǎn)圖局部 局部旋轉(zhuǎn)不變特征提取及匹配圖2. 一定范圍內(nèi)的尺度不變性(a)、(b)為原圖及尺度變化時特征向量提取圖，(c)，(a)中提取出129個特征點，(b)提取出99個特征點，(c)中有29個特征點匹配到，由匹配結(jié)果可以看出，在圖像尺度發(fā)生變化時，兩幅圖像提取得到得不變特征點數(shù)量較少，表明其在尺度變化時僅能在較小范圍內(nèi)得到不變特征點。(a)原圖特征向量(b)尺度變化圖特征向量(c)圖像尺度變化時匹配結(jié)果 圖像尺度不變特征提取及匹配圖 3. 圖像旋轉(zhuǎn)、縮放共存條件時不變性(a)為原圖特征向量提取圖，(b)為旋轉(zhuǎn)、縮放共存時特征向量提取圖，(c)所示。(a)中提取出846個特征點，(b)中提取出426個特征點，(c)中有163個特征點匹配到。(a)原圖像特征向量(b)圖像旋轉(zhuǎn)、縮放共存時特征向量(c)圖像旋轉(zhuǎn)、縮放共存匹配結(jié)果 旋轉(zhuǎn)、縮放共存時不變特征提取及匹配圖4. 光照、噪聲條件變化時不變性(a)、(b)為不同光照條件下特征向量提取圖，(a)圖提取出532個特征點，(b)圖提取出446個特征點，(c)中有15個特征點匹配到；(b)為在原圖基礎(chǔ)上添加10%高斯噪聲后特征點提取結(jié)果圖。(a)中提取出532個特征點，(b)圖提取出428個特征點，(c)中85個特征點匹配到。(a)原圖特征向量(b)光照變化特征向量(c)圖像光照變化時匹配結(jié)果 光照變化不變特征提取及匹配圖(a)原圖特征向量(b)添加10%噪聲特征向量(c)圖像添加10%噪聲匹配圖 添加噪聲不變特征提取及匹配圖根據(jù)前文對SIFT特征點提取算法原理研究，從實驗結(jié)果可以看出該算法提取出的特征點對圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時表現(xiàn)出較強(qiáng)的魯棒性。但該算法在對提取出的特征點進(jìn)行描述時，采用128維的高維度向量，算法速度較慢；其次該算法基于局部區(qū)域描述，這就要求圖像滿足足夠多的紋理，否則構(gòu)造出的向量區(qū)別性就不是很大，容易造成誤匹配。 本章小結(jié)本章在分析特征點提取重要性的基礎(chǔ)上，首先對Harris角點提取算法進(jìn)行研究，實驗表明該算法檢測效率高，針對圖像存在旋轉(zhuǎn)情況下有很高的點重復(fù)率，是一種比較有效的點特征提取算法，但它在尺度和噪聲發(fā)生變化情況下表現(xiàn)的魯棒性差；針對Harris 算法的不足，對局部不變特征點提取SIFT算法進(jìn)行研究，實驗表明該算法提取出的特征點對圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時表現(xiàn)出較強(qiáng)的魯棒性，但該算法速度較慢，并且要求圖像滿足足夠多的紋理。圖像特征點提取及匹配算法研究 第三章 H/S特征點提取算法改進(jìn)第三章 改進(jìn)的H/S特征點提取算法經(jīng)過前面章節(jié)的分析，不同的特征點提取算法具有各自的優(yōu)缺點，單一的方法在具體的應(yīng)用中，具有一定的局限性。比較分析Harris角點檢測算法和SIFT特征點提取算法，揚長避短，對它們進(jìn)行有效的結(jié)合，使特征點的提取獲得更好的效果。本章在改進(jìn)Harris算法關(guān)鍵步驟的基礎(chǔ)上，結(jié)合SIFT算法中所使用的多尺度理論和特征點描述思想進(jìn)行結(jié)合的方案進(jìn)行研究。提出了一種新的圖像特征點提取算法——H/S(HarrisSIFT)算法。 H/S算法分析 H/S算法提出的可行性分析上一章詳細(xì)介紹了Harris角點檢測算法和SIFT特征點提取算法，兩種方法都有自己的優(yōu)缺點，這給兩種方