【正文】 (a) (b) (c) 三角形的旋轉(zhuǎn)和縮放不變性假設(shè)兩點集，其中，之間的最大匹配點子集，且，點匹配的任務(wù)就是找出這些匹配點集。 本章小結(jié)本章根據(jù)Harris特征點提取算法提取特征點速度快、效率高的優(yōu)點，結(jié)合局部不變特征點SIFT提取算法尺度不變性和抗噪性強的優(yōu)點，提出了一種新的H/S特征點提取算法。 分情況特征點提取結(jié)果分析實驗實現(xiàn)H/S特征點提取算法，測試其在圖像存尺度變化、噪聲等情況下的點重復(fù)率，驗證其對于傳統(tǒng)Harris算法尺度不變性和抗噪性的改進性能?？梢娞卣鼽c描述符不受圖像光線仿射變化的任何影響。由關(guān)鍵點的鄰域梯度信息生成特征向量，以關(guān)鍵點為中心取88的窗口，(a)的中央黑點為當(dāng)前關(guān)鍵點的位置，每一個小格代表關(guān)鍵點鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值，圖中的圓環(huán)代表高斯加權(quán)的范圍(越靠近關(guān)鍵點的像素梯度方向信息貢獻越大)，然后在每44的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值即可形成一個種子點。 (a) 沒有明顯的極值點 (b) 有多個極值點 (c) 只有單個極值點 尺度不變檢測函數(shù)選擇根據(jù)上述原則，選取DOG(DifferenceofGaussians)函數(shù)()，作為獲取特征尺度的函數(shù)。特征點描述符的計算過程：首先在確定了特征點的尺度基礎(chǔ)上，針對圍繞著特征點的圖像梯度大小和方向采樣并將其表示出，為了達到方向的不變性，描述符的坐標和梯度方向隨著特征點方向的改變而改變；然后通過關(guān)鍵點的鄰域梯度信息生成特征向量。多尺度理論在多個尺度上研究物體，從而獲得物體的全面可靠的信息。首先對于Harris角點檢測算法來說，它是基于圖像灰度的提取算法，通過計算曲率及梯度來達到檢測角點的目的，特征點的檢測效率高。(a)原圖特征向量(b)光照變化特征向量(c)圖像光照變化時匹配結(jié)果 光照變化不變特征提取及匹配圖(a)原圖特征向量(b)添加10%噪聲特征向量(c)圖像添加10%噪聲匹配圖 添加噪聲不變特征提取及匹配圖根據(jù)前文對SIFT特征點提取算法原理研究，從實驗結(jié)果可以看出該算法提取出的特征點對圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時表現(xiàn)出較強的魯棒性。(a)中提取出149個特征點，(b)中提取出129個特征點，(c)中有70個特征點匹配到。此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進一步去除光照變化的影響。梯度直方圖的范圍是0～360度，其中每10度一個柱，總共36個柱。1) 精確確定極值點位置通過擬和三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度(達到亞像素精度)，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點(因為DoG算子會產(chǎn)生較強的邊緣響應(yīng))，以增強匹配穩(wěn)定性、提高抗噪聲能力。再將尺度空間中的每組分隔成一整數(shù)的間隔，令k =，所以，每組中的圖像數(shù)必須為s+3個，極值檢測才能覆蓋一組中所有圖像，論文中s為2。利用不同尺度的高斯差分核與圖像卷積生成。同時由于Harris算法采用了偏導(dǎo)來計算角點函數(shù)，雖然經(jīng)過高斯濾波，但對噪聲仍比較敏感。(a) 原圖像(b) 添加10%高斯噪聲圖像 圖像添加噪聲時角點提取結(jié)果圖4. 設(shè)置不同閾值時角點不變性由前文針對Harris算法提取角點步驟可知，設(shè)置閾值大小不同時得到的角點數(shù)目也隨之改變。5) 設(shè)定閾值，選取一定量的角點?？蔀榫匦未盎蚋咚勾?。它通過計算曲率及梯度來達到檢測角點的目的。并利用特征點組成基線向量后得到三角形組形成多個模板在實物圖中進行匹配，提高了三角形匹配算法的實時性和穩(wěn)定性。它是圖像分析和處理的基本問題?；趫D像特征的匹配方法可以克服利用圖像灰度信息進行匹配的缺點，由于圖像的特征點比圖像總的像素要少很多，這樣就大大減少了匹配過程的計算量；而且特征點的提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應(yīng)能力。將每個子窗口的方向分成8個方向計算。不同的圖像變換模型又具有不同的匹配方法，如在一些應(yīng)用領(lǐng)域中，根據(jù)已有的先驗知識可以直接計算出縮放比例，如在地球資源衛(wèi)星圖像的配準中，可以直接利用給定圖像的比例信息，而只需要考慮在一些區(qū)域被遮擋的情況下存在的平移與旋轉(zhuǎn)。這些特征是圖像內(nèi)容更抽象的描述，在不同的光照下具有更多的不變性。這種不變性對于諸如需要穩(wěn)定和重復(fù)性特點以用來支持目標的識別的移動機器人這樣的應(yīng)用程序是相當(dāng)重要的。局部不變特征提取方法的研究已成為了一個非常活躍的研究方向[13]，出現(xiàn)了大批研究成果，其中部分成果已達到了實用階段。基于邊緣提取的角點檢測算法的基本思想是：角點是一種邊緣上的點，它是一種特殊的邊界點，即兩條以上邊界的交點。芬蘭的Oulu大學(xué)機器視覺小組于2004年開始進行幾何不變性方面的研究，提出了一種具有完全仿射不變性的特征提取方法，并用于目標識別與配準。 研究現(xiàn)狀綜述 特征點提取研究現(xiàn)狀在實際問題中圖像可能受到噪聲、背景的干擾，也可能發(fā)生平移、尺度、視角、光照等變化，如何選擇合理的特征和描述算子，使得這些特征不僅具有良好的表征性能，而且在上述因素變化下保持相對不變(即不變性)，直接決定了基于特征點的圖像匹配效果。目前已有許多有關(guān)此類問題的如Sanjay Ranade等提出的松弛算法[2]、Zsolt Mikl243。近幾年在許多領(lǐng)域中，都對圖像配準進行了大量的研究，比較有代表的有：模式識別、自動導(dǎo)航、遙感領(lǐng)域、醫(yī)學(xué)診斷、計算機視覺等。本文提出了一種新的特征點檢測算法，并根據(jù)三角形相似原理，提出一種改進特征點匹配方法。傳統(tǒng)的三角形相似匹配方法雖然實現(xiàn)簡單，魯棒性好，但時間復(fù)雜度高，針對此局限性，本文提出了一種改進三角形匹配方法，將傳統(tǒng)方法被動搜索相似三角形變?yōu)樵趶?fù)數(shù)空間下選擇基線后主動構(gòu)造相似三角形，并利用特征點組成基線向量對應(yīng)三角形組得到多個模板在實物圖中匹配，提高了改進算法的實時性和穩(wěn)定性?；诨叶鹊钠ヅ渚褪侵鹣袼氐匕岩粋€以一定大小的實時圖像窗口的灰度矩陣與實際圖像的所有可能的窗口灰度矩陣按某種相似性度量方法進行搜索比較的匹配方法。特征提取方法一般包含兩個階段：一是對圖像進行分割，提取目標區(qū)域或其邊界，抽取目標的基本特征，如灰度、紋理、形狀描述。這些研究主要集中于以下幾方面：1) 不變特征的選取，如圖像的點、線、輪廓，像素點的強度、曲率、矩、特征向量等。目前在特征點提取方面，基于角點、局部不變特征點提取研究得到廣泛關(guān)注。直接基于圖像灰度的角點檢測，依據(jù)角點是局部內(nèi)灰度和梯度變換劇烈的極大點，所以這類算法所應(yīng)用的手段主要是通過計算曲率及梯度來達到檢測角點的目的。Lowe利用尺度空間性質(zhì)，提出了一種尺度不變關(guān)鍵點(Keypoint)檢測方法[14][15]，以同時在尺度域和空間域取得極值的點作為關(guān)鍵點，并以關(guān)鍵點作為特征區(qū)域的中心，同時，關(guān)鍵點所在的尺度還用以確定特征區(qū)域的大小。近年來還出現(xiàn)了許多局部不變特征提取方法，如基于視覺顯著性的局部不變特征提取[17]和基于微分幾何測地線概念的方法[18]，后者甚至對非仿射變換造成的幾何形變具有很好的不變性。以上的大多數(shù)方法都隱含地引入了一些約束，如動態(tài)規(guī)劃法就需要順序不變約束?；谔卣鼽c匹配方法主要分為如下幾類：1)直接基于特征點屬性的匹配方法(基于描述符的匹配方法)。這類方法不直接對特征點逐一進行匹配，它利用特征點之間相似和穩(wěn)定幾何結(jié)構(gòu)，如邊、三角形等進行匹配。在這種條件下，匹配算法如何達到精度高、匹配正確率高、速度快、魯棒性和抗干擾性強以及并行實現(xiàn)成為人們追求的目標。所以本文需要對圖像特征點的匹配方法進行研究，探求更有效、性能更好的圖像特征點匹配方法。實際圖像可能受到噪聲、背景的干擾，也可能發(fā)生光照、尺度、旋轉(zhuǎn)、仿射等變化，圖像特征點的選擇合理和特征點提取質(zhì)量，直接決定了特征點匹配方法的效果。Schmid[27]對Moravec，SUSAN和Harris等基于圖像灰度的角點檢測方法從重復(fù)率和角點周圍的局部區(qū)域所包含的信息量兩個方面進行了對比。 Harris特征點檢測步驟應(yīng)用Harris方法提取圖像中角點的過程可以分為以下幾步：1) 計算圖像像素點在水平和垂直方向上的梯度，以及兩者的乘積，得到M公式()中4個元素的值, 其中，、分別表示在x ,y方向上的一階導(dǎo)數(shù)。1. 旋轉(zhuǎn)不變性(a)為原圖角點提取結(jié)果，(b)為經(jīng)過逆時針旋轉(zhuǎn)30度后的圖像角點提取結(jié)果。因此在圖像配準中通常采用這種算法來提取特征點。SIFT特征點提取方法首先對圖像進行預(yù)處理，通過采用高斯差分金字塔分層結(jié)構(gòu)提取出圖像中的極值點作為侯選，并對這些侯選特征點進一步篩選掉其中低對比度和處于邊緣的點，最終提取出穩(wěn)定的特征點。采用高斯函數(shù)先對圖像進行卷積運算，以達到預(yù)處理的目的。第三組和第四組中圖像層的濾波因子也和上面的方法相同，依次增加濾波因子。D的主曲率和H的特征值成正比，令為最大特征值，為最小的特征。一個關(guān)鍵點可能會被指定具有多個方向(一個主方向，一個以上輔方向)，這可以增強匹配的魯棒性。在安裝好Visual C++的Windows操作系統(tǒng)下運行安裝文件完成安裝過程。(a)原圖特征向量(d)原圖局部(b)旋轉(zhuǎn)40度特征向量(c)圖像旋轉(zhuǎn)時匹配結(jié)果(e)旋轉(zhuǎn)圖局部 局部旋轉(zhuǎn)不變特征提取及匹配圖2. 一定范圍內(nèi)的尺度不變性(a)、(b)為原圖及尺度變化時特征向量提取圖，(c)，(a)中提取出129個特征點，(b)提取出99個特征點，(c)中有29個特征點匹配到，由匹配結(jié)果可以看出，在圖像尺度發(fā)生變化時，兩幅圖像提取得到得不變特征點數(shù)量較少，表明其在尺度變化時僅能在較小范圍內(nèi)得到不變特征點。圖像特征點提取及匹配算法研究 第三章 H/S特征點提取算法改進第三章 改進的H/S特征點提取算法經(jīng)過前面章節(jié)的分析，不同的特征點提取算法具有各自的優(yōu)缺點，單一的方法在具體的應(yīng)用中，具有一定的局限性。所以為圖像中提取穩(wěn)定特征點，首先利用Harris特征點提取算法初步從圖像中提取粗特征點，然后通過多尺度高斯差分剔除部分抗尺度性較差的特征點，在此基礎(chǔ)上結(jié)合描述符信息得到穩(wěn)定特征點。首先構(gòu)建圖像的尺度空間函數(shù)。算法流程圖如下。 DOG函數(shù)圖像 尺度空間下的Harris角點檢測示意圖 特征點描述在根據(jù)傳統(tǒng)Harris算法初步獲得圖像中特征點的基本信息的基礎(chǔ)上，結(jié)合多尺度空間極值求解理論剔除部分偽特征點，并獲得圖像特征點的尺度信息，在此基礎(chǔ)上，根據(jù)特征點的尺度、方向、位置等信息，為每個特征點建立一個描述符，特征點在提取時需要給特征點分配一個主方向，主要目的是通過主方向旋轉(zhuǎn)特征點局部區(qū)域 ,確保特征描述符的旋轉(zhuǎn)不變性。每個區(qū)域中有8個方向箭頭，箭頭的長度與梯度值大小相對應(yīng)，實驗證明最好的描述符應(yīng)為44的柱狀矩陣，矩陣中每個元素占用8個方向位，那么每個特征點的描述符就是一個448=128維向量。但是在本章所提出的H/S算法中，首先已經(jīng)通過Harris特征點提取算法獲得了圖像中的粗特征點，并且在多尺度理論的應(yīng)用下得到了抗尺度變化的特征點，此時特征點的信息量差異已經(jīng)比較大，因此在H/S特征點提取算法中，通過在關(guān)鍵點周圍建立44的窗口，然后在每個窗口中確定一個種子點，計算該種子點分別在，和共4個方向的梯度方向直方圖，繪制每個梯度方向的累加值，這樣對于一個關(guān)鍵點產(chǎn)生16個數(shù)據(jù)，即最終形成16維的H/S特征向量，此時獲得的H/S特征向量不僅提供了特征點的抗旋轉(zhuǎn)、抗噪聲性能，進一步將特征向量歸一化可以獲得對光照變化的有效性。(a)Harris算法提取結(jié)果(b)H/S算法提取結(jié)果(c)Harris算法提取結(jié)果(d)H/S算法提取結(jié)果 圖像尺度變化前后角點檢測比較(原圖像大小的2倍) H/S算法與Harris算法角點檢測點重復(fù)率比較比較尺度點重復(fù)率，改進后的H/S算法提取的角點一致性效果較好。同時采用H/S特征點提取算法將為本文后續(xù)提出改進的特征點匹配算法的實現(xiàn)提供穩(wěn)定的不變特征點。這樣，在嚴格的情況下，真實匹配的點對之間的置信度會大于或等于，但由于出格點的存在，進行同向相似三角形檢實際算法過程中將置信度大于某一閾值的兩點作為最終匹配點。兩個圖像中的三角形在三角空間中的對應(yīng)點之間的距離在范圍內(nèi)，就認為它們相互匹配，即為一個三角形匹配對。通過加權(quán)后，權(quán)值矩陣中數(shù)值大的元素對應(yīng)著匹配點。規(guī)范化使得參數(shù)比例穩(wěn)定，相似三角形具有相似的參數(shù)值。且未利用其他信息對一些偽匹配三角形進行剔除，造成相似三角形對數(shù)過多，容易造成誤匹配。本章改進傳統(tǒng)三角形的的被動搜索為主動搜索，即在實物圖中找到對應(yīng)于模板圖像中的基線后運用復(fù)數(shù)空間理論，構(gòu)造條基線，在實物圖中主動找到以該基線為準的三角形組，然后判斷該三角形組與模板圖像的三角形組是否相似，從而很大程度上減少了檢索三角形的數(shù)量，使算法時間復(fù)雜度由降為。設(shè)實物圖像中提取出個特征點，傳統(tǒng)的同向相似三角形檢索需要對個點組成的個三角形進行同向相似性判斷，三角形相似性判斷方法目前已經(jīng)相當(dāng)成熟。 不同向的兩相似三角形很顯然傳統(tǒng)的同向相似三角形檢索時間復(fù)雜度為，且過程涉及到大量的除法和比較運算。，同向相似三角形檢索只需對條對應(yīng)邊求出對應(yīng)點，然后判斷點是否為特征點即可。根據(jù)復(fù)數(shù)與向量一一對應(yīng)關(guān)系及復(fù)數(shù)相乘的幾何意義，向量對應(yīng)的復(fù)數(shù)可由向量對應(yīng)的復(fù)數(shù)乘以復(fù)數(shù)計算出來，由此點坐標被確定。在得到以為基線構(gòu)造的頂點的幾何坐標位置后，判斷點是否為實物圖像中特征點，若為特征點，進一步結(jié)合點特征向量信息，判斷該特征點與模板圖像中對應(yīng)位置點的描述符信息是否相似，若這兩點特征向量相似度高，則認為找到一個匹配三角形，同理構(gòu)造以為基線組成的所有三角形，若三角形組頂點滿足要求的點達到一定閾值，則認為在實物圖像的該位置找到模板圖像，提高了檢索方法針對性和有效性。實驗中提取出角點用十字劃線標識，并用矩形框標識出實物圖像中識別出的