【正文】 種新的圖像特征點提取算法——H/S(HarrisSIFT)算法。比較分析Harris角點檢測算法和SIFT特征點提取算法，揚長避短，對它們進行有效的結合，使特征點的提取獲得更好的效果。 本章小結本章在分析特征點提取重要性的基礎上，首先對Harris角點提取算法進行研究，實驗表明該算法檢測效率高，針對圖像存在旋轉(zhuǎn)情況下有很高的點重復率，是一種比較有效的點特征提取算法，但它在尺度和噪聲發(fā)生變化情況下表現(xiàn)的魯棒性差；針對Harris 算法的不足，對局部不變特征點提取SIFT算法進行研究，實驗表明該算法提取出的特征點對圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時表現(xiàn)出較強的魯棒性，但該算法速度較慢，并且要求圖像滿足足夠多的紋理。(a)原圖特征向量(b)光照變化特征向量(c)圖像光照變化時匹配結果 光照變化不變特征提取及匹配圖(a)原圖特征向量(b)添加10%噪聲特征向量(c)圖像添加10%噪聲匹配圖 添加噪聲不變特征提取及匹配圖根據(jù)前文對SIFT特征點提取算法原理研究，從實驗結果可以看出該算法提取出的特征點對圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時表現(xiàn)出較強的魯棒性。(a)原圖像特征向量(b)圖像旋轉(zhuǎn)、縮放共存時特征向量(c)圖像旋轉(zhuǎn)、縮放共存匹配結果 旋轉(zhuǎn)、縮放共存時不變特征提取及匹配圖4. 光照、噪聲條件變化時不變性(a)、(b)為不同光照條件下特征向量提取圖，(a)圖提取出532個特征點，(b)圖提取出446個特征點，(c)中有15個特征點匹配到；(b)為在原圖基礎上添加10%高斯噪聲后特征點提取結果圖。(a)原圖特征向量(b)尺度變化圖特征向量(c)圖像尺度變化時匹配結果 圖像尺度不變特征提取及匹配圖 3. 圖像旋轉(zhuǎn)、縮放共存條件時不變性(a)為原圖特征向量提取圖，(b)為旋轉(zhuǎn)、縮放共存時特征向量提取圖，(c)所示。(d)與(e)為對應的一個特征區(qū)域的局部放大圖像，從圖中可以看出，這兩個區(qū)域內(nèi)容基本相同。(a)中提取出149個特征點，(b)中提取出129個特征點，(c)中有70個特征點匹配到。在匹配結果圖中將識別出的匹配點用直線進行連接。每創(chuàng)建一個將要使用OpenCV的VC++ Project都需要給它指定需要的lib菜單：ProjectSettings,然后將Settings for選為All Configurations，選擇右邊的link標簽，在Object/library modules附加上： 。實驗實現(xiàn)SIFT及最近鄰匹配算法時，利用了開源函數(shù)庫(OpenCV)，它包含了一系列C函數(shù)和少量C++類。此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進一步去除光照變化的影響。將坐標軸旋轉(zhuǎn)為關鍵點的方向，以確保旋轉(zhuǎn)不變性。 4. 特征點描述符的確定通過以上步驟得到了每個特征點的位置、尺度、方向,下一步將為每個特征點建立一個描述符，使其不隨各種變化而變化，比如光線變化、視角變化等。在梯度方向直方圖中，當存在另一個相當于主峰值80%能量的峰值時，則將這個方向認為是該關鍵點的輔方向。梯度直方圖的范圍是0～360度，其中每10度一個柱，總共36個柱。利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。 () ()令，則： ()的值在兩個特征值相等的時候最小，隨著的增大而增大，因此，為了檢測主曲率是否在某域值下，只需檢測 ()在Lowe的文章[15]中，取＝10。主曲率通過一個22的Hessian矩陣H求出: ()導數(shù)由采樣點相鄰差估計得到。1) 精確確定極值點位置通過擬和三維二次函數(shù)以精確確定關鍵點的位置和尺度(達到亞像素精度)，同時去除低對比度的關鍵點和不穩(wěn)定的邊緣響應點(因為DoG算子會產(chǎn)生較強的邊緣響應)，以增強匹配穩(wěn)定性、提高抗噪聲能力。小尺度4x4中尺度2x2大尺度1x1 DoG尺度空間局部極值檢測2. 特征點位置確定一旦通過上面步驟得到了侯選特征點，下一步就是確定穩(wěn)定特征點的位置、尺度、曲率等信息。 高斯 雙高斯差（DoG） 候選特征點生成圖 2) 空間極值點檢測為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。在文中取為，第二層濾波因子增加k倍，依次增加濾波因子直到最高層第五層。再將尺度空間中的每組分隔成一整數(shù)的間隔，令k =，所以，每組中的圖像數(shù)必須為s+3個，極值檢測才能覆蓋一組中所有圖像，論文中s為2。不同采樣形成金字塔分層結構，然后用高斯內(nèi)核函數(shù)對其進行濾波形成高斯金字塔圖像分層結構，對各層圖形進行高斯濾波時分別采用不同的高斯濾波因子。接著對圖像使用不同的采樣距離以形成一個金字塔圖像分層結構，這就意味著將原來圖像放大一倍，第一次采樣的圖像作為第一組的圖像，然后以成倍的采樣距離即4個像素再分別對圖像進行采樣從而產(chǎn)生第二、三、四組的圖像。首先對圖像進行預處理以消除圖像模糊，對提取穩(wěn)定的特征點有好處。利用不同尺度的高斯差分核與圖像卷積生成。1) 高斯差分圖像DOG生成高斯卷積核是實現(xiàn)尺度變換的唯一線性核，一副輸入圖像: （）其中是在和之間的卷積運算符， ()是空間坐標，是尺度坐標。 SIFT特征點提取算法原理及步驟SIFT算法是Lowe[14]利用尺度空間性質(zhì)提出的一種尺度不變關鍵點的檢測方法，主要利用目標局部區(qū)域的信息來構造特征量，它以同時在尺度域和空間域取得極值的點作為關鍵點，并以關鍵點作為特征區(qū)域的中心，同時關鍵點所在的尺度還用以確定特征區(qū)域的大小，在每個特征區(qū)域內(nèi)以梯度方向的直方圖為基礎得到局部不變特征向量。同時由于Harris算法采用了偏導來計算角點函數(shù)，雖然經(jīng)過高斯濾波，但對噪聲仍比較敏感。即當尺度變化時，可能檢測出新的角點，或老的角點發(fā)生移位或消失。但是Harris特征點檢測算法也存在著一定的局限性。(a)閾值設置為5000(b)閾值設置為10000(c)閾值設為15000(d)閾值設置為20000 設置不同閾值時角點提取結果圖通過對Harris算法提取圖像特征點的原理及實驗結果分析，可以看出Harris算法在圖像存在旋轉(zhuǎn)情況下有很高的點重復數(shù)，是一種比較有效的點特征提取算法。(a) 原圖像(b) 添加10%高斯噪聲圖像 圖像添加噪聲時角點提取結果圖4. 設置不同閾值時角點不變性由前文針對Harris算法提取角點步驟可知，設置閾值大小不同時得到的角點數(shù)目也隨之改變。(a)原圖像(b)放大2倍圖像 圖像尺度變化角點提取結果圖3. 噪聲情況下的不變性Harris角點檢測算法對于噪聲比較敏感，%高斯噪聲后采用Harris提取出角點的結果圖。從圖中可以看出，Harris算法在圖像旋轉(zhuǎn)時檢測得到角點的重復數(shù)很高，具有良好的抗旋轉(zhuǎn)性能。實驗所提取的角點用十字劃線來標識。5) 設定閾值，選取一定量的角點。 ()4) 選取局部極值點。2) 對圖像進行高斯濾波，得到新的M。實際運用中用來計算角點的響應函數(shù)可以寫成： ()其中，當某個區(qū)域矩陣的主對角線之和很大時，則表明這是一條邊；當矩陣的行列式很大時，則表明這是一條邊或一個角點?？蔀榫匦未盎蚋咚勾?。 Harris特征點檢測原理Harris 角點檢測算法是一種基于信號的點特征提取算子，它的思想是在圖像中設計一個局部檢測窗口，當該窗口沿各個方向作微小移動時，考察窗口的平均能量變化，當該能量變化值超過設定的閾值時，就將窗口的中心像素點提取為角點。實驗結果表明Moravec，SUSAN算法存在較多的誤檢測和漏檢測現(xiàn)象，且對旋轉(zhuǎn)前后的圖像角點檢測不一致，而Harris角點檢測法具有最好的效果。目前在圖像匹配中，常見的基于灰度的角點提取算法主要有Moravec算法，SUSAN算法和Harris算法等。它通過計算曲率及梯度來達到檢測角點的目的。角點檢測方法分為基于邊緣的提取方法和基于圖像灰度的提取方法。本章針對實際情況的復雜多樣性，對兩種特征點提取方法(Harris算法和SIFT算法)進行分析研究。圖像特征點提取及匹配算法研究 第二章 圖像特征點提取算法研究第二章 圖像特征點提取算法研究圖像特征點提取是圖像處理和計算機視覺的基本技術，它也是特征點匹配方法的首要步驟。并利用特征點組成基線向量后得到三角形組形成多個模板在實物圖中進行匹配，提高了三角形匹配算法的實時性和穩(wěn)定性。 第二章主要比較目前常用的兩種特征點匹配方法，分別介紹Harris角點檢測算法和基于描述符的SIFT算法，并分析兩種方法的優(yōu)缺點和適用場合，第三章主要在分析特征點提取算法的基礎上，著重介紹特征點檢測實驗效果好的Harris算法，針對傳統(tǒng)Harris算法存在的局限性，引入尺度空間理論和特征描述思想，提出改進的H/S算法。 論文組織結構本文將圖像特征點的提取方法以及特征點匹配方法作為主要研究對象，針對圖像存在旋轉(zhuǎn)和尺度變化的情況，利用改進H/S算法提取圖像中特征點，并在分析比較兩種常用特征點匹配方法基礎上，提出了一種改進的相似三角形特征點匹配算法?；诿枋龇钠ヅ浞椒▽τ行c的要求低，適合圖像視角變換、輕微變形情況，但是實現(xiàn)復雜，對圖像紋理要就比較高；而基于幾何結構的匹配方法實現(xiàn)簡單、紋理要求低，但是抗圖像形變、視角變化能力差，算法時間復雜度比較高。它是圖像分析和處理的基本問題。由于后續(xù)匹配方法需要圖像在旋轉(zhuǎn)和尺度變換下仍滿足一定比例的有效點，所以本文需要對旋轉(zhuǎn)和尺度不變特征點的提取進行研究。本文在研究現(xiàn)有的一些特征檢測算法及匹配方法基礎上，以計算機視覺的不變理論為基礎，本文主要研究內(nèi)容如下所述。由于時間、視角、環(huán)境的變化、多種傳感器的使用等，使拍攝的圖像不僅受到噪聲的影響，而且存在嚴重的灰度失真和幾何畸變。基于圖像特征的匹配方法可以克服利用圖像灰度信息進行匹配的缺點，由于圖像的特征點比圖像總的像素要少很多，這樣就大大減少了匹配過程的計算量；而且特征點的提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應能力。Shihhsu Chang等人利用二維聚類進行匹配[23]，張立華等利用不可約矩陣和相對不變量理論提出了幾種點模式匹配新算法[24]，它們可分別用來解決相似變換和仿射變換下具有相同點數(shù)的兩個點模式的匹配問題。近年來還出現(xiàn)了許多特征點匹配方法，如D Skea提出了一個累加器算法[21]，其核心思想是平面點模式匹配的一個框架，該算法對噪聲和缺少點及偽點較為魯棒，但計算復雜度較大。2)基于特征點幾何結構的匹配方法[20]。將每個子窗口的方向分成8個方向計算。文獻[19]利用顏色直方圖進行描述，提出了一種快速的特征點匹配方法。這類方法在提取特征點后，對特征點進行不同的描述，用來區(qū)別其它特征點，然后用描述符進行匹配。這樣使匹配算法能夠簡化為只考慮有平移、旋轉(zhuǎn)的情況下求解點集之間的對應關系，但在很多實際應用中，由于存在圖像噪聲及視場變換還有不同時間和不同傳感器獲取的圖像等因素，待匹配的兩幅圖像中不可避免出現(xiàn)虛假點、丟失點以及非剛性形變。不同的圖像變換模型又具有不同的匹配方法，如在一些應用領域中，根據(jù)已有的先驗知識可以直接計算出縮放比例，如在地球資源衛(wèi)星圖像的配準中，可以直接利用給定圖像的比例信息，而只需要考慮在一些區(qū)域被遮擋的情況下存在的平移與旋轉(zhuǎn)。因此可以保證算法有較高的效率，但是線性規(guī)劃法需要消耗大量的內(nèi)存并且要預先估計正確的匹配數(shù)。當這些約束不滿足時，相應的方法就無法使用。除此之外，各種匹配方法所采用的優(yōu)化算法也不盡相同，有的使用全局優(yōu)化算法，如動態(tài)規(guī)劃法、窮舉法、凸規(guī)劃法和松弛法等；還有的使用一些非全局最優(yōu)算法，如貪婪算法，模擬退火算法和隨機搜索算法等。這些特征是圖像內(nèi)容更抽象的描述，在不同的光照下具有更多的不變性。Rosenholm不使用固定大小的窗口，而是用連接窗(connected window)在全局范圍內(nèi)進行匹配)，該方法對于處理重復紋理具有較好的效果。 特征點匹配研究現(xiàn)狀特征點匹配就是將不同圖像上由同一場景點投影而成的特征點對找出來。當相比于SIFT，SURF的速度要更快，但是在圖像出現(xiàn)視角和光照變化上匹配的效果沒有SIFT好。這種不變性對于諸如需要穩(wěn)定和重復性特點以用來支持目標的識別的移動機器人這樣的應用程序是相當重要的。SURF是由Herbert Bay等2006年提出的另一種有效的特征提取方法[16]，與SIFT一樣不僅可以檢測出圖像的興趣點即特征，同時提供了一種創(chuàng)建具有不變描述器的方法。這種方法較好地同時解決了特征區(qū)域定位和大小選擇的問題。下面將分析和比較不同方法如何解決這兩個問題。局部不變特征提取方法的研究已成為了一個非?；钴S的研究方向[13]，出現(xiàn)了大批研究成果，其中部分成果已達到了實用階段。2. 局部不變特征點提取方法局部不變特征點提取方法主要利用目標局部區(qū)域的信息來構造特征量，由于這些一定數(shù)目的局部區(qū)域可能離散地出現(xiàn)在目標的不同位置，當對每個區(qū)域獨立地提取特征時，即使目標位于復雜環(huán)境中或有部分遮擋，通過局部特征提取仍可得到目標的部