【正文】 同，以便于特征點間的匹配。(a)中提取出846個特征點，(b)中提取出426個特征點，(c)中有163個特征點匹配到。下面進行提取算法結合方案的具體研究與分析。然后通過判斷()即可檢測出尺度為的特征點。首先特征點描述符向量要被標準化為單位長度。2. 抗噪聲分別用H/S算法和傳統(tǒng)的Harris算法對添加噪聲后的圖像進行檢測。定義 ：從兩幅圖像中任意選擇兩個三角形，它們組成一個三角形對。很明顯點對的權值越高，點對為真正的配對的可能性越大。 改進的相似三角形匹配方法實現(xiàn)根據(jù)以上對于傳統(tǒng)三角形特征點匹配算法的原理及局限性分析，針對傳統(tǒng)三角形匹配算法時間復雜度高，使用單模板匹配的局限性，通過引入基線及基線三角形組的概念，由復數(shù)相乘的幾何意義，將圖像特征點轉移到復數(shù)向量空間中求解，不僅使算法的效率得到提高，同時也增強了算法的可靠性。：的頂點坐標為，對應頂點坐標分別為，則與頂點同方向排列的充分必要條件是()證明：將點、和點、看作空間直角坐標系下的點，可得。然而，則需要求解二元二次方程組以及進行同向性判斷，計算過程比較復雜，下面將采用另一種方法求解點。并且通過構造基線三角形組的思想，使匹配模板由單個模板變?yōu)槎鄠€模板，提高了搜索策略的可靠性。(a)模板圖(b)實物圖 復雜背景下圖像匹配(a)模板圖(b)實物圖 模板圖像旋轉、縮放圖像匹配 本章小結本章在H/S算法提取圖像中穩(wěn)定特征點的基礎上，分析傳統(tǒng)相似三角形匹配算法局限性，引入基線理論并結合特征點描述符信息，改進了三角形的構造方法。在復數(shù)空間下得到對應特征點組成向量的三角形組的基礎上，通過判斷實物圖中對應于模版圖像中的基線的三角形組的頂點為特征點的數(shù)量是否達到一定閾值，若滿足閾值要求，則可以認為在實物圖中找到一個模版圖像，同理遍歷模版圖像中的所有基線，進行相似三角形檢索，找到實物圖中所有的模版圖像。由三角形三邊之間的關系及式()可得：() 由式()知兩圓必交于不同的兩點，且兩點關于邊對稱。于是，通過限制三角形的形成來減少誤匹配的可能及處理三角形的配對。 三角形相似方法局限性假設兩特征點集的數(shù)量都為，每個點集將構成個三角形，方法需要對每對三角形進行相似性判定，時間復雜度。為了計算A組的點i和B組的點j具有共同的三角形的數(shù)目，定義的權值二維表，并初始化為零。對點則可組成對相似的三角形，且以某個點為頂點的三角形有個。圖像中提取出的特征點用十字劃線標識。(b)中每一個關鍵點由22共4個種子點組成，每個種子點有8個方向向量信息。在關鍵點的鄰域梯度信息計算時，以關鍵點為中心建立窗口，通過繪制窗口像素點的梯度方向和梯度模值的累加值，在生成種子點的基礎上得到每個種子點的方向向量信息，這種鄰域方向信息的聯(lián)合增強了特征點的抗噪聲能力。特征點定位較準確，對局部噪聲不敏感，且計算速度快，但是它是在單一尺度下檢測角點，若選用較小窗口高斯卷積后提取角點時則會因為噪聲等因素導致出現(xiàn)眾多角點位置；若選用較大窗口高斯卷積則會因為卷積的圓角效應使角點的位置產(chǎn)生較大的偏移。在圖像存在旋轉情況下，兩幅圖像提取得到較多不變特征點，驗證該算法在尺度變化時的不變性。直方圖的峰值則代表了該關鍵點處鄰域梯度的主方向，即作為該關鍵點的方向。利用高斯差分金字塔分層結構提取出圖像中的極值點作為候選特征點，并對這些候選特征點進一步篩選掉其中低對比度和處于邊緣的特征點，最終提取出穩(wěn)定的特征點。 SIFT特征點提取算法由上節(jié)對Harris特征點提取算法局限性的分析，本節(jié)對目前國內(nèi)外研究廣泛的局部不變特征點提取算法SIFT進行研究，該算法提取出的特征點對圖像尺度和旋轉不變性效果好，對光線變化和噪聲變化也具有較好魯棒性。實驗實現(xiàn)Harris角點檢測算法，測試其在圖像存在旋轉、尺度變化、噪聲等情況下的檢測效果，并分析Harris算法在設置不同閾值情況下提取角點。由于它不需要進行邊緣提取工作，所以在實際中得到了廣泛的應用。圖像特征點匹配方法目前主要分為兩種，即為基于描述符的特征點匹配方法和基于特征點幾何結構的匹配方法。一共具有個子窗口，每個窗口描述是8位的，描述8個方向的梯度的大小值，這樣形成的描述符是維，匹配時只需利用描述符進行配對。但是特征匹配往往有很高的計算代價。局部不變特征提取需要解決兩個問題：一是特征區(qū)域定位，即在哪里提取特征；二是區(qū)域內(nèi)信息描述，即用什么特征量來描述區(qū)域內(nèi)的信息。Oxford大學的機器人研究小組開展視覺不變性方面的研究，他們的主要成果是提出了一種仿射協(xié)變(Covariant)區(qū)域的檢測方法，用于提取圖像局部區(qū)域的仿射不變特征[8]。s等提出的三角形匹配算法[3]等。本文首先對兩種特征點提取算法(Harris算法和SIFT算法)進行分析比較，Harris角點檢測算法效率高，但對尺度變化和抗噪性的魯棒性差，SIFT算法對尺度變化及抗噪性魯棒性好，但算法時間復雜度高，且對圖像紋理要求高，本文結合兩種算法的優(yōu)點，提出了一種新的H/S特征點提取算法，該算法特征點檢測效率高，并且尺度不變性及抗噪性得到很大改善。這些方法大致可分為基于灰度值的方法和基于特征的方法兩大類[1]。圖像特征的不變性研究目前已取得了大量的研究成果。主要缺點是對邊緣提取算法依賴性大，如果提取的邊緣發(fā)生錯誤，或是邊緣線發(fā)生中斷(在實際中經(jīng)常會遇到這種情況)，則對角點的提取結果將造成較大影響。當相比于SIFT，SURF的速度要更快，但是在圖像出現(xiàn)視角和光照變化上匹配的效果沒有SIFT好。這樣使匹配算法能夠簡化為只考慮有平移、旋轉的情況下求解點集之間的對應關系，但在很多實際應用中，由于存在圖像噪聲及視場變換還有不同時間和不同傳感器獲取的圖像等因素，待匹配的兩幅圖像中不可避免出現(xiàn)虛假點、丟失點以及非剛性形變。由于時間、視角、環(huán)境的變化、多種傳感器的使用等，使拍攝的圖像不僅受到噪聲的影響，而且存在嚴重的灰度失真和幾何畸變。圖像特征點提取及匹配算法研究 第二章 圖像特征點提取算法研究第二章 圖像特征點提取算法研究圖像特征點提取是圖像處理和計算機視覺的基本技術，它也是特征點匹配方法的首要步驟。實際運用中用來計算角點的響應函數(shù)可以寫成： ()其中，當某個區(qū)域矩陣的主對角線之和很大時，則表明這是一條邊；當矩陣的行列式很大時，則表明這是一條邊或一個角點。(a)閾值設置為5000(b)閾值設置為10000(c)閾值設為15000(d)閾值設置為20000 設置不同閾值時角點提取結果圖通過對Harris算法提取圖像特征點的原理及實驗結果分析，可以看出Harris算法在圖像存在旋轉情況下有很高的點重復數(shù)，是一種比較有效的點特征提取算法。首先對圖像進行預處理以消除圖像模糊，對提取穩(wěn)定的特征點有好處。主曲率通過一個22的Hessian矩陣H求出: ()導數(shù)由采樣點相鄰差估計得到。實驗實現(xiàn)SIFT及最近鄰匹配算法時，利用了開源函數(shù)庫(OpenCV)，它包含了一系列C函數(shù)和少量C++類。 本章小結本章在分析特征點提取重要性的基礎上，首先對Harris角點提取算法進行研究，實驗表明該算法檢測效率高，針對圖像存在旋轉情況下有很高的點重復率，是一種比較有效的點特征提取算法，但它在尺度和噪聲發(fā)生變化情況下表現(xiàn)的魯棒性差；針對Harris 算法的不足，對局部不變特征點提取SIFT算法進行研究，實驗表明該算法提取出的特征點對圖像的旋轉、縮放及光照、噪聲變化時表現(xiàn)出較強的魯棒性，但該算法速度較慢，并且要求圖像滿足足夠多的紋理。多尺度下提取圖像的特征點，將尺度看作是附加在圖像空間上的一維連續(xù)變化的坐標。在每一個尺度水平上提取出在鄰域內(nèi)的局部極值點，然后選取大于給定閾值的極值點作為候選點，最后驗證這些點是否在DOG算子尺度空間上獲得極值，若能獲得極值，則是特征點；否則舍棄。因此利用了128維的向量信息以提高其抗旋轉及抗噪聲等性能。本章將尺度空間理論和特征點描述符的思想應用到傳統(tǒng)的Harris角點檢測的方法中，實現(xiàn)了具有平移、旋轉、抗尺度和抗噪聲變化的H/S特征點提取算法。由上面的定義可知，三角形映射到三角空間中是被限制在一個三角形區(qū)域中()，但是對于相似三角形，無論它如何平移、旋轉或縮放，它總是投影在空間的同一點。規(guī)范化可能是一組中所有三角形關于這個屬性的平均值。 匹配算法流程 三角形選取方案研究1. 改進選取三角形思路根據(jù)傳統(tǒng)的基于相似三角形匹配方法，模板圖像中個特征點，任意可組成個三角形，然后逐個使用每個三角形在實物圖像中尋找相似三角形，是一種被動檢索方式，顯然這種方法基數(shù)非常大，所需要比較的三角形個數(shù)很多，時間復雜度也就相應的增加。不能由旋轉得到。假設中向量到向量的角度為，與的比值為，可知只需中向量到向量的角度為，與的比值為，則與同向相似。 實驗結果與分析實驗實現(xiàn)改進的相似三角形特征點匹配算法，驗證其在圖像存在旋轉、縮放、噪聲以及復雜背景下物體識別的準確性及算法效率。實驗使用VC++，首先利用H/S特征點提取算法提取出圖像中特征點，得到待匹配的兩幅圖像對應特征點集。稱復數(shù)為旋轉因子，可由向量對應的復數(shù)與向量對應的復數(shù)相除得到。本文將采用一種主動的相似三角形檢索方法，時間復雜度僅為。2. 奇異三角形的去除奇異三角形是指存在夾角近似于或的三角形()。這個思想在于運用這些參數(shù)可以限制一些匹配，比如比較大的三角形僅僅和比較大的三角形匹配。2． 三角形匹配窮舉方法就是用A組中的每一個三角形去和B組中的每一個三角形進行比較，而每一次的比較都涉及到笛卡爾距離的計算。圖像特征點提取及匹配算法研究 第四章 基于H/S的特征點匹配方法第四章 基于H/S的特征點匹配方法本章在使用改進的H/S特征點提取算法檢測圖像的特征點基礎上，結合特征點間的幾何結構，根據(jù)三角形相似性原理提出一種改進的相似三角形匹配方法，大大降低了傳統(tǒng)相似三角形匹配算法的時間復雜性，并提高了算法的可靠性和準確性。H/S特征向量的構造過程使用了16維的梯度信息，與SIFT特征向量的128維相比，極大的提高了特征向量的構造效率，同時由于H/S對于特征向量的構造是在獲得抗尺度變化的特征點基礎上，因此構造特征向量的數(shù)量也大為降低。 () ()式()、()為處梯度的模值和方向公式。Koenderink和Lindeberg(1994)[14]研究發(fā)現(xiàn)高斯函數(shù)是唯一的尺度空間內(nèi)核函數(shù)。比較分析Harris角點檢測算法和SIFT特征點提取算法，揚長避短，對它們進行有效的結合，使特征點的提取獲得更好的效果。每創(chuàng)建一個將要使用OpenCV的VC++ Project都需要給它指定需要的lib菜單：ProjectSettings,然后將Settings for選為All Configurations，選擇右邊的link標簽，在Object/library modules附加上： 。 () ()令，則： ()的值在兩個特征值相等的時候最小，隨著的增大而增大，因此，為了檢測主曲率是否在某域值下，只需檢測 ()在Lowe的文章[15]中，?。?0。接著對圖像使用不同的采樣距離以形成一個金字塔圖像分層結構，這就意味著將原來圖像放大一倍，第一次采樣的圖像作為第一組的圖像，然后以成倍的采樣距離即4個像素再分別對圖像進行采樣從而產(chǎn)生第二、三、四組的圖像。但是Harris特征點檢測算法也存在著一定的局限性。2) 對圖像進行高斯濾波，得到新的M。本章針對實際情況的復雜多樣性，對兩種特征點提取方法(Harris算法和SIFT算法)進行分析研究。本文在研究現(xiàn)有的一些特征檢測算法及匹配方法基礎上，以計算機視覺的不變理論為基礎，本文主要研究內(nèi)容如下所述。這類方法在提取特征點后，對特征點進行不同的描述，用來區(qū)別其它特征點，然后用描述符進行匹配。 特征點匹配研究現(xiàn)狀特征點匹配就是將不同圖像上由同一場景點投影而成的特征點對找出來。由于它不需要進行邊緣提取工作，所以在實際中得到了廣泛的應用。2) 不變性獲取的途徑，如通過特征變換、小波理論、神經(jīng)網(wǎng)絡、編碼技術、特征描述子的構造等。為了克服基于灰度匹配方法缺點，提出了基于特征的匹配方法。圖像匹配分為基于灰度的方法和基于特征的方法，前者簡單易行，但算法時間復雜度高，難以處理圖像存在旋轉和尺度變化等情況，后者在適應性和速度方面有很大優(yōu)勢，但圖像特征的提取以及如何建立特征之間的對應關系一直是這類方法的研究難題。如何建立圖像興趣點之間的對應關系一直是這類方法的研究熱點。在相關領域中，具有代表性的研究機構是加拿大British Columbia大學智能計算實驗室，該實驗室開展了局部仿射不變特征提取方面的工作，其研究成果已應用于目標識別[4]、全景圖拼接[5]、虛擬現(xiàn)實[6]、機器人自主導航[7]等領域。由于不用對目標進行分割或提取輪廓等預處理，不需要得到目標的全部信息，因此與全局的方法相比，其適用面更廣。2) 基于特征的匹配(FeatureBased Matching，F(xiàn)BM)，在匹配前先要抽取邊或區(qū)域等特征。SIFT描述符[15]將特征點周圍的窗口分割成16個的子窗口，然后統(tǒng)計每個子窗口的方向梯度直方圖。2. 圖像特征點匹配方法研究圖像特征點匹配的目的是在兩幅圖像之間建立盡可能多的匹配點對。前者往往需要對圖像邊緣進行編碼，這在很大程度上依賴于圖像的分割和邊緣提取，而這兩種操作本身就具有相當大的難度和計算量，況且一旦待檢測目標局部發(fā)生變化(例如被部分遮擋)，則很可能導致圖像分割和圖像邊緣提取操作的失敗，所以這種方法的適用范圍