【正文】 取算法依賴性大，如果提取的邊緣發(fā)生錯誤，或是邊緣線發(fā)生中斷(在實際中經(jīng)常會遇到這種情況)，則對角點的提取結果將造成較大影響。由于興趣點(角點、拐點等)的信息含量高、數(shù)量相對較少且局部不變等特點，使其在基于特征的匹配中應用最廣。圖像特征的不變性研究目前已取得了大量的研究成果。特征點匹配方法首先依賴于好的特征提取方法，特征點提取方法是從眾多特征中求出那些對分類識別最有效的特征，從而實現(xiàn)特征空間維數(shù)或數(shù)據(jù)量的壓縮。這些方法大致可分為基于灰度值的方法和基于特征的方法兩大類[1]。在采用新的H/S特征點提取算法得到圖像中特征點后，對特征點匹配方法進行研究。本文首先對兩種特征點提取算法(Harris算法和SIFT算法)進行分析比較，Harris角點檢測算法效率高，但對尺度變化和抗噪性的魯棒性差，SIFT算法對尺度變化及抗噪性魯棒性好，但算法時間復雜度高，且對圖像紋理要求高，本文結合兩種算法的優(yōu)點，提出了一種新的H/S特征點提取算法，該算法特征點檢測效率高，并且尺度不變性及抗噪性得到很大改善。經(jīng)過國內外研究者多年的努力，人們提出了多種圖像匹配方法。s等提出的三角形匹配算法[3]等。以計算機視覺的不變理論為基礎，對圖像特征的不變性研究是目前圖像處理的重要環(huán)節(jié)，吸引了眾多研究工作者的興趣。Oxford大學的機器人研究小組開展視覺不變性方面的研究，他們的主要成果是提出了一種仿射協(xié)變(Covariant)區(qū)域的檢測方法，用于提取圖像局部區(qū)域的仿射不變特征[8]。這類算法的基礎就在于先檢測出圖像的邊緣，然后再在此基礎之上檢測出邊緣突然變換的點，就作為檢測角點的結果。局部不變特征提取需要解決兩個問題：一是特征區(qū)域定位，即在哪里提取特征；二是區(qū)域內信息描述，即用什么特征量來描述區(qū)域內的信息。通過研究SURF在處理模糊和旋轉的圖像時表現(xiàn)出很強的優(yōu)點，而在視角變化和光照變化上略差一些。但是特征匹配往往有很高的計算代價。這時相當于提供了一個不變量，即一幅圖像中任意兩個特征點的距離與另一幅圖像對應的特征點之間的距離相等。一共具有個子窗口，每個窗口描述是8位的，描述8個方向的梯度的大小值，這樣形成的描述符是維，匹配時只需利用描述符進行配對。 研究內容特征點提取過程中，需要構建在多種變換下具有良好不變性的特征點提取算法以獲得具有精確性高，區(qū)分度強的不變性圖像特征，并綜合特征局部結構信息，構造特征描述算子。圖像特征點匹配方法目前主要分為兩種，即為基于描述符的特征點匹配方法和基于特征點幾何結構的匹配方法。最后一章對全文工作進行總結，并提出今后研究的問題與方向。由于它不需要進行邊緣提取工作，所以在實際中得到了廣泛的應用。對于每個小的位移量，檢測公式可雙線性近似表示為： ()其中 ()設，是矩陣的兩個特征值，則可表示局部自相關函數(shù)的曲率。實驗實現(xiàn)Harris角點檢測算法，測試其在圖像存在旋轉、尺度變化、噪聲等情況下的檢測效果，并分析Harris算法在設置不同閾值情況下提取角點。從圖中可以看出，將閾值設定較高時，檢測得到的角點數(shù)量明顯下降。 SIFT特征點提取算法由上節(jié)對Harris特征點提取算法局限性的分析，本節(jié)對目前國內外研究廣泛的局部不變特征點提取算法SIFT進行研究，該算法提取出的特征點對圖像尺度和旋轉不變性效果好，對光線變化和噪聲變化也具有較好魯棒性。 ()。利用高斯差分金字塔分層結構提取出圖像中的極值點作為候選特征點，并對這些候選特征點進一步篩選掉其中低對比度和處于邊緣的特征點，最終提取出穩(wěn)定的特征點。2) 邊緣響應的去除一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。直方圖的峰值則代表了該關鍵點處鄰域梯度的主方向，即作為該關鍵點的方向。 實驗分析實驗測試SIFT不變特征提取算法及采用特征點歐氏距離法最近鄰(NN)匹配方法的效果與性能，通過其在旋轉、尺度變化、噪聲干擾、照度變化等情況下的匹配實驗的結果分析，驗證該算法在圖像匹配時的有效性及適用性。在圖像存在旋轉情況下，兩幅圖像提取得到較多不變特征點，驗證該算法在尺度變化時的不變性。但該算法在對提取出的特征點進行描述時，采用128維的高維度向量，算法速度較慢；其次該算法基于局部區(qū)域描述，這就要求圖像滿足足夠多的紋理，否則構造出的向量區(qū)別性就不是很大，容易造成誤匹配。特征點定位較準確，對局部噪聲不敏感，且計算速度快，但是它是在單一尺度下檢測角點，若選用較小窗口高斯卷積后提取角點時則會因為噪聲等因素導致出現(xiàn)眾多角點位置；若選用較大窗口高斯卷積則會因為卷積的圓角效應使角點的位置產生較大的偏移。尺度空間理論正是從多尺度理論發(fā)展而來的，它從人類視覺系統(tǒng)得到啟發(fā)，從多尺度的角度來分析圖像。在關鍵點的鄰域梯度信息計算時，以關鍵點為中心建立窗口，通過繪制窗口像素點的梯度方向和梯度模值的累加值，在生成種子點的基礎上得到每個種子點的方向向量信息，這種鄰域方向信息的聯(lián)合增強了特征點的抗噪聲能力。DOG函數(shù)計算較簡單，是歸一化LOG算子的近似，定義如下： ()算法首先利用Harris算子在尺度上建立個尺度空間的描述，其中表示第尺度，；表示尺度因子自適應調整尺度間的跨度。(b)中每一個關鍵點由22共4個種子點組成，每個種子點有8個方向向量信息。由于傳統(tǒng)的SIFT特征點描述符在構造時，特征點之間的梯度方向及模值差異較小，如果特征向量描述符的維度偏低時則使構造特征向量的特征點之間的區(qū)分度過小，則無法體現(xiàn)出描述符的優(yōu)越性，不利于后續(xù)圖像特征點的匹配。圖像中提取出的特征點用十字劃線標識。H/S算法的實現(xiàn)主要是通過將局部不變特征SIFT特征點提取算法中的多尺度和特征點描述符的理論基礎，將傳統(tǒng)Harris特征點提取算法在單一尺度下檢測角點變?yōu)槎喑叨忍崛?，使檢測出的特征點具有尺度不變性，并且利用經(jīng)多尺度過濾后的特征點的信息量差異較大的特點，構造16維的特征向量極大的提高了特征向量的構造速度。對點則可組成對相似的三角形，且以某個點為頂點的三角形有個。 三角空間的三角形特征由空間中的三個點構成的三角形就可以轉換成空間中用一個點來表示。為了計算A組的點i和B組的點j具有共同的三角形的數(shù)目，定義的權值二維表，并初始化為零。可能的擴展是包括一個與三角形尺寸有關的規(guī)范化參數(shù)，如三角形面積、周長。 三角形相似方法局限性假設兩特征點集的數(shù)量都為，每個點集將構成個三角形，方法需要對每對三角形進行相似性判定，時間復雜度。算法步驟：首先提取圖像特征點，在圖像中選取特征值較高且分布均勻的特征點構成特征點集，并根據(jù)圖像特征點間的歐氏距離及描述符信息條件選擇滿足要求的基線，構造基線三角形組形成相應基線的三角形集合；然后從模版圖像的基線三角形集合中選取三角形子模版，對實物圖像中的特征點進行相似三角形檢索，當找到基線所對應三角形的頂點幾何位置時，在判斷它是否為特征點基礎上，進一步結合該特征點位置的描述符信息剔除偽匹配三角形，在實物圖像中準確定位出模版圖像。于是，通過限制三角形的形成來減少誤匹配的可能及處理三角形的配對。證畢。由三角形三邊之間的關系及式()可得：() 由式()知兩圓必交于不同的兩點，且兩點關于邊對稱。根據(jù)三角形相似判定定理：兩邊對應成比例且夾角相等，則兩三角形相似。在復數(shù)空間下得到對應特征點組成向量的三角形組的基礎上，通過判斷實物圖中對應于模版圖像中的基線的三角形組的頂點為特征點的數(shù)量是否達到一定閾值，若滿足閾值要求，則可以認為在實物圖中找到一個模版圖像，同理遍歷模版圖像中的所有基線，進行相似三角形檢索，找到實物圖中所有的模版圖像。如果是，則進一步判斷該位置特征點的描述符信息與模板圖中對應相似三角形頂點的描述符信息相似度，若相似度滿足要求則輸出為模板的一同向相似三角形，并設置特征點數(shù)量記錄匹配到的同向相似三角形的數(shù)目；4) 判斷與模板圖中對應基線的三角形組的頂點數(shù)量關系，若值達到一定的閾值，則輸出在模板圖像中匹配到一個模板圖像，并用矩形框將其標識出；轉步驟2，繼續(xù)判斷實物圖中特征點集合中的其它基線；5) 算法結束。(a)模板圖(b)實物圖 復雜背景下圖像匹配(a)模板圖(b)實物圖 模板圖像旋轉、縮放圖像匹配 本章小結本章在H/S算法提取圖像中穩(wěn)定特征點的基礎上，分析傳統(tǒng)相似三角形匹配算法局限性，引入基線理論并結合特征點描述符信息，改進了三角形的構造方法。1. 模板圖像旋轉、縮放時匹配、縮放時匹配結果，(a)為模板圖，(b)為實物圖，在(b)中存在與(a)相同、旋轉、尺度變化、旋轉縮放共存的模板圖，用矩形標識出實物圖中存在的模板圖，實驗結果表明該算法對于圖像存在旋轉、縮放情況下的有效性。并且通過構造基線三角形組的思想，使匹配模板由單個模板變?yōu)槎鄠€模板，提高了搜索策略的可靠性。 同向相似三角形 多模板改進方法分析相似三角形的特征點匹配方法利用了三角形的平移、旋轉、縮放不變性，傳統(tǒng)的判定方法目前已經(jīng)比較成熟，所以在對于旋轉和縮放這類圖像匹配的應用方面，具有較為突出的優(yōu)越性。然而，則需要求解二元二次方程組以及進行同向性判斷，計算過程比較復雜，下面將采用另一種方法求解點。且根據(jù)復數(shù)相乘的幾何意義，將圖像特征點轉移到復數(shù)向量空間中求解，大大提高了算法效率。：的頂點坐標為，對應頂點坐標分別為，則與頂點同方向排列的充分必要條件是()證明：將點、和點、看作空間直角坐標系下的點，可得。奇異三角形，由于這些三角形面積狹小及邊和邊之間的關系不明顯而不利于模版圖像的定位，所以不被選為子模版三角形。 改進的相似三角形匹配方法實現(xiàn)根據(jù)以上對于傳統(tǒng)三角形特征點匹配算法的原理及局限性分析，針對傳統(tǒng)三角形匹配算法時間復雜度高，使用單模板匹配的局限性，通過引入基線及基線三角形組的概念，由復數(shù)相乘的幾何意義，將圖像特征點轉移到復數(shù)向量空間中求解，不僅使算法的效率得到提高，同時也增強了算法的可靠性。這個方法很具有直覺性，是人類視覺識別相似三角形的部分技能。很明顯點對的權值越高，點對為真正的配對的可能性越大。然而對三角空間中的B組坐標分別按照進行排序，再使用折半查找法能夠迅速地在組B中找到開始點，只有那些落在范圍之內的點需要進行比較，能夠避免大量的比較。定義 ：從兩幅圖像中任意選擇兩個三角形，它們組成一個三角形對。 相似三角形方法局限性分析由于三角形具有天然的抗平移、旋轉和縮放特性，對于處理圖像間存在平移、旋轉、縮放等情況，具有很好的優(yōu)越性，目前基于三角形幾何結構的匹配方法研究廣泛，因此本節(jié)選擇了能夠較好體現(xiàn)基于幾何結構匹配思想的相似三角形匹配方法進行研究。2. 抗噪聲分別用H/S算法和傳統(tǒng)的Harris算法對添加噪聲后的圖像進行檢測。 (a)圖像梯度 (b)關鍵點描述 特征點描述符根據(jù)以上對于H/S特征點提取算法中多尺度空間理論和特征點描述符理論的實現(xiàn)思想，H/S算法首先利用傳統(tǒng)的Harris特征點提取算法初步得到圖像中的特征點，然后通過多尺度檢測剔除部分抗尺度變化性能弱的特征點，在此基礎上為每個關鍵點的鄰域計算局部圖像梯度的方向直方圖，最后轉換為16維的特征描述符，使H/S特征點描述符具有抗噪聲性能。首先特征點描述符向量要被標準化為單位長度。其中L所用的尺度為每個關鍵點各自所在的尺度。然后通過判斷()即可檢測出尺度為的特征點。作為尺度空間理論中的一個重要概念，尺度空間核被定義為：()對于所有的信號，若它與變換核卷積后得到的信號中的極值(一階微分過零點)不超過原圖像的極值，則稱為尺度空間核，所進行的卷積變換稱為尺度變換。下面進行提取算法結合方案的具體研究與分析。本章在改進Harris算法關鍵步驟的基礎上，結合SIFT算法中所使用的多尺度理論和特征點描述思想進行結合的方案進行研究。(a)中提取出846個特征點，(b)中提取出426個特征點，(c)中有163個特征點匹配到。實驗結果圖中提取出的特征向量用箭頭表示，箭頭起點表示特征點在圖像中的二維坐標位置，箭頭長度代表了關鍵點所處的尺度，箭頭方向代表了該尺度下關鍵點所處鄰域的主梯度方向。并且特征點描述符要盡量與眾不同，以便于特征點間的匹配。3. 特征點方向確定基于圖像屬性為每個特征點賦一個方向，在后面特征點描述符中將會用到特征點的方向并對特征點的特性進行描述。中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的92個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。這樣就形成一個金字塔形狀的圖像分層結構。 SIFT算法流程1. 尺度空間極值求取SIFT方法第一步就是找出尺度空間的極值，首先構建圖像的尺度空間函數(shù)。當圖像間發(fā)生尺度變換時，Harris角點就可能檢測出不一致的角點。(a)原圖像(b)逆時針旋轉30度圖像 圖像旋轉角點提取結果圖 2. 尺度變化不變性(a)為原圖像，(b)為尺度變化后圖像角點檢測結果，由結果圖可以看出Harris算法在尺度發(fā)生變化時圖像中檢測得到的特征點與原圖有較大差別。離散二維零均值高斯函數(shù) ()3) 計算原圖像上對應的每個像素點的興趣值，即R值(角點量cim)。因此本節(jié)主要分析Harris算法。 Harris特征點提取算法角點作為目前圖像匹配中常用的特征點，它是二維圖像亮度變化劇烈或圖像邊緣曲線上曲率極大值的點，決定了目標的輪廓特征，因此被廣泛應用于攝像機標定、虛擬場景重建、運動估計、圖像配準等計算機視覺處理任務中。本文的篇章結構安排如下：第一章為緒論，介紹了圖像特征點、圖像匹配基本概念，相關領域研究現(xiàn)狀，最后闡述了本文的主要研究工作和篇章結構。1. 圖像不變特征點提取算法研究圖像特征點提取是基于特征點匹配方法的首要步驟，在實際問題中，圖像可能受到噪聲、背景的干擾，也可能發(fā)生光照、尺度、旋轉、仿射等變化，如何選擇合理的圖像特征點，使得這些特征點不僅具有良好的抗噪性能，而且在上述變化下保持不變，直接決定了基于特征點的