【正文】 角點(diǎn)、局部不變特征點(diǎn)提取研究得到廣泛關(guān)注。這些點(diǎn)在保留圖像圖形重要特征的同時(shí)，可以有效地減少信息的數(shù)據(jù)量，使其信息的含量很高，有效地提高了計(jì)算的速度，有利于圖像的可靠匹配，使得實(shí)時(shí)處理成為可能。目前角點(diǎn)的檢測(cè)主要分為兩大類：基于圖像邊緣的角點(diǎn)提取算法和直接基于圖像灰度的角點(diǎn)檢測(cè)。這類算法的基礎(chǔ)就在于先檢測(cè)出圖像的邊緣，然后再在此基礎(chǔ)之上檢測(cè)出邊緣突然變換的點(diǎn)，就作為檢測(cè)角點(diǎn)的結(jié)果。直接基于圖像灰度的角點(diǎn)檢測(cè)，依據(jù)角點(diǎn)是局部?jī)?nèi)灰度和梯度變換劇烈的極大點(diǎn)，所以這類算法所應(yīng)用的手段主要是通過計(jì)算曲率及梯度來達(dá)到檢測(cè)角點(diǎn)的目的。目前國(guó)內(nèi)研究角點(diǎn)提取算法重點(diǎn)主要在已有算法的改進(jìn)，如楊莉等基于SUSAN算法提出的RSUSAN (Redefined SUSAN)角點(diǎn)提取算法[9]，使用了更為有效和簡(jiǎn)便的計(jì)算USAN區(qū)域的方法，提高了計(jì)算速度；王建琦等人提出一種改進(jìn)的角點(diǎn)提取方法[10]，該方法是基于MIC算法的改進(jìn)，該算法采用了在方形窗邊界上的線性插值，在插值的基礎(chǔ)上計(jì)算出邊緣角，通過它來對(duì)角點(diǎn)候選點(diǎn)做進(jìn)一步的篩選；李華等人提出了一種新的基于形態(tài)骨架的快速拐點(diǎn)提取方法[11]，該方法基于物體條件骨架原理，采用改進(jìn)的非對(duì)稱開運(yùn)算算子，并利用內(nèi)外骨架分別實(shí)現(xiàn)對(duì)物體凸點(diǎn)和凹點(diǎn)的提取，以保證拐點(diǎn)提取的完整性；張坤華等人提出一種利用圖像灰度特征和邊界輪廓點(diǎn)特征相復(fù)合的角點(diǎn)提取方法[12]，克服了單一特征提取角點(diǎn)所帶來的弊病，提高了角點(diǎn)提取的精度。由于不用對(duì)目標(biāo)進(jìn)行分割或提取輪廓等預(yù)處理，不需要得到目標(biāo)的全部信息，因此與全局的方法相比，其適用面更廣。局部不變特征提取需要解決兩個(gè)問題：一是特征區(qū)域定位，即在哪里提取特征；二是區(qū)域內(nèi)信息描述，即用什么特征量來描述區(qū)域內(nèi)的信息。Lowe利用尺度空間性質(zhì)，提出了一種尺度不變關(guān)鍵點(diǎn)(Keypoint)檢測(cè)方法[14][15]，以同時(shí)在尺度域和空間域取得極值的點(diǎn)作為關(guān)鍵點(diǎn)，并以關(guān)鍵點(diǎn)作為特征區(qū)域的中心，同時(shí)，關(guān)鍵點(diǎn)所在的尺度還用以確定特征區(qū)域的大小。在每個(gè)特征區(qū)域內(nèi)，Lowe以梯度方向的直方圖為基礎(chǔ)構(gòu)造了一種稱為SIFT（Scale Invariant Feature Transform）的局部不變特征提取性能的衡量標(biāo)準(zhǔn)。這樣描述器獨(dú)立地用于識(shí)別所找到的興趣點(diǎn)，同時(shí)能在尺度變化、旋轉(zhuǎn)、光照及視角變化及出現(xiàn)噪聲情況下進(jìn)行很好地匹配。通過研究SURF在處理模糊和旋轉(zhuǎn)的圖像時(shí)表現(xiàn)出很強(qiáng)的優(yōu)點(diǎn)，而在視角變化和光照變化上略差一些。近年來還出現(xiàn)了許多局部不變特征提取方法，如基于視覺顯著性的局部不變特征提取[17]和基于微分幾何測(cè)地線概念的方法[18]，后者甚至對(duì)非仿射變換造成的幾何形變具有很好的不變性。由匹配線索不同，現(xiàn)有的匹配算法基本可以分為兩大類：1) 基于窗口的匹配(AreaBased Matching,ABM)，窗口是由待匹配點(diǎn)附近的像素灰度值組成的二維矩陣，其中最常用的是用交叉相關(guān)性來匹配，這是目前大多數(shù)匹配算法的基礎(chǔ)。2) 基于特征的匹配(FeatureBased Matching，F(xiàn)BM)，在匹配前先要抽取邊或區(qū)域等特征。但是特征匹配往往有很高的計(jì)算代價(jià)。以上的大多數(shù)方法都隱含地引入了一些約束，如動(dòng)態(tài)規(guī)劃法就需要順序不變約束。Maciel等使用線性規(guī)劃的方法來解決匹配中產(chǎn)生的歧義問題，這種方法可以得到某種意義上的全局最優(yōu)解，并且由于線性規(guī)劃法已經(jīng)很成熟。如何建立特征點(diǎn)之間的對(duì)應(yīng)關(guān)系是基于特征點(diǎn)匹配方法的核心研究課題，雖然特征點(diǎn)匹配技術(shù)起步較晚，但是應(yīng)用的迫切和前景的廣泛使它引起了廣大學(xué)者們的極大關(guān)注，在近十幾年里得到了長(zhǎng)足的發(fā)展，并出現(xiàn)大量的匹配方法。這時(shí)相當(dāng)于提供了一個(gè)不變量，即一幅圖像中任意兩個(gè)特征點(diǎn)的距離與另一幅圖像對(duì)應(yīng)的特征點(diǎn)之間的距離相等?；谔卣鼽c(diǎn)匹配方法主要分為如下幾類：1)直接基于特征點(diǎn)屬性的匹配方法(基于描述符的匹配方法)。利用特征描述符進(jìn)行匹配的方法是在特征點(diǎn)提取過程中，不僅得到特征點(diǎn)的位置，同時(shí)將得到特征點(diǎn)的其他仿射變換下不變的特征點(diǎn)描述。SIFT描述符[15]將特征點(diǎn)周圍的窗口分割成16個(gè)的子窗口，然后統(tǒng)計(jì)每個(gè)子窗口的方向梯度直方圖。一共具有個(gè)子窗口，每個(gè)窗口描述是8位的，描述8個(gè)方向的梯度的大小值，這樣形成的描述符是維，匹配時(shí)只需利用描述符進(jìn)行配對(duì)。這類方法不直接對(duì)特征點(diǎn)逐一進(jìn)行匹配，它利用特征點(diǎn)之間相似和穩(wěn)定幾何結(jié)構(gòu)，如邊、三角形等進(jìn)行匹配。Sanjay Ranade and AzrielRosenfeld提出松弛法進(jìn)行點(diǎn)匹配[2]，陳志剛等在其基礎(chǔ)上通過構(gòu)建三角形并利用其相似度來定義點(diǎn)特征的匹配度，提出了一種新的具有比例與旋轉(zhuǎn)不變特性的點(diǎn)特征松弛匹配算法[22]。Li利用了幾何不變量來進(jìn)行點(diǎn)模式匹配[25]，Spirkovska和Reid利用了高階神經(jīng)網(wǎng)絡(luò)進(jìn)行匹配[26]。 研究?jī)?nèi)容特征點(diǎn)提取過程中，需要構(gòu)建在多種變換下具有良好不變性的特征點(diǎn)提取算法以獲得具有精確性高，區(qū)分度強(qiáng)的不變性圖像特征，并綜合特征局部結(jié)構(gòu)信息，構(gòu)造特征描述算子。在這種條件下，匹配算法如何達(dá)到精度高、匹配正確率高、速度快、魯棒性和抗干擾性強(qiáng)以及并行實(shí)現(xiàn)成為人們追求的目標(biāo)。1. 圖像不變特征點(diǎn)提取算法研究圖像特征點(diǎn)提取是基于特征點(diǎn)匹配方法的首要步驟，在實(shí)際問題中，圖像可能受到噪聲、背景的干擾，也可能發(fā)生光照、尺度、旋轉(zhuǎn)、仿射等變化，如何選擇合理的圖像特征點(diǎn)，使得這些特征點(diǎn)不僅具有良好的抗噪性能，而且在上述變化下保持不變，直接決定了基于特征點(diǎn)的匹配方法效果。2. 圖像特征點(diǎn)匹配方法研究圖像特征點(diǎn)匹配的目的是在兩幅圖像之間建立盡可能多的匹配點(diǎn)對(duì)。圖像特征點(diǎn)匹配方法目前主要分為兩種，即為基于描述符的特征點(diǎn)匹配方法和基于特征點(diǎn)幾何結(jié)構(gòu)的匹配方法。所以本文需要對(duì)圖像特征點(diǎn)的匹配方法進(jìn)行研究，探求更有效、性能更好的圖像特征點(diǎn)匹配方法。本文的篇章結(jié)構(gòu)安排如下：第一章為緒論，介紹了圖像特征點(diǎn)、圖像匹配基本概念，相關(guān)領(lǐng)域研究現(xiàn)狀，最后闡述了本文的主要研究工作和篇章結(jié)構(gòu)。第四章在前面研究的基礎(chǔ)上，提出一種改進(jìn)的相似三角形特征點(diǎn)匹配方法，改進(jìn)方法將傳統(tǒng)被動(dòng)的同向相似三角形檢索方法變?yōu)樵趶?fù)數(shù)空間下選擇基線后主動(dòng)構(gòu)造相似三角形，提高了算法的效率。最后一章對(duì)全文工作進(jìn)行總結(jié)，并提出今后研究的問題與方向。實(shí)際圖像可能受到噪聲、背景的干擾，也可能發(fā)生光照、尺度、旋轉(zhuǎn)、仿射等變化，圖像特征點(diǎn)的選擇合理和特征點(diǎn)提取質(zhì)量，直接決定了特征點(diǎn)匹配方法的效果。 Harris特征點(diǎn)提取算法角點(diǎn)作為目前圖像匹配中常用的特征點(diǎn)，它是二維圖像亮度變化劇烈或圖像邊緣曲線上曲率極大值的點(diǎn)，決定了目標(biāo)的輪廓特征，因此被廣泛應(yīng)用于攝像機(jī)標(biāo)定、虛擬場(chǎng)景重建、運(yùn)動(dòng)估計(jì)、圖像配準(zhǔn)等計(jì)算機(jī)視覺處理任務(wù)中。前者往往需要對(duì)圖像邊緣進(jìn)行編碼，這在很大程度上依賴于圖像的分割和邊緣提取，而這兩種操作本身就具有相當(dāng)大的難度和計(jì)算量，況且一旦待檢測(cè)目標(biāo)局部發(fā)生變化(例如被部分遮擋)，則很可能導(dǎo)致圖像分割和圖像邊緣提取操作的失敗，所以這種方法的適用范圍很??；而基于圖像灰度的方法則避開了上述這些缺陷，它考慮的是像素點(diǎn)鄰域的灰度變化，而不是整個(gè)目標(biāo)的邊緣輪廓。由于它不需要進(jìn)行邊緣提取工作，所以在實(shí)際中得到了廣泛的應(yīng)用。Schmid[27]對(duì)Moravec，SUSAN和Harris等基于圖像灰度的角點(diǎn)檢測(cè)方法從重復(fù)率和角點(diǎn)周圍的局部區(qū)域所包含的信息量?jī)蓚€(gè)方面進(jìn)行了對(duì)比。因此本節(jié)主要分析Harris算法。Harris角點(diǎn)檢測(cè)公式為： ()其中，為窗函數(shù)，為圖像灰度的梯度值。對(duì)于每個(gè)小的位移量，檢測(cè)公式可雙線性近似表示為： ()其中 ()設(shè)，是矩陣的兩個(gè)特征值，則可表示局部自相關(guān)函數(shù)的曲率。 Harris特征點(diǎn)檢測(cè)步驟應(yīng)用Harris方法提取圖像中角點(diǎn)的過程可以分為以下幾步：1) 計(jì)算圖像像素點(diǎn)在水平和垂直方向上的梯度，以及兩者的乘積，得到M公式()中4個(gè)元素的值, 其中，、分別表示在x ,y方向上的一階導(dǎo)數(shù)。離散二維零均值高斯函數(shù) ()3) 計(jì)算原圖像上對(duì)應(yīng)的每個(gè)像素點(diǎn)的興趣值，即R值(角點(diǎn)量cim)。Harris方法認(rèn)為，特征點(diǎn)是局部范圍內(nèi)的極大興趣值對(duì)應(yīng)的像素點(diǎn)。實(shí)驗(yàn)實(shí)現(xiàn)Harris角點(diǎn)檢測(cè)算法，測(cè)試其在圖像存在旋轉(zhuǎn)、尺度變化、噪聲等情況下的檢測(cè)效果，并分析Harris算法在設(shè)置不同閾值情況下提取角點(diǎn)。1. 旋轉(zhuǎn)不變性(a)為原圖角點(diǎn)提取結(jié)果，(b)為經(jīng)過逆時(shí)針旋轉(zhuǎn)30度后的圖像角點(diǎn)提取結(jié)果。(a)原圖像(b)逆時(shí)針旋轉(zhuǎn)30度圖像 圖像旋轉(zhuǎn)角點(diǎn)提取結(jié)果圖 2. 尺度變化不變性(a)為原圖像，(b)為尺度變化后圖像角點(diǎn)檢測(cè)結(jié)果，由結(jié)果圖可以看出Harris算法在尺度發(fā)生變化時(shí)圖像中檢測(cè)得到的特征點(diǎn)與原圖有較大差別。圖(a)為原圖像，(b)為增加高斯噪聲后圖像，從結(jié)果圖中可以明顯看出，增加高斯噪聲后運(yùn)用Harris算法提取出的角點(diǎn)準(zhǔn)確性下降。從圖中可以看出，將閾值設(shè)定較高時(shí)，檢測(cè)得到的角點(diǎn)數(shù)量明顯下降。因此在圖像配準(zhǔn)中通常采用這種算法來提取特征點(diǎn)。當(dāng)圖像間發(fā)生尺度變換時(shí)，Harris角點(diǎn)就可能檢測(cè)出不一致的角點(diǎn)。這樣特征點(diǎn)的重復(fù)數(shù)下降，不利于后續(xù)特征點(diǎn)匹配。 SIFT特征點(diǎn)提取算法由上節(jié)對(duì)Harris特征點(diǎn)提取算法局限性的分析，本節(jié)對(duì)目前國(guó)內(nèi)外研究廣泛的局部不變特征點(diǎn)提取算法SIFT進(jìn)行研究，該算法提取出的特征點(diǎn)對(duì)圖像尺度和旋轉(zhuǎn)不變性效果好，對(duì)光線變化和噪聲變化也具有較好魯棒性。SIFT特征點(diǎn)提取方法首先對(duì)圖像進(jìn)行預(yù)處理，通過采用高斯差分金字塔分層結(jié)構(gòu)提取出圖像中的極值點(diǎn)作為侯選，并對(duì)這些侯選特征點(diǎn)進(jìn)一步篩選掉其中低對(duì)比度和處于邊緣的點(diǎn)，最終提取出穩(wěn)定的特征點(diǎn)。 SIFT算法流程1. 尺度空間極值求取SIFT方法第一步就是找出尺度空間的極值，首先構(gòu)建圖像的尺度空間函數(shù)。為了有效的在尺度空間檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn)，提出了高斯差分尺度空間(DOG scalespace)。 ()。采用高斯函數(shù)先對(duì)圖像進(jìn)行卷積運(yùn)算，以達(dá)到預(yù)處理的目的。這樣就形成一個(gè)金字塔形狀的圖像分層結(jié)構(gòu)。原始圖像通過高斯函數(shù)進(jìn)行卷積生成一組圖像，這些圖像在尺度空間中借助常量k被分離。利用高斯差分金字塔分層結(jié)構(gòu)提取出圖像中的極值點(diǎn)作為候選特征點(diǎn)，并對(duì)這些候選特征點(diǎn)進(jìn)一步篩選掉其中低對(duì)比度和處于邊緣的特征點(diǎn)，最終提取出穩(wěn)定的特征點(diǎn)。第三組和第四組中圖像層的濾波因子也和上面的方法相同，依次增加濾波因子。中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的92個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。通過下面操作可以將侯選特征點(diǎn)中低對(duì)比度(對(duì)噪聲敏感)或位于邊緣的侯選特征點(diǎn)過濾掉。2) 邊緣響應(yīng)的去除一個(gè)定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。D的主曲率和H的特征值成正比，令為最大特征值，為最小的特征。3. 特征點(diǎn)方向確定基于圖像屬性為每個(gè)特征點(diǎn)賦一個(gè)方向，在后面特征點(diǎn)描述符中將會(huì)用到特征點(diǎn)的方向并對(duì)特征點(diǎn)的特性進(jìn)行描述。 在實(shí)際計(jì)算時(shí)，在以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向。直方圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向。一個(gè)關(guān)鍵點(diǎn)可能會(huì)被指定具有多個(gè)方向(一個(gè)主方向，一個(gè)以上輔方向)，這可以增強(qiáng)匹配的魯棒性。并且特征點(diǎn)描述符要盡量與眾不同，以便于特征點(diǎn)間的匹配。為了增強(qiáng)匹配的穩(wěn)健性，Lowe建議對(duì)每個(gè)關(guān)鍵點(diǎn)使用44共16個(gè)種子點(diǎn)來描述，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT特征向量。 實(shí)驗(yàn)分析實(shí)驗(yàn)測(cè)試SIFT不變特征提取算法及采用特征點(diǎn)歐氏距離法最近鄰(NN)匹配方法的效果與性能，通過其在旋轉(zhuǎn)、尺度變化、噪聲干擾、照度變化等情況下的匹配實(shí)驗(yàn)的結(jié)果分析，驗(yàn)證該算法在圖像匹配時(shí)的有效性及適用性。在安裝好Visual C++的Windows操作系統(tǒng)下運(yùn)行安裝文件完成安裝過程。實(shí)驗(yàn)結(jié)果圖中提取出的特征向量用箭頭表示，箭頭起點(diǎn)表示特征點(diǎn)在圖像中的二維坐標(biāo)位置，箭頭長(zhǎng)度代表了關(guān)鍵點(diǎn)所處的尺度，箭頭方向代表了該尺度下關(guān)鍵點(diǎn)所處鄰域的主梯度方向。1. 旋轉(zhuǎn)不變性(a)為原圖像特征向量提取圖，(b)為經(jīng)過逆時(shí)針旋轉(zhuǎn)40度圖像特征向量提取圖，(c)所示。在圖像存在旋轉(zhuǎn)情況下，兩幅圖像提取得到較多不變特征點(diǎn)，驗(yàn)證該算法在尺度變化時(shí)的不變性。(a)原圖特征向量(d)原圖局部(b)旋轉(zhuǎn)40度特征向量(c)圖像旋轉(zhuǎn)時(shí)匹配結(jié)果(e)旋轉(zhuǎn)圖局部 局部旋轉(zhuǎn)不變特征提取及匹配圖2. 一定范圍內(nèi)的尺度不變性(a)、(b)為原圖及尺度變化時(shí)特征向量提取圖，(c)，(a)中提取出129個(gè)特征點(diǎn)，(b)提取出99個(gè)特征點(diǎn)，(c)中有29個(gè)特征點(diǎn)匹配到，由匹配結(jié)果可以看出，在圖像尺度發(fā)生變化時(shí)，兩幅圖像提取得到得不變特征點(diǎn)數(shù)量較少，表明其在尺度變化時(shí)僅能在較小范圍內(nèi)得到不變特征點(diǎn)。(a)中提取出846個(gè)特征點(diǎn)，(b)中提取出426個(gè)特征點(diǎn)，(c)中有163個(gè)特征點(diǎn)匹配到。(a)中提取出532個(gè)特征點(diǎn)，(b)圖提取出428個(gè)特征點(diǎn)，(c)中85個(gè)特征點(diǎn)匹配到。但該算法在對(duì)提取出的特征點(diǎn)進(jìn)行描述時(shí)，采用128維的高維度向量，算法速度較慢；其次該算法基于局部區(qū)域描述，這就要求圖像滿足足夠多的紋理，否則構(gòu)造出的向量區(qū)別性就不是很大，容易造成誤匹配。圖像特征點(diǎn)提取及匹配算法研究 第三章 H/S特征點(diǎn)提取算法改進(jìn)第三章 改進(jìn)的H/S特征點(diǎn)提取算法經(jīng)過前面章節(jié)的分析，不同的特征點(diǎn)提取算法具有各自的優(yōu)缺點(diǎn)，單一的方法在具體的應(yīng)用中，具有一定的局限性。本章在改進(jìn)Harris算法關(guān)鍵步驟的基礎(chǔ)上，結(jié)合SIFT算法中所使用的多尺度理論和特征點(diǎn)描述思想進(jìn)行結(jié)合的方案進(jìn)行研究。 H/S算法分析 H/S算法提出的可行性分析上一章詳細(xì)介紹了Harris角點(diǎn)檢測(cè)算法和SIFT特征點(diǎn)提取算法，兩種方法都有自己的優(yōu)缺