【正文】 同，以便于特征點(diǎn)間的匹配。(a)中提取出846個(gè)特征點(diǎn)，(b)中提取出426個(gè)特征點(diǎn)，(c)中有163個(gè)特征點(diǎn)匹配到。下面進(jìn)行提取算法結(jié)合方案的具體研究與分析。然后通過判斷()即可檢測出尺度為的特征點(diǎn)。首先特征點(diǎn)描述符向量要被標(biāo)準(zhǔn)化為單位長度。2. 抗噪聲分別用H/S算法和傳統(tǒng)的Harris算法對添加噪聲后的圖像進(jìn)行檢測。定義 ：從兩幅圖像中任意選擇兩個(gè)三角形，它們組成一個(gè)三角形對。很明顯點(diǎn)對的權(quán)值越高，點(diǎn)對為真正的配對的可能性越大。 改進(jìn)的相似三角形匹配方法實(shí)現(xiàn)根據(jù)以上對于傳統(tǒng)三角形特征點(diǎn)匹配算法的原理及局限性分析，針對傳統(tǒng)三角形匹配算法時(shí)間復(fù)雜度高，使用單模板匹配的局限性，通過引入基線及基線三角形組的概念，由復(fù)數(shù)相乘的幾何意義，將圖像特征點(diǎn)轉(zhuǎn)移到復(fù)數(shù)向量空間中求解，不僅使算法的效率得到提高，同時(shí)也增強(qiáng)了算法的可靠性。：的頂點(diǎn)坐標(biāo)為，對應(yīng)頂點(diǎn)坐標(biāo)分別為，則與頂點(diǎn)同方向排列的充分必要條件是()證明：將點(diǎn)、和點(diǎn)、看作空間直角坐標(biāo)系下的點(diǎn)，可得。然而，則需要求解二元二次方程組以及進(jìn)行同向性判斷，計(jì)算過程比較復(fù)雜，下面將采用另一種方法求解點(diǎn)。并且通過構(gòu)造基線三角形組的思想，使匹配模板由單個(gè)模板變?yōu)槎鄠€(gè)模板，提高了搜索策略的可靠性。(a)模板圖(b)實(shí)物圖 復(fù)雜背景下圖像匹配(a)模板圖(b)實(shí)物圖 模板圖像旋轉(zhuǎn)、縮放圖像匹配 本章小結(jié)本章在H/S算法提取圖像中穩(wěn)定特征點(diǎn)的基礎(chǔ)上，分析傳統(tǒng)相似三角形匹配算法局限性，引入基線理論并結(jié)合特征點(diǎn)描述符信息，改進(jìn)了三角形的構(gòu)造方法。在復(fù)數(shù)空間下得到對應(yīng)特征點(diǎn)組成向量的三角形組的基礎(chǔ)上，通過判斷實(shí)物圖中對應(yīng)于模版圖像中的基線的三角形組的頂點(diǎn)為特征點(diǎn)的數(shù)量是否達(dá)到一定閾值，若滿足閾值要求，則可以認(rèn)為在實(shí)物圖中找到一個(gè)模版圖像，同理遍歷模版圖像中的所有基線，進(jìn)行相似三角形檢索，找到實(shí)物圖中所有的模版圖像。由三角形三邊之間的關(guān)系及式()可得：() 由式()知兩圓必交于不同的兩點(diǎn)，且兩點(diǎn)關(guān)于邊對稱。于是，通過限制三角形的形成來減少誤匹配的可能及處理三角形的配對。 三角形相似方法局限性假設(shè)兩特征點(diǎn)集的數(shù)量都為，每個(gè)點(diǎn)集將構(gòu)成個(gè)三角形，方法需要對每對三角形進(jìn)行相似性判定，時(shí)間復(fù)雜度。為了計(jì)算A組的點(diǎn)i和B組的點(diǎn)j具有共同的三角形的數(shù)目，定義的權(quán)值二維表，并初始化為零。對點(diǎn)則可組成對相似的三角形，且以某個(gè)點(diǎn)為頂點(diǎn)的三角形有個(gè)。圖像中提取出的特征點(diǎn)用十字劃線標(biāo)識。(b)中每一個(gè)關(guān)鍵點(diǎn)由22共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息。在關(guān)鍵點(diǎn)的鄰域梯度信息計(jì)算時(shí)，以關(guān)鍵點(diǎn)為中心建立窗口，通過繪制窗口像素點(diǎn)的梯度方向和梯度模值的累加值，在生成種子點(diǎn)的基礎(chǔ)上得到每個(gè)種子點(diǎn)的方向向量信息，這種鄰域方向信息的聯(lián)合增強(qiáng)了特征點(diǎn)的抗噪聲能力。特征點(diǎn)定位較準(zhǔn)確，對局部噪聲不敏感，且計(jì)算速度快，但是它是在單一尺度下檢測角點(diǎn)，若選用較小窗口高斯卷積后提取角點(diǎn)時(shí)則會因?yàn)樵肼暤纫蛩貙?dǎo)致出現(xiàn)眾多角點(diǎn)位置；若選用較大窗口高斯卷積則會因?yàn)榫矸e的圓角效應(yīng)使角點(diǎn)的位置產(chǎn)生較大的偏移。在圖像存在旋轉(zhuǎn)情況下，兩幅圖像提取得到較多不變特征點(diǎn)，驗(yàn)證該算法在尺度變化時(shí)的不變性。直方圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向。利用高斯差分金字塔分層結(jié)構(gòu)提取出圖像中的極值點(diǎn)作為候選特征點(diǎn)，并對這些候選特征點(diǎn)進(jìn)一步篩選掉其中低對比度和處于邊緣的特征點(diǎn)，最終提取出穩(wěn)定的特征點(diǎn)。 SIFT特征點(diǎn)提取算法由上節(jié)對Harris特征點(diǎn)提取算法局限性的分析，本節(jié)對目前國內(nèi)外研究廣泛的局部不變特征點(diǎn)提取算法SIFT進(jìn)行研究，該算法提取出的特征點(diǎn)對圖像尺度和旋轉(zhuǎn)不變性效果好，對光線變化和噪聲變化也具有較好魯棒性。實(shí)驗(yàn)實(shí)現(xiàn)Harris角點(diǎn)檢測算法，測試其在圖像存在旋轉(zhuǎn)、尺度變化、噪聲等情況下的檢測效果，并分析Harris算法在設(shè)置不同閾值情況下提取角點(diǎn)。由于它不需要進(jìn)行邊緣提取工作，所以在實(shí)際中得到了廣泛的應(yīng)用。圖像特征點(diǎn)匹配方法目前主要分為兩種，即為基于描述符的特征點(diǎn)匹配方法和基于特征點(diǎn)幾何結(jié)構(gòu)的匹配方法。一共具有個(gè)子窗口，每個(gè)窗口描述是8位的，描述8個(gè)方向的梯度的大小值，這樣形成的描述符是維，匹配時(shí)只需利用描述符進(jìn)行配對。但是特征匹配往往有很高的計(jì)算代價(jià)。局部不變特征提取需要解決兩個(gè)問題：一是特征區(qū)域定位，即在哪里提取特征；二是區(qū)域內(nèi)信息描述，即用什么特征量來描述區(qū)域內(nèi)的信息。Oxford大學(xué)的機(jī)器人研究小組開展視覺不變性方面的研究，他們的主要成果是提出了一種仿射協(xié)變(Covariant)區(qū)域的檢測方法，用于提取圖像局部區(qū)域的仿射不變特征[8]。s等提出的三角形匹配算法[3]等。本文首先對兩種特征點(diǎn)提取算法(Harris算法和SIFT算法)進(jìn)行分析比較，Harris角點(diǎn)檢測算法效率高，但對尺度變化和抗噪性的魯棒性差，SIFT算法對尺度變化及抗噪性魯棒性好，但算法時(shí)間復(fù)雜度高，且對圖像紋理要求高，本文結(jié)合兩種算法的優(yōu)點(diǎn)，提出了一種新的H/S特征點(diǎn)提取算法，該算法特征點(diǎn)檢測效率高，并且尺度不變性及抗噪性得到很大改善。這些方法大致可分為基于灰度值的方法和基于特征的方法兩大類[1]。圖像特征的不變性研究目前已取得了大量的研究成果。主要缺點(diǎn)是對邊緣提取算法依賴性大，如果提取的邊緣發(fā)生錯(cuò)誤，或是邊緣線發(fā)生中斷(在實(shí)際中經(jīng)常會遇到這種情況)，則對角點(diǎn)的提取結(jié)果將造成較大影響。當(dāng)相比于SIFT，SURF的速度要更快，但是在圖像出現(xiàn)視角和光照變化上匹配的效果沒有SIFT好。這樣使匹配算法能夠簡化為只考慮有平移、旋轉(zhuǎn)的情況下求解點(diǎn)集之間的對應(yīng)關(guān)系，但在很多實(shí)際應(yīng)用中，由于存在圖像噪聲及視場變換還有不同時(shí)間和不同傳感器獲取的圖像等因素，待匹配的兩幅圖像中不可避免出現(xiàn)虛假點(diǎn)、丟失點(diǎn)以及非剛性形變。由于時(shí)間、視角、環(huán)境的變化、多種傳感器的使用等，使拍攝的圖像不僅受到噪聲的影響，而且存在嚴(yán)重的灰度失真和幾何畸變。圖像特征點(diǎn)提取及匹配算法研究 第二章 圖像特征點(diǎn)提取算法研究第二章 圖像特征點(diǎn)提取算法研究圖像特征點(diǎn)提取是圖像處理和計(jì)算機(jī)視覺的基本技術(shù)，它也是特征點(diǎn)匹配方法的首要步驟。實(shí)際運(yùn)用中用來計(jì)算角點(diǎn)的響應(yīng)函數(shù)可以寫成： ()其中，當(dāng)某個(gè)區(qū)域矩陣的主對角線之和很大時(shí)，則表明這是一條邊；當(dāng)矩陣的行列式很大時(shí)，則表明這是一條邊或一個(gè)角點(diǎn)。(a)閾值設(shè)置為5000(b)閾值設(shè)置為10000(c)閾值設(shè)為15000(d)閾值設(shè)置為20000 設(shè)置不同閾值時(shí)角點(diǎn)提取結(jié)果圖通過對Harris算法提取圖像特征點(diǎn)的原理及實(shí)驗(yàn)結(jié)果分析，可以看出Harris算法在圖像存在旋轉(zhuǎn)情況下有很高的點(diǎn)重復(fù)數(shù)，是一種比較有效的點(diǎn)特征提取算法。首先對圖像進(jìn)行預(yù)處理以消除圖像模糊，對提取穩(wěn)定的特征點(diǎn)有好處。主曲率通過一個(gè)22的Hessian矩陣H求出: ()導(dǎo)數(shù)由采樣點(diǎn)相鄰差估計(jì)得到。實(shí)驗(yàn)實(shí)現(xiàn)SIFT及最近鄰匹配算法時(shí)，利用了開源函數(shù)庫(OpenCV)，它包含了一系列C函數(shù)和少量C++類。 本章小結(jié)本章在分析特征點(diǎn)提取重要性的基礎(chǔ)上，首先對Harris角點(diǎn)提取算法進(jìn)行研究，實(shí)驗(yàn)表明該算法檢測效率高，針對圖像存在旋轉(zhuǎn)情況下有很高的點(diǎn)重復(fù)率，是一種比較有效的點(diǎn)特征提取算法，但它在尺度和噪聲發(fā)生變化情況下表現(xiàn)的魯棒性差；針對Harris 算法的不足，對局部不變特征點(diǎn)提取SIFT算法進(jìn)行研究，實(shí)驗(yàn)表明該算法提取出的特征點(diǎn)對圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時(shí)表現(xiàn)出較強(qiáng)的魯棒性，但該算法速度較慢，并且要求圖像滿足足夠多的紋理。多尺度下提取圖像的特征點(diǎn)，將尺度看作是附加在圖像空間上的一維連續(xù)變化的坐標(biāo)。在每一個(gè)尺度水平上提取出在鄰域內(nèi)的局部極值點(diǎn)，然后選取大于給定閾值的極值點(diǎn)作為候選點(diǎn)，最后驗(yàn)證這些點(diǎn)是否在DOG算子尺度空間上獲得極值，若能獲得極值，則是特征點(diǎn)；否則舍棄。因此利用了128維的向量信息以提高其抗旋轉(zhuǎn)及抗噪聲等性能。本章將尺度空間理論和特征點(diǎn)描述符的思想應(yīng)用到傳統(tǒng)的Harris角點(diǎn)檢測的方法中，實(shí)現(xiàn)了具有平移、旋轉(zhuǎn)、抗尺度和抗噪聲變化的H/S特征點(diǎn)提取算法。由上面的定義可知，三角形映射到三角空間中是被限制在一個(gè)三角形區(qū)域中()，但是對于相似三角形，無論它如何平移、旋轉(zhuǎn)或縮放，它總是投影在空間的同一點(diǎn)。規(guī)范化可能是一組中所有三角形關(guān)于這個(gè)屬性的平均值。 匹配算法流程 三角形選取方案研究1. 改進(jìn)選取三角形思路根據(jù)傳統(tǒng)的基于相似三角形匹配方法，模板圖像中個(gè)特征點(diǎn)，任意可組成個(gè)三角形，然后逐個(gè)使用每個(gè)三角形在實(shí)物圖像中尋找相似三角形，是一種被動檢索方式，顯然這種方法基數(shù)非常大，所需要比較的三角形個(gè)數(shù)很多，時(shí)間復(fù)雜度也就相應(yīng)的增加。不能由旋轉(zhuǎn)得到。假設(shè)中向量到向量的角度為，與的比值為，可知只需中向量到向量的角度為，與的比值為，則與同向相似。 實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)實(shí)現(xiàn)改進(jìn)的相似三角形特征點(diǎn)匹配算法，驗(yàn)證其在圖像存在旋轉(zhuǎn)、縮放、噪聲以及復(fù)雜背景下物體識別的準(zhǔn)確性及算法效率。實(shí)驗(yàn)使用VC++，首先利用H/S特征點(diǎn)提取算法提取出圖像中特征點(diǎn)，得到待匹配的兩幅圖像對應(yīng)特征點(diǎn)集。稱復(fù)數(shù)為旋轉(zhuǎn)因子，可由向量對應(yīng)的復(fù)數(shù)與向量對應(yīng)的復(fù)數(shù)相除得到。本文將采用一種主動的相似三角形檢索方法，時(shí)間復(fù)雜度僅為。2. 奇異三角形的去除奇異三角形是指存在夾角近似于或的三角形()。這個(gè)思想在于運(yùn)用這些參數(shù)可以限制一些匹配，比如比較大的三角形僅僅和比較大的三角形匹配。2． 三角形匹配窮舉方法就是用A組中的每一個(gè)三角形去和B組中的每一個(gè)三角形進(jìn)行比較，而每一次的比較都涉及到笛卡爾距離的計(jì)算。圖像特征點(diǎn)提取及匹配算法研究 第四章 基于H/S的特征點(diǎn)匹配方法第四章 基于H/S的特征點(diǎn)匹配方法本章在使用改進(jìn)的H/S特征點(diǎn)提取算法檢測圖像的特征點(diǎn)基礎(chǔ)上，結(jié)合特征點(diǎn)間的幾何結(jié)構(gòu)，根據(jù)三角形相似性原理提出一種改進(jìn)的相似三角形匹配方法，大大降低了傳統(tǒng)相似三角形匹配算法的時(shí)間復(fù)雜性，并提高了算法的可靠性和準(zhǔn)確性。H/S特征向量的構(gòu)造過程使用了16維的梯度信息，與SIFT特征向量的128維相比，極大的提高了特征向量的構(gòu)造效率，同時(shí)由于H/S對于特征向量的構(gòu)造是在獲得抗尺度變化的特征點(diǎn)基礎(chǔ)上，因此構(gòu)造特征向量的數(shù)量也大為降低。 () ()式()、()為處梯度的模值和方向公式。Koenderink和Lindeberg(1994)[14]研究發(fā)現(xiàn)高斯函數(shù)是唯一的尺度空間內(nèi)核函數(shù)。比較分析Harris角點(diǎn)檢測算法和SIFT特征點(diǎn)提取算法，揚(yáng)長避短，對它們進(jìn)行有效的結(jié)合，使特征點(diǎn)的提取獲得更好的效果。每創(chuàng)建一個(gè)將要使用OpenCV的VC++ Project都需要給它指定需要的lib菜單：ProjectSettings,然后將Settings for選為All Configurations，選擇右邊的link標(biāo)簽，在Object/library modules附加上： 。 () ()令，則： ()的值在兩個(gè)特征值相等的時(shí)候最小，隨著的增大而增大，因此，為了檢測主曲率是否在某域值下，只需檢測 ()在Lowe的文章[15]中，?。?0。接著對圖像使用不同的采樣距離以形成一個(gè)金字塔圖像分層結(jié)構(gòu)，這就意味著將原來圖像放大一倍，第一次采樣的圖像作為第一組的圖像，然后以成倍的采樣距離即4個(gè)像素再分別對圖像進(jìn)行采樣從而產(chǎn)生第二、三、四組的圖像。但是Harris特征點(diǎn)檢測算法也存在著一定的局限性。2) 對圖像進(jìn)行高斯濾波，得到新的M。本章針對實(shí)際情況的復(fù)雜多樣性，對兩種特征點(diǎn)提取方法(Harris算法和SIFT算法)進(jìn)行分析研究。本文在研究現(xiàn)有的一些特征檢測算法及匹配方法基礎(chǔ)上，以計(jì)算機(jī)視覺的不變理論為基礎(chǔ)，本文主要研究內(nèi)容如下所述。這類方法在提取特征點(diǎn)后，對特征點(diǎn)進(jìn)行不同的描述，用來區(qū)別其它特征點(diǎn)，然后用描述符進(jìn)行匹配。 特征點(diǎn)匹配研究現(xiàn)狀特征點(diǎn)匹配就是將不同圖像上由同一場景點(diǎn)投影而成的特征點(diǎn)對找出來。由于它不需要進(jìn)行邊緣提取工作，所以在實(shí)際中得到了廣泛的應(yīng)用。2) 不變性獲取的途徑，如通過特征變換、小波理論、神經(jīng)網(wǎng)絡(luò)、編碼技術(shù)、特征描述子的構(gòu)造等。為了克服基于灰度匹配方法缺點(diǎn)，提出了基于特征的匹配方法。圖像匹配分為基于灰度的方法和基于特征的方法，前者簡單易行，但算法時(shí)間復(fù)雜度高，難以處理圖像存在旋轉(zhuǎn)和尺度變化等情況，后者在適應(yīng)性和速度方面有很大優(yōu)勢，但圖像特征的提取以及如何建立特征之間的對應(yīng)關(guān)系一直是這類方法的研究難題。如何建立圖像興趣點(diǎn)之間的對應(yīng)關(guān)系一直是這類方法的研究熱點(diǎn)。在相關(guān)領(lǐng)域中，具有代表性的研究機(jī)構(gòu)是加拿大British Columbia大學(xué)智能計(jì)算實(shí)驗(yàn)室，該實(shí)驗(yàn)室開展了局部仿射不變特征提取方面的工作，其研究成果已應(yīng)用于目標(biāo)識別[4]、全景圖拼接[5]、虛擬現(xiàn)實(shí)[6]、機(jī)器人自主導(dǎo)航[7]等領(lǐng)域。由于不用對目標(biāo)進(jìn)行分割或提取輪廓等預(yù)處理，不需要得到目標(biāo)的全部信息，因此與全局的方法相比，其適用面更廣。2) 基于特征的匹配(FeatureBased Matching，F(xiàn)BM)，在匹配前先要抽取邊或區(qū)域等特征。SIFT描述符[15]將特征點(diǎn)周圍的窗口分割成16個(gè)的子窗口，然后統(tǒng)計(jì)每個(gè)子窗口的方向梯度直方圖。2. 圖像特征點(diǎn)匹配方法研究圖像特征點(diǎn)匹配的目的是在兩幅圖像之間建立盡可能多的匹配點(diǎn)對。前者往往需要對圖像邊緣進(jìn)行編碼，這在很大程度上依賴于圖像的分割和邊緣提取，而這兩種操作本身就具有相當(dāng)大的難度和計(jì)算量，況且一旦待檢測目標(biāo)局部發(fā)生變化(例如被部分遮擋)，則很可能導(dǎo)致圖像分割和圖像邊緣提取操作的失敗，所以這種方法的適用范圍