【正文】 法的結(jié)合形成新的特征點(diǎn)提取方法提供了條件。首先對(duì)于Harris角點(diǎn)檢測(cè)算法來(lái)說(shuō)，它是基于圖像灰度的提取算法，通過(guò)計(jì)算曲率及梯度來(lái)達(dá)到檢測(cè)角點(diǎn)的目的，特征點(diǎn)的檢測(cè)效率高。特征點(diǎn)定位較準(zhǔn)確，對(duì)局部噪聲不敏感，且計(jì)算速度快，但是它是在單一尺度下檢測(cè)角點(diǎn)，若選用較小窗口高斯卷積后提取角點(diǎn)時(shí)則會(huì)因?yàn)樵肼暤纫蛩貙?dǎo)致出現(xiàn)眾多角點(diǎn)位置；若選用較大窗口高斯卷積則會(huì)因?yàn)榫矸e的圓角效應(yīng)使角點(diǎn)的位置產(chǎn)生較大的偏移。根據(jù)局部不變SIFT特征點(diǎn)提取算法，利用少量的局部信息，例如特征點(diǎn)周圍的小圖像塊的統(tǒng)計(jì)信息或高斯導(dǎo)數(shù)構(gòu)成特征向量，利用SIFT方法從圖像中提取出的特征點(diǎn)可以用于一個(gè)物體或場(chǎng)景不同視角下的可靠匹配，提取出的特征點(diǎn)對(duì)圖像尺度和旋轉(zhuǎn)保持不變，對(duì)光線變化、噪聲、部分仿射變化都具有魯棒性，但是由于SIFT算法在進(jìn)行特征點(diǎn)的描述時(shí)，在選擇的尺度上，在每個(gè)關(guān)鍵點(diǎn)的鄰域計(jì)算局部圖像梯度的方向直方圖并且將轉(zhuǎn)換為128維的特征描述符，使算法對(duì)于特征點(diǎn)檢測(cè)的效率下降，同時(shí)由于該方法利用特征點(diǎn)構(gòu)造的128維向量進(jìn)行匹配，這樣圖像就得滿足足夠多的紋理，否則構(gòu)造出的特征向量區(qū)別性就不是太大，容易造成誤匹配，極限情況如指紋圖像的匹配，星圖識(shí)別等這類圖像特征點(diǎn)周圍根本沒有什么紋理，這時(shí)SIFT算法就完全失效了。所以為圖像中提取穩(wěn)定特征點(diǎn)，首先利用Harris特征點(diǎn)提取算法初步從圖像中提取粗特征點(diǎn)，然后通過(guò)多尺度高斯差分剔除部分抗尺度性較差的特征點(diǎn)，在此基礎(chǔ)上結(jié)合描述符信息得到穩(wěn)定特征點(diǎn)。 H/S算法結(jié)合方案研究首先傳統(tǒng)的Harris特征點(diǎn)提取算法是在單一尺度下進(jìn)行特征點(diǎn)的檢測(cè)，當(dāng)尺度變化時(shí)，可能檢測(cè)出新的角點(diǎn)，或者老的角點(diǎn)發(fā)生移位或消失，這樣使得有效點(diǎn)的比例將存在極大的降低，不利于后續(xù)的特征點(diǎn)匹配，所以需要在Harris算法初步得到單一尺度下特征點(diǎn)后，引入SIFT檢測(cè)特征點(diǎn)第一個(gè)步驟中的尺度空間極值檢測(cè)的思想，使傳統(tǒng)Harris特征點(diǎn)提取算法得到的抗尺度變化的有效的特征點(diǎn)數(shù)目能夠提高，再在此基礎(chǔ)上結(jié)合SIFT特征點(diǎn)描述符的方法，使結(jié)合后的提取算法更穩(wěn)定、快速、有效。下面進(jìn)行提取算法結(jié)合方案的具體研究與分析。1. 多尺度理論多尺度理論認(rèn)為事物的存在都是以尺度范圍為前提的。單一尺度只對(duì)應(yīng)事物的單一存在方式，用單一尺度觀察物體，只能獲得物體片面的信息。多尺度理論在多個(gè)尺度上研究物體，從而獲得物體的全面可靠的信息。尺度空間理論正是從多尺度理論發(fā)展而來(lái)的，它從人類視覺系統(tǒng)得到啟發(fā)，從多尺度的角度來(lái)分析圖像。多尺度下提取圖像的特征點(diǎn)，將尺度看作是附加在圖像空間上的一維連續(xù)變化的坐標(biāo)。首先構(gòu)建圖像的尺度空間函數(shù)。Koenderink和Lindeberg(1994)[14]研究發(fā)現(xiàn)高斯函數(shù)是唯一的尺度空間內(nèi)核函數(shù)。作為尺度空間理論中的一個(gè)重要概念，尺度空間核被定義為：()對(duì)于所有的信號(hào)，若它與變換核卷積后得到的信號(hào)中的極值(一階微分過(guò)零點(diǎn))不超過(guò)原圖像的極值，則稱為尺度空間核，所進(jìn)行的卷積變換稱為尺度變換。其中高斯核()具有平移、旋轉(zhuǎn)、尺度不變性，且被證明是實(shí)現(xiàn)尺度變換的唯一線性核[15]，利用高斯核的一階偏導(dǎo)數(shù)將Harris角點(diǎn)算法變換成尺度空間的表示。2. 描述符思想根據(jù)特征點(diǎn)的尺度、方向、位置等信息，為每個(gè)特征點(diǎn)建立一個(gè)描述符，一個(gè)常用的方法是在合適尺度對(duì)圍繞特征點(diǎn)的局部區(qū)域進(jìn)行灰度采樣。特征點(diǎn)描述符的計(jì)算過(guò)程：首先在確定了特征點(diǎn)的尺度基礎(chǔ)上，針對(duì)圍繞著特征點(diǎn)的圖像梯度大小和方向采樣并將其表示出，為了達(dá)到方向的不變性，描述符的坐標(biāo)和梯度方向隨著特征點(diǎn)方向的改變而改變；然后通過(guò)關(guān)鍵點(diǎn)的鄰域梯度信息生成特征向量。在關(guān)鍵點(diǎn)的鄰域梯度信息計(jì)算時(shí)，以關(guān)鍵點(diǎn)為中心建立窗口，通過(guò)繪制窗口像素點(diǎn)的梯度方向和梯度模值的累加值，在生成種子點(diǎn)的基礎(chǔ)上得到每個(gè)種子點(diǎn)的方向向量信息，這種鄰域方向信息的聯(lián)合增強(qiáng)了特征點(diǎn)的抗噪聲能力。算法步驟：首先利用單尺度Harris特征點(diǎn)提取算法初步得到圖像中的粗特征點(diǎn)，以保證特征點(diǎn)提取的高效；然后結(jié)合多尺度空間理論，進(jìn)行高斯差分算子得到抗尺度變化的特征點(diǎn)，剔除初步粗特征點(diǎn)中對(duì)于尺度變化時(shí)新產(chǎn)生或者發(fā)生偏移的特征點(diǎn)；再根據(jù)描述符方法思想，利用計(jì)算起來(lái)比較簡(jiǎn)單的信息，對(duì)剔除掉隨尺度變化的特征點(diǎn)后剩余特征點(diǎn)進(jìn)行描述，以使穩(wěn)定的特征點(diǎn)信息更準(zhǔn)確。算法流程圖如下。 算法流程圖 H/S算法實(shí)現(xiàn) 多尺度特征點(diǎn)檢測(cè)為了獲取Harris算法的尺度空間表示，首先計(jì)算圖像上某點(diǎn)在和方向上的偏導(dǎo)，然后與標(biāo)準(zhǔn)偏差為(其中：為一常量，1)的高斯核的微分進(jìn)行卷積：()()其中，=為尺度參數(shù)，=為微分尺度，為高斯函數(shù)。然后通過(guò)判斷()即可檢測(cè)出尺度為的特征點(diǎn)。下一步將驗(yàn)證在某一尺度水平上檢測(cè)出的角點(diǎn)是否取得極值，從而得到具有尺度不變性的特征點(diǎn)。作為尺度不變檢測(cè)函數(shù)需要有一個(gè)明顯的單一極值點(diǎn)。 (a) 沒有明顯的極值點(diǎn) (b) 有多個(gè)極值點(diǎn) (c) 只有單個(gè)極值點(diǎn) 尺度不變檢測(cè)函數(shù)選擇根據(jù)上述原則，選取DOG(DifferenceofGaussians)函數(shù)()，作為獲取特征尺度的函數(shù)。DOG函數(shù)計(jì)算較簡(jiǎn)單，是歸一化LOG算子的近似，定義如下： ()算法首先利用Harris算子在尺度上建立個(gè)尺度空間的描述，其中表示第尺度，；表示尺度因子自適應(yīng)調(diào)整尺度間的跨度。在每一個(gè)尺度水平上提取出在鄰域內(nèi)的局部極值點(diǎn)，然后選取大于給定閾值的極值點(diǎn)作為候選點(diǎn)，最后驗(yàn)證這些點(diǎn)是否在DOG算子尺度空間上獲得極值，若能獲得極值，則是特征點(diǎn)；否則舍棄。 DOG函數(shù)圖像 尺度空間下的Harris角點(diǎn)檢測(cè)示意圖 特征點(diǎn)描述在根據(jù)傳統(tǒng)Harris算法初步獲得圖像中特征點(diǎn)的基本信息的基礎(chǔ)上，結(jié)合多尺度空間極值求解理論剔除部分偽特征點(diǎn)，并獲得圖像特征點(diǎn)的尺度信息，在此基礎(chǔ)上，根據(jù)特征點(diǎn)的尺度、方向、位置等信息，為每個(gè)特征點(diǎn)建立一個(gè)描述符，特征點(diǎn)在提取時(shí)需要給特征點(diǎn)分配一個(gè)主方向，主要目的是通過(guò)主方向旋轉(zhuǎn)特征點(diǎn)局部區(qū)域 ,確保特征描述符的旋轉(zhuǎn)不變性。 () ()式()、()為處梯度的模值和方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。在獲得特征點(diǎn)的以上信息后，通過(guò)選擇一個(gè)具有參數(shù)的高斯權(quán)重函數(shù)為每個(gè)樣本特征點(diǎn)梯度值賦一個(gè)權(quán)重，其中等于描述符窗口寬度的一半，(b)所示是SIFT生成的特征點(diǎn)描述符。首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。由關(guān)鍵點(diǎn)的鄰域梯度信息生成特征向量，以關(guān)鍵點(diǎn)為中心取88的窗口，(a)的中央黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每一個(gè)小格代表關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè)像素，箭頭方向代表該像素的梯度方向，箭頭長(zhǎng)度代表梯度模值，圖中的圓環(huán)代表高斯加權(quán)的范圍(越靠近關(guān)鍵點(diǎn)的像素梯度方向信息貢獻(xiàn)越大)，然后在每44的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值即可形成一個(gè)種子點(diǎn)。(b)中每一個(gè)關(guān)鍵點(diǎn)由22共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息。這種鄰域方向的信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的能力，同時(shí)對(duì)于含有定位誤差的特征匹配也提供了較好的容錯(cuò)性。每個(gè)區(qū)域中有8個(gè)方向箭頭，箭頭的長(zhǎng)度與梯度值大小相對(duì)應(yīng)，實(shí)驗(yàn)證明最好的描述符應(yīng)為44的柱狀矩陣，矩陣中每個(gè)元素占用8個(gè)方向位，那么每個(gè)特征點(diǎn)的描述符就是一個(gè)448=128維向量。最后，特征點(diǎn)描述符要作一些改動(dòng)以減少光線變化時(shí)的影響。首先特征點(diǎn)描述符向量要被標(biāo)準(zhǔn)化為單位長(zhǎng)度。當(dāng)圖像對(duì)比度改變時(shí)，每個(gè)像素值會(huì)被乘以一個(gè)常量，同時(shí)梯度值也被乘以相同的常量，因此對(duì)比度改變產(chǎn)生的影響就會(huì)通過(guò)向量的標(biāo)準(zhǔn)化而被取消掉。當(dāng)亮度改變時(shí)，每個(gè)像素都會(huì)被加上一個(gè)常量但不會(huì)影響梯度值，因?yàn)樘荻仁峭ㄟ^(guò)像素值的差計(jì)算得到。可見特征點(diǎn)描述符不受圖像光線仿射變化的任何影響。由于傳統(tǒng)的SIFT特征點(diǎn)描述符在構(gòu)造時(shí)，特征點(diǎn)之間的梯度方向及模值差異較小，如果特征向量描述符的維度偏低時(shí)則使構(gòu)造特征向量的特征點(diǎn)之間的區(qū)分度過(guò)小，則無(wú)法體現(xiàn)出描述符的優(yōu)越性，不利于后續(xù)圖像特征點(diǎn)的匹配。因此利用了128維的向量信息以提高其抗旋轉(zhuǎn)及抗噪聲等性能。但是在本章所提出的H/S算法中，首先已經(jīng)通過(guò)Harris特征點(diǎn)提取算法獲得了圖像中的粗特征點(diǎn)，并且在多尺度理論的應(yīng)用下得到了抗尺度變化的特征點(diǎn)，此時(shí)特征點(diǎn)的信息量差異已經(jīng)比較大，因此在H/S特征點(diǎn)提取算法中，通過(guò)在關(guān)鍵點(diǎn)周圍建立44的窗口，然后在每個(gè)窗口中確定一個(gè)種子點(diǎn)，計(jì)算該種子點(diǎn)分別在，和共4個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)產(chǎn)生16個(gè)數(shù)據(jù)，即最終形成16維的H/S特征向量，此時(shí)獲得的H/S特征向量不僅提供了特征點(diǎn)的抗旋轉(zhuǎn)、抗噪聲性能，進(jìn)一步將特征向量歸一化可以獲得對(duì)光照變化的有效性。H/S特征向量的構(gòu)造過(guò)程使用了16維的梯度信息，與SIFT特征向量的128維相比，極大的提高了特征向量的構(gòu)造效率，同時(shí)由于H/S對(duì)于特征向量的構(gòu)造是在獲得抗尺度變化的特征點(diǎn)基礎(chǔ)上，因此構(gòu)造特征向量的數(shù)量也大為降低。 (a)圖像梯度 (b)關(guān)鍵點(diǎn)描述 特征點(diǎn)描述符根據(jù)以上對(duì)于H/S特征點(diǎn)提取算法中多尺度空間理論和特征點(diǎn)描述符理論的實(shí)現(xiàn)思想，H/S算法首先利用傳統(tǒng)的Harris特征點(diǎn)提取算法初步得到圖像中的特征點(diǎn)，然后通過(guò)多尺度檢測(cè)剔除部分抗尺度變化性能弱的特征點(diǎn)，在此基礎(chǔ)上為每個(gè)關(guān)鍵點(diǎn)的鄰域計(jì)算局部圖像梯度的方向直方圖，最后轉(zhuǎn)換為16維的特征描述符，使H/S特征點(diǎn)描述符具有抗噪聲性能。H/S特征點(diǎn)提取算法結(jié)合了Harris算法高效檢測(cè)特征點(diǎn)以及SIFT算法抗尺度和抗噪聲魯棒性強(qiáng)的優(yōu)點(diǎn)，使圖像特征點(diǎn)的檢測(cè)更為有效、穩(wěn)定。 實(shí)驗(yàn)分析 算法評(píng)價(jià)標(biāo)準(zhǔn)一種評(píng)價(jià)角點(diǎn)提取效果好壞因子的點(diǎn)重復(fù)率定義如下： ()其中表示特征點(diǎn)集合，表示集合中元素的數(shù)目，表示取兩個(gè)數(shù)中較小者，分子表示兩幅圖像中相同角點(diǎn)的數(shù)量。 分情況特征點(diǎn)提取結(jié)果分析實(shí)驗(yàn)實(shí)現(xiàn)H/S特征點(diǎn)提取算法，測(cè)試其在圖像存尺度變化、噪聲等情況下的點(diǎn)重復(fù)率，驗(yàn)證其對(duì)于傳統(tǒng)Harris算法尺度不變性和抗噪性的改進(jìn)性能。圖像中提取出的特征點(diǎn)用十字劃線標(biāo)識(shí)。1. 尺度不變性將H/S特征點(diǎn)提取算法與傳統(tǒng)的Harris角點(diǎn)檢測(cè)算法，分別對(duì)尺度變化前后的圖像進(jìn)行角點(diǎn)檢測(cè)。(a)Harris算法提取結(jié)果(b)H/S算法提取結(jié)果(c)Harris算法提取結(jié)果(d)H/S算法提取結(jié)果 圖像尺度變化前后角點(diǎn)檢測(cè)比較(原圖像大小的2倍) H/S算法與Harris算法角點(diǎn)檢測(cè)點(diǎn)重復(fù)率比較比較尺度點(diǎn)重復(fù)率，改進(jìn)后的H/S算法提取的角點(diǎn)一致性效果較好。多尺度空間下的Harris角點(diǎn)檢測(cè)方法獲取了多個(gè)尺度下的角點(diǎn)信息，減小了閾值對(duì)角點(diǎn)提取的制約，同時(shí)多尺度空間下H/S角點(diǎn)檢測(cè)實(shí)現(xiàn)了小尺度下的精確定位和大尺度下的去偽存真，算法尺度不變性得到很大改善。2. 抗噪聲分別用H/S算法和傳統(tǒng)的Harris算法對(duì)添加噪聲后的圖像進(jìn)行檢測(cè)。(a)Harris原圖提取結(jié)果(b)H/S算法原圖提取結(jié)果(c) Harris噪聲圖提取結(jié)果(d)H/S算法噪聲圖提取結(jié)果 圖像噪聲變化前后角點(diǎn)檢測(cè)比較噪聲添加率 H/S算法與Harris算法角點(diǎn)檢測(cè)點(diǎn)重復(fù)率比較比較點(diǎn)重復(fù)率，改進(jìn)后的H/S算法在圖像增加噪聲時(shí)提取的角點(diǎn)一致性效果較好。特征點(diǎn)描述符下的H/S角點(diǎn)檢測(cè)方法獲取了角點(diǎn)的多維度信息，算法抗噪聲性能得到很大改善。 本章小結(jié)本章根據(jù)Harris特征點(diǎn)提取算法提取特征點(diǎn)速度快、效率高的優(yōu)點(diǎn)，結(jié)合局部不變特征點(diǎn)SIFT提取算法尺度不變性和抗噪性強(qiáng)的優(yōu)點(diǎn)，提出了一種新的H/S特征點(diǎn)提取算法。H/S算法的實(shí)現(xiàn)主要是通過(guò)將局部不變特征SIFT特征點(diǎn)提取算法中的多尺度和特征點(diǎn)描述符的理論基礎(chǔ)，將傳統(tǒng)Harris特征點(diǎn)提取算法在單一尺度下檢測(cè)角點(diǎn)變?yōu)槎喑叨忍崛?，使檢測(cè)出的特征點(diǎn)具有尺度不變性，并且利用經(jīng)多尺度過(guò)濾后的特征點(diǎn)的信息量差異較大的特點(diǎn)，構(gòu)造16維的特征向量極大的提高了特征向量的構(gòu)造速度。本章將尺度空間理論和特征點(diǎn)描述符的思想應(yīng)用到傳統(tǒng)的Harris角點(diǎn)檢測(cè)的方法中，實(shí)現(xiàn)了具有平移、旋轉(zhuǎn)、抗尺度和抗噪聲變化的H/S特征點(diǎn)提取算法。同時(shí)采用H/S特征點(diǎn)提取算法將為本文后續(xù)提出改進(jìn)的特征點(diǎn)匹配算法的實(shí)現(xiàn)提供穩(wěn)定的不變特征點(diǎn)。圖像特征點(diǎn)提取及匹配算法研究 第四章 基于H/S的特征點(diǎn)匹配方法第四章 基于H/S的特征點(diǎn)匹配方法本章在使用改進(jìn)的H/S特征點(diǎn)提取算法檢測(cè)圖像的特征點(diǎn)基礎(chǔ)上，結(jié)合特征點(diǎn)間的幾何結(jié)構(gòu)，根據(jù)三角形相似性原理提出一種改進(jìn)的相似三角形匹配方法，大大降低了傳統(tǒng)相似三角形匹配算法的時(shí)間復(fù)雜性，并提高了算法的可靠性和準(zhǔn)確性。 相似三角形方法局限性分析由于三角形具有天然的抗平移、旋轉(zhuǎn)和縮放特性，對(duì)于處理圖像間存在平移、旋轉(zhuǎn)、縮放等情況，具有很好的優(yōu)越性，目前基于三角形幾何結(jié)構(gòu)的匹配方法研究廣泛，因此本節(jié)選擇了能夠較好體現(xiàn)基于幾何結(jié)構(gòu)匹配思想的相似三角形匹配方法進(jìn)行研究。 三角形匹配原理三角形相似的匹配方法[28]基本思想是：一個(gè)三角形的內(nèi)角不但對(duì)于平移和旋轉(zhuǎn)具有不變性，而且對(duì)于三角形的縮放也具有不變性 ()。三角形(a)旋轉(zhuǎn)得出(b)，但是內(nèi)角并沒有發(fā)生改變，而縮放(a)變成(c)，和的大小依舊沒有發(fā)生變化。(a) (b) (c) 三角形的旋轉(zhuǎn)和縮放不變性假設(shè)兩點(diǎn)集，其中，之間的最大匹配點(diǎn)子集，且，點(diǎn)匹配的任務(wù)就是找出這些匹配點(diǎn)集。對(duì)點(diǎn)則可組成對(duì)相似的三角形，且以某個(gè)點(diǎn)為頂點(diǎn)的三角形有個(gè)?；诖嗽恚瑢⑾嗨苾扇切螌?duì)應(yīng)點(diǎn)的置信度加一。這樣，在嚴(yán)格的情況下，真實(shí)匹配的點(diǎn)對(duì)之間的置信度會(huì)大于或等于，但由于出格點(diǎn)的存在，進(jìn)行同向相似三角形檢實(shí)際算法過(guò)程中將置信度大于某一閾值的兩點(diǎn)作為最終匹配點(diǎn)。算法過(guò)程具體描述如下：1． 三角形的建立及表示：從待匹配的兩幅圖像中提取的角點(diǎn)集和中任意三點(diǎn)，依次連接這