【正文】 。正因?yàn)槠鋺?yīng)用的廣泛性，新的應(yīng)用和新的要求逐步產(chǎn)生使得匹配算法的研究逐步走向深入 [1]。點(diǎn)特征可以應(yīng)用于諸如圖像的配準(zhǔn)與匹配 ,目標(biāo)描述與識別 , 光束計(jì)算 ,運(yùn)動(dòng)目標(biāo)跟蹤、識別和立體像對 3D建模等眾多領(lǐng)域 [2]。 特征的提取是圖像匹配技術(shù)的最重要組成部分，一幅圖像中可以檢測到多個(gè)關(guān)鍵點(diǎn)，我們需要消除一些不需要的點(diǎn)，保留特征性較強(qiáng)的點(diǎn)，用這些點(diǎn)來進(jìn)行圖像匹配?；?SIFT算法的圖像匹配技術(shù)在圖像處理技術(shù)中起著十分關(guān)鍵的作用，它是圖像處理技術(shù)得以發(fā)展的一個(gè)重要基礎(chǔ)。 Harris還展示了它在高效運(yùn)動(dòng)追蹤和由運(yùn)動(dòng)恢復(fù)進(jìn)行三維建模中的價(jià)值， Harris的角探測器自此在很多其他的圖像匹配工作中被廣泛的使用。計(jì)算精確場景中兩個(gè)視角間的幾何約束的基礎(chǔ)矩陣，移除異常值，同時(shí)移除那些與多數(shù)方法不一致的配對。這是特征可以在兩幅圖像之間進(jìn)行任意方向 上進(jìn)行匹配。 大衛(wèi)羅伊 在 1999年的早期工作中擴(kuò)展了這種局部特征方法來實(shí)現(xiàn)尺度不變性。基于灰度圖像匹配算法是圖像配準(zhǔn)算法中比較經(jīng)典的一種，很多配準(zhǔn)技術(shù)都以它為基礎(chǔ)進(jìn)行延伸和擴(kuò)展。林相波 ,邱天爽提出一種新的灰 度和形狀信息相結(jié)合的全自動(dòng)同模態(tài)醫(yī)學(xué)圖像非剛性配準(zhǔn) —— 分割算法。 SIFT算法目前在軍事、工業(yè)和民用方面都得到了不同程度的應(yīng)用，其應(yīng)用已經(jīng)滲透了很多領(lǐng)域 ，將會(huì)越來越受到人們的關(guān)注?；?SIFT算法的圖像匹配方法 是從圖像的灰度值出發(fā)，構(gòu)造尺度空間圖像進(jìn)行高斯 模糊，從而得到圖像的關(guān)鍵點(diǎn) 。目標(biāo)的識別是通過兩點(diǎn)集內(nèi)關(guān)鍵點(diǎn)描述子的比對來完成。本課題 對先有的匹配方法做了簡要的闡述，從理論上進(jìn)行優(yōu)缺點(diǎn)的比較，得出 SIFT算法的優(yōu)越性。測試特征點(diǎn)的提取與圖像之間的關(guān)系。然后輸入一張圖像，如果該輸入圖像中有庫文件夾中的物體，那么輸出的結(jié)果中就會(huì)顯示該圖像中有庫圖像中所對應(yīng)的物體。 第二章： 圖像匹配介紹了圖像匹配的基本概念以及圖像匹配方法的分類。 第五章： 通過實(shí)驗(yàn)， 提取 SIFT特征，進(jìn)行圖像匹配。 因此，對現(xiàn)有匹配算法展開分析，這對于實(shí)際工程提高圖像處理質(zhì)量和識別精度具有非常重要的意義 圖像匹配技術(shù)概述 圖像匹配是 指 對取自不同時(shí)間，不同傳感器或不同視角的同一場景的兩幅圖像或者多幅圖像匹配的過程。 本文將介紹基于 SIFT算法的圖像匹配技術(shù)。圖像匹配時(shí)在來自不同時(shí)間或者不同視角的同一場景的兩幅或多幅圖像之間尋找對應(yīng)關(guān)系，該技術(shù)隸屬于計(jì)算機(jī)視覺領(lǐng)域。 圖片 由 于拍攝時(shí)間、角度、 光照和 傳感器本身的缺陷及噪聲等 因素的 影響，從而使圖像存在失真和幾何畸變 。 但是匹配的總體思路描述為， 圖像輸入、圖像預(yù)處理、 提取匹配信息、圖像匹配、輸出結(jié)果 。 從而實(shí)現(xiàn)兩幅圖像的匹配。 基于圖像特征的匹配方法 基于圖像特征的配準(zhǔn)方法是目前 應(yīng)用最廣泛的方法 。 基于圖象特征的匹配方法 的出現(xiàn)是圖像匹配技術(shù)的一大進(jìn)步，它克服了基于圖像灰度匹配方法的缺點(diǎn) ， 提高了圖像匹配的效率和速度。所以基于圖像 特征的匹配 越來越受到人么的重視，在實(shí)際生活中得到了廣泛應(yīng)用 。 基于 sift 算法的圖像匹配方法 7 3 尺度空間 理論 我們要精確表示的物體都是通過一定的尺度來反映的。尺度越大圖像越模糊。尺度空間是一種基于區(qū)域的 表達(dá)， 與 其他的 表達(dá)相比， 由于 尺度空間表示 是 由平滑獲得， 所有在多尺度上具有保持空間取樣不變的特性 ， 并在同一特征的情況下，尺度空間在粗糙尺度上能夠?qū)?yīng)更多的像素點(diǎn)，從而使數(shù)據(jù)處理任務(wù)大大簡化，計(jì)算效率大大提高。先識別候選位置，然后在進(jìn)一步確認(rèn)的 層疊 過濾方法來探測關(guān)鍵點(diǎn)。 1984年， Koenderink 和 Lindeberg通過對尺度空間的研究發(fā)現(xiàn)，高斯函數(shù)是尺度空間中唯一可行的核 [9]。 這些理論為提取圖像的多尺度特征奠定了理論基礎(chǔ)。 這種算法在 2020年被加以完善。另外， SIFT算法還具有多量性，即使是少數(shù)的幾個(gè)物體也可以產(chǎn)生大量 SIFT特征向量。 SIFT算法實(shí)現(xiàn)對物體的匹配主要分為四步： 提取關(guān)鍵點(diǎn)。 建立景物之間的對應(yīng)關(guān)系。用參數(shù)估計(jì)方法，對匹配點(diǎn)反復(fù)測試、不斷迭代運(yùn)算，消除錯(cuò)誤匹配點(diǎn)。對圖像進(jìn)行高斯平滑處理，使圖像更易于處理，準(zhǔn)確性更高。在不同的尺度參數(shù)σ連續(xù)變化時(shí) ， 高斯函數(shù) G(x, y,σ )與圖像 I(x,y)卷積可以得到圖像 I(x,y)的尺度空間。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。這種模糊技術(shù)生成的圖像，其視覺效果就像是經(jīng)過一個(gè)半透明屏幕在觀察圖像，這與鏡頭焦外成像效果 散景 以及普通照明陰影中的效果都明顯不同。圖像與圓形 方框模糊 做卷積將會(huì)生成更加精確的焦外成像效果。 （ 2）、 高斯模糊具有線性可分的性質(zhì)，可以在二維圖像上對兩個(gè)獨(dú)立的以為空間分別進(jìn)行計(jì)算，這樣可以大大的減速運(yùn)算次數(shù)，提高運(yùn)算速度。 圖 43 高斯模糊圖像對比（左圖為原圖像，右圖為模糊后的圖像） 高斯金字塔 高斯金字塔的構(gòu)建過程大致可分為兩步； （ 1）、對圖像做高斯平滑。 高斯圖像金字塔共 o組、 s層， 則有： σ(s) = σ02s S? （ 44） σ —— 尺度空間坐標(biāo)； s—— sublevel層坐標(biāo)； σ 0—— 初始尺度； S—— 每組層數(shù)（一般為 3~5）。 LOG算子真正具有尺度不變性。圖 46為一幅圖像進(jìn)過 DOG金字塔處理后的圖像。 圖 48 圖像極致點(diǎn)檢測結(jié)果 精確定位特征點(diǎn)的位置和所在的尺度 通過對 DOG函數(shù)的極值點(diǎn)檢查，我們初步得到了 圖像的特征點(diǎn)集，但是由于 DOG函數(shù)對噪聲和邊緣較為敏感， 所以我們需要將得到的點(diǎn)集進(jìn)行進(jìn)一步處理才能得到精確的特征點(diǎn)集。 Lowe的試驗(yàn)顯示，我們通常將所有 ? ? ??XD 的極值點(diǎn)舍去。 DoG函數(shù)的峰值點(diǎn)在橫跨邊緣的方向有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。這里我們讓 r值取 10。為了是特征點(diǎn)集具有旋轉(zhuǎn)不變形，我們需要利用關(guān)鍵點(diǎn)鄰域像素的梯度分布特性，為每個(gè)關(guān)鍵點(diǎn)指定參數(shù)方向。 圖 411 確定主方向 在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值 80%能量的峰值時(shí)，則認(rèn)為這個(gè)方向是該特征點(diǎn)的輔方向，一個(gè)特征點(diǎn)可能會(huì)被指定具有多個(gè)方向（一個(gè)主方向，一個(gè)輔方向），大約有 15%的點(diǎn)有多個(gè)方向，但是這些輔助方向?qū)ζヅ涞姆€(wěn)定性起了很重要的作用，增強(qiáng)了匹配的魯棒性。 關(guān)鍵點(diǎn)描述思路 描述的思路是首先對關(guān)鍵點(diǎn)周圍圖像區(qū)域進(jìn)行分塊處理，計(jì)算出每一塊的梯度直方圖。 圖 413 SIFT描述子事例 關(guān)鍵點(diǎn)描述步驟 （ 1）確定計(jì)算描述子所需的圖像區(qū)域 描述子梯度方向直方圖由關(guān)鍵點(diǎn)所在尺度的模糊圖像計(jì)算產(chǎn)生。然后再在下一個(gè) 2X2的區(qū)域內(nèi)進(jìn)行直方圖統(tǒng)計(jì)，形成下一個(gè)種子點(diǎn)，共生成 16個(gè)種子點(diǎn)。? c o s s i n? s i n c o sxxyy?????? ? ? ? ? ???? ? ? ? ? ?? ? ? ? ? ?? ?? ? ? ? ? ? ? ?22, e x p 1 1 12kk r c owxyw e ig h t g r a d I x y d d d? ??? ?? ? ? ? ? ? ? ? ?????? ?1 2 1 2 8, , ,W w w w?? ?1 2 1 2 8, , ,L l l l?1281/j j iil w w?? ? 1, 2 , 1 2 8j ?基于 sift 算法的圖像匹配方法 21 下一步我們將采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量 。 原圖像： 目標(biāo)圖像： 圖 415 匹配方式 圖 416 不同閾值對應(yīng)的匹配成功率 不同的閾值對應(yīng)的正確匹配與不正確匹配之間的比例關(guān)系如圖，在我們的實(shí)現(xiàn)算法中，取閾值為 ，當(dāng)大于此閾值就否定該匹配，這樣我們可以消除 90%的錯(cuò)誤匹配，而僅僅丟棄了 5%的正確匹配 [13]。 本章小結(jié) ijipRS Th r e s h o ld?實(shí) 時(shí) 圖 中 距 離 最 近 的 點(diǎn) 實(shí) 時(shí) 圖 中 距 離 的 次 最 近 點(diǎn) 基于 sift 算法的圖像匹配方法 22 本章詳細(xì)介紹了 SIFT算法的實(shí)現(xiàn)過程，對 SIFT算法的理論知識做了充分的闡述。 SIFT特征點(diǎn)集用帶箭頭的向量表示，箭頭的長度代表該特征點(diǎn)所在的尺度，方向代表該特征點(diǎn)所在尺度下方向的梯度方向，箭頭的起點(diǎn)代表特征點(diǎn)的位置。而與物體表 面 的紋理具有正相關(guān)的關(guān)系。 表 51 不同圖像的關(guān)鍵點(diǎn)檢測數(shù)據(jù) 圖像編號 實(shí)物名稱 特征點(diǎn)數(shù)目 （ a） 水杯 42 （ b） 盒子 1 158 （ c） 盒子 2 54 （ d） 牛奶 142 （ e） 糖果 183 （ f） 牙膏 208 特征匹配實(shí)驗(yàn)結(jié)果 根據(jù) SIFT算法的理論，我們可以得知 SIFT算法具有很好的穩(wěn)定性。我們進(jìn)行如下實(shí)驗(yàn)： 如圖 52，我們分別輸入兩張亮度信息不同的圖像（ a） ,（ b），他們中都含有相同的元素。 圖 53 亮度信息變化下的匹配結(jié)果 尺度變換的匹配 為了取得 SIFT算法在不同尺度下的匹配小姑，我們將進(jìn)行如下實(shí)驗(yàn)。在匹配的過程中，匹配率相對較高，能得到多對匹配點(diǎn)。 旋轉(zhuǎn)變換的匹配 為了得到 SIFT算在旋轉(zhuǎn)變換情況下的匹配效果，我們輸入一張如 圖 56所示圖片，將瓶子向分別向左右兩個(gè)方向旋轉(zhuǎn) 15176。 基于 sift 算法的圖像匹配方法 28 圖 56 輸入 的 原始圖像 經(jīng)過 SIFT算法后，我們得到原始圖像和旋轉(zhuǎn)后圖像的特征點(diǎn)，然后進(jìn)行一一匹配，得到匹配效果如 圖 57： （ a）向右旋轉(zhuǎn) 15 度 匹配效果 （ b） 向右旋轉(zhuǎn) 30 度匹配效果 基于 sift 算法的圖像匹配方法 29 （ c）向左旋轉(zhuǎn) 15 度匹配效果 （ d）向左旋轉(zhuǎn) 30 度匹配效果 圖 57 旋轉(zhuǎn)匹配效果 表 53 旋轉(zhuǎn)變化下的關(guān)鍵點(diǎn)匹配數(shù)據(jù) 圖像對 旋轉(zhuǎn)角度 特征點(diǎn)數(shù)目 與原圖像匹配成功點(diǎn)數(shù)目 圖 0 306 0 圖 （ a） 向右 15 度 220 31 圖 (b) 向右 30 度 172 30 圖 (c) 向左 15 度 291 42 圖 (d) 向左 30 度 198 23 通過對實(shí)驗(yàn)結(jié)果 圖 57的分析和對數(shù)據(jù)的統(tǒng)計(jì) 表 53分析我們可以發(fā)現(xiàn)，雖然該算法在理論上具有很好的旋轉(zhuǎn)不變性，但是實(shí)驗(yàn)效果不是很好。 圖像匹配應(yīng)用 —— 物體識別 圖像匹配在 算法在現(xiàn)實(shí)生活中具有廣泛的應(yīng)用，在軍事目標(biāo)識別、工業(yè)和民用方面都有不同程度的應(yīng)用，其應(yīng)用已經(jīng)滲透到了很多領(lǐng)域，典型應(yīng)用比如：物體識別、機(jī)器人定位與導(dǎo)航、圖像拼接、三維建模、 物體 識別、視頻跟蹤、筆跡基于 sift 算法的圖像匹配方法 30 鑒定、指紋與人臉識別、犯罪現(xiàn)場特征提取等。然后通過函數(shù)提取出每個(gè)物體的特征點(diǎn)集。 作為與目標(biāo)圖像匹配的依據(jù)。 因?yàn)槊看窝h(huán)都要調(diào)用 SIFT特征點(diǎn)提取，所以耗時(shí)較長，我們分別對 9個(gè)物體的數(shù)據(jù)庫建立時(shí)間做了統(tǒng)計(jì)，統(tǒng)計(jì)數(shù)據(jù)如 表 54。并把每個(gè)物體的關(guān)鍵點(diǎn)信息存入相對應(yīng)的數(shù)組中。我們現(xiàn)在只需輸入一張圖片，將圖像與數(shù)據(jù)庫進(jìn)行匹配。我們輸入的圖像中并沒有牛奶和書。在經(jīng)過反復(fù)的測試后，在這里我們將門限取 5，只有當(dāng)匹配上的關(guān)鍵點(diǎn)數(shù)大于 5對的時(shí)候我們才認(rèn)為該圖像與庫中的圖像匹配成功，并在最后的結(jié)果中輸出。 程序?qū)崿F(xiàn)了預(yù)期功能，但也存在一些不足。 圖 520 經(jīng)過改進(jìn)后的程序輸出結(jié)果 經(jīng)過修正后的程序大大提高了識別的精度和準(zhǔn)確度，過濾掉了大部分的錯(cuò)誤識別。在這里，我們設(shè)置一個(gè)識別門限，當(dāng)匹配上的關(guān)鍵點(diǎn)對數(shù)大于這個(gè)門限的時(shí)候我們再輸出相應(yīng)的結(jié)果，否則我們就判定這是一個(gè)錯(cuò)誤的識別。 （ a）輸入圖像與庫中的盒子匹配結(jié)果 基于 sift 算法的圖像匹配方法