【文章內容簡介】 尺度、旋轉 等不變性 ， 對圖像的位置、尺度、旋轉變換具有更高的匹配精度 。而且， 基于 特征 的匹配具有很好的抗噪效果 ， 并在 圖像 發(fā)生 灰度變化，形變以及遮擋等 情況下也能有較好的匹配效果 。所以基于圖像 特征的匹配 越來越受到人么的重視，在實際生活中得到了廣泛應用 。 本章小結 本章主要介紹了圖像匹配的相關理論知識，對圖像匹配技術做了簡明扼要的介紹。同時闡述了圖像匹配的兩種方法，并分別對這兩種方法的優(yōu)缺點進行了總結。為后文將要描述的特征點匹配做鋪墊 。 基于 sift 算法的圖像匹配方法 7 3 尺度空間 理論 我們要精確表示的物體都是通過一定的尺度來反映的?，F(xiàn)實世界的物體也總是通過不同尺度的觀察而得到不同的變化。尺度空間理論最早在 1962年提出，但當時并未引起算機視覺領域研究者們的足夠注意，直到上世紀八十年代， witkin 、Koenderink等人的奠基性工作使得尺度空間方法逐漸得到關注和發(fā)展。尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標由近到遠時目標在視網(wǎng)膜上的形成過程。尺度越大圖像越模糊。 尺度空間理論 尺度空間是一個用來控制觀察尺度或表征圖像數(shù)據(jù)多尺度自然特性的框架；信號的尺度空間是 指包含有一個連續(xù) 尺度參量 的 信號的特征結構集合 。尺度空間理論是 先將圖像進行尺度變換處理，得到圖像在不同尺度下的表示序列。提取出尺度空間的主輪廓，以提取出的主輪廓作為特征向量，實現(xiàn)圖像的特征點提取。尺度空間是一種基于區(qū)域的 表達， 與 其他的 表達相比， 由于 尺度空間表示 是 由平滑獲得， 所有在多尺度上具有保持空間取樣不變的特性 ， 并在同一特征的情況下，尺度空間在粗糙尺度上能夠對應更多的像素點，從而使數(shù)據(jù)處理任務大大簡化，計算效率大大提高。第二個尺度空間表征的重要特征， 就是基于尺度的結構特性能 解析式非常簡單 ， 計算簡潔，在不同尺度空間上的特征可以通過解析式精確的聯(lián)系起來。 尺度空間核是 尺度 空間理論中的一個重要概念，尺度空間核被定義為： fout = K * fin （ 31） 對于所有的信號 fin，若它與變換核 K 卷積后得到的信號 fout中的極值 ( 一階微分過零點數(shù) ) 不超過原圖像的極值，則稱 K為尺度空間核，所進行的卷積變換稱為尺度變換 [8]。 高斯尺度空間 在提取關鍵點集的過程中，我們采用了一種高效的識別方法。先識別候選位置，然后在進一步確認的 層疊 過濾方法來探測關鍵點。關鍵點集的探測首先是把同一圖像在不同視角下可被重復分配的位置和尺度。適用尺度空間的尺度連續(xù)函數(shù)，通過搜索關鍵點對所有尺度的穩(wěn)定特征進行檢索。完成對圖像尺度具有不變性的位置探測。 1984年， Koenderink 和 Lindeberg通過對尺度空間的研究發(fā)現(xiàn)，高斯函數(shù)是尺度空間中唯一可行的核 [9]。因此， 由尺度可變的高斯函數(shù) G(x,y,σ )和輸入圖像 I(x,y)的卷積 ，就可以產生定義一幅圖像尺度空間的函數(shù) L(x,y,σ )： L(x,y,σ ) =G(x,y,σ )?I(x,y), （ 32） 其中 *為 x 和 y 之間的卷積運算。 基于 sift 算法的圖像匹配方法 8 G(x,y,σ ) = 12πσ2 e?(x2+y2) 2σ2? （ 33） 高斯尺度空間具有以下特點： ，各向同性的擴散過程； ，隨著尺度的增大，圖像越模糊，圖像上的特征結構逐漸減少且不會有新增的特征； ，有利于追蹤圖像中物體在不同尺度間的變化情況。 本章 小結 本章主要介紹了尺度空間的理論知識和高斯尺度空間的概念。 這些理論為提取圖像的多尺度特征奠定了理論基礎。為下章節(jié)高斯金字塔的構建做好理論鋪墊。為圖像 SIFT特征的提取提供了理論依據(jù)。 基于 sift 算法的圖像匹配方法 9 4 SIFT 特征匹配 Sift算法是 1999年加拿大英屬哥倫比亞大學大衛(wèi) .勞伊（ David ）教授在總結了現(xiàn)有的基于不變量技術的特征檢測方法后提出的一種新的圖像匹配方法 SFT。 這種算法在 2020年被加以完善。 SIFT算法是一種基于尺度空間的算法。該算法的特征是圖像的局部特征，使其對旋轉、尺度縮放、亮度變化 具有 保持 不變性，并在對視角變化、仿射變換、噪聲也具有很好的保持一定程度的穩(wěn)定性。同時 SIFT算法還具有獨特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配。另外， SIFT算法還具有多量性，即使是少數(shù)的幾個物體也可以產生大量 SIFT特征向量。而且， SIFT算法還具有可擴展型，可以很方便的與其他形式的特征向量進行聯(lián)合。同時， SIFT算法經過優(yōu)化和，執(zhí)行速度較快，可以滿足一定的速度要求。 SIFT算法的實現(xiàn)簡單步驟如下圖： 圖 41 SIFT算法步驟 SIFT算法從實質可以總結為在不同尺度空間上查找特征點的問題，在對特征點進行一一比對，找出相匹配的關鍵點。 SIFT算法實現(xiàn)對物體的匹配主要分為四步： 提取關鍵點。對圖像進行處理，提取出圖像的關鍵點，產生關鍵點集。 對關鍵點加以描述。對產生的關鍵點附加 方向 的信息（局部信息），也就是所謂的描述器。 建立景物之間的對應關系。通過對兩張圖片的特征點集（附帶特征向量的關鍵點）進行兩兩比較，找出相匹配的若干對特征點。然后用線連接起來。 消除錯誤匹配點。用參數(shù)估計方法，對匹配點反復測試、不斷迭代運算，消除錯誤匹配點。 特征點檢測特征點描述目標的特征點集特征點匹配目標的特征點集目標圖像SIFT特征點檢測特征點描述原圖像SIFT匹配點矯正基于 sift 算法的圖像匹配方法 10 圖像的初始 SIFT算法是在灰度圖像進行數(shù)據(jù)處理的。所以在執(zhí)行 SIFT算法之前，我們需要將圖像進行初始化處理，也就是要將圖像進行歸一化處理，把圖像轉換為灰度圖像。轉換成適當大小的圖像。對圖像進行高斯平滑處理，使圖像更易于處理，準確性更高。 尺度空間極值檢測 在第三章中我們已經介紹了尺度空間理論。 構建尺度空間的目的是模擬圖像數(shù)據(jù)的多尺度特征。高斯核是唯一可以產生多尺度空間的線性核。在不同的尺度參數(shù)σ連續(xù)變化時 ， 高斯函數(shù) G(x, y,σ )與圖像 I(x,y)卷積可以得到圖像 I(x,y)的尺度空間。 L(x, y,σ ) = G(x, y,σ ) * I(x, y)。 （ 41） 式中 L表示尺度空間， (x,y)代表 I上的點。σ是尺度因子，其值越大則表征該圖像被平滑得越大；其值越小則表征該圖像被平滑得越小 [14]。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節(jié)特征。因此，選擇合適的尺度因子平滑是建立尺度空間的關鍵。 高斯模糊 圖 42 高斯模糊的集合圖形 （ 42） r為模糊半徑， σ 是正態(tài)分布的標準偏差。 （ 43） ? ? 2221rr e x p22G ?? ?????????22r= x y?基于 sift 算法的圖像匹配方法 11 高斯模糊對于圖像來說就是一個 低通濾波器 ，是在 Adobe Photoshop、 GIMP 以及 等圖像處理軟件中廣泛使用 的處理效果，通常用它來減少圖像噪聲以及降低細節(jié)層次。這種模糊技術生成的圖像，其視覺效果就像是經過一個半透明屏幕在觀察圖像，這與鏡頭焦外成像效果 散景 以及普通照明陰影中的效果都明顯不同。高斯平滑也用于 計算機視覺 算法中的預先處理階段，以增強圖像在不同比例大小下的圖像效果。從數(shù)學的角度來看，圖像的高斯模糊過程就是圖像與 正態(tài)分布 做卷 積。由于正態(tài)分布又叫作高斯分布，所以這項技術就叫作高斯模糊。圖像與圓形 方框模糊 做卷積將會生成更加精確的焦外成像效果。 從理論上講， 圖像中每個點的分布都不為零，這也就是說每個像素的計算都需要包含整幅圖像，在實際的計算中，在計算高斯函數(shù)的離散近似時在大概 3σ距離之外的像素都可以看作不起作用，這些像素的計算也就可以忽略。通常， 圖像處理程序只需要計算 的矩陣就可以保證相關的像素影響 [10]。 采用高斯模糊具有如下幾個特征： （ 1） 、高斯模糊具有圓對稱性。 （ 2）、 高斯模糊具有線性可分的性質，可以在二維圖像上對兩個獨立的以為空間分別進行計算，這樣可以大大的減速運算次數(shù)，提高運算速度。 （ 3） 、 對一幅圖像進行 一次較大的高斯模糊得到的效果，也可以將該圖像進行多次連續(xù)較小的的高斯模糊也能夠得到相同的效果。它們之間的高斯模糊半徑需要滿足一定的關系，即較小 的高斯模糊的半徑 的平方和等于較大的高斯模糊半徑的平方。若 較小的高斯模糊半徑 分別為 6 和 8，則與之高斯模糊效果相同的一次 高斯模糊 高斯 半徑為 ， 因此，高斯模糊的的處理時間跟不會因為使用較多高斯半徑較小的是高斯模糊而增加時間。 圖 43 高斯模糊圖像對比（左圖為原圖像，右圖為模糊后的圖像） 高斯金字塔 高斯金字塔的構建過程大致可分為兩步； （ 1）、對圖像做高斯平滑。 （ 2）、對圖像做降采樣處理。 為了讓尺度體現(xiàn)其連續(xù)性，在簡單下采樣的基礎上加上了高斯濾波。一幅圖(6 1) (6 1)??? ? ?226 8 10??基于 sift 算法的圖像匹配方法 12 像可以產生幾組圖像，一組圖像包括幾層圖像。 高斯圖像金字塔共 o組、 s層， 則有： σ(s) = σ02s S? （ 44） σ —— 尺度空間坐標； s—— sublevel層坐標； σ 0—— 初始尺度； S—— 每組層數(shù)（一般為 3~5）。 由此可見，相鄰兩組的同一層尺度為 2倍的關系 上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔點采樣生成的。 這樣可以保持尺度 的連續(xù)性。 圖 44高斯金字塔 建立 DoG 金字塔 DoG即高斯差分函數(shù)，是由 LOG與高斯核函數(shù)的差的關系。 LOG算子真正具有尺度不變性。 DOG函數(shù)在計算上只需要相鄰尺度高斯平滑后圖像相減即可得到，因此簡化了計算。 DOG函數(shù)公式如下： （ 45） 對應 DOG算子，我們需要構建 DOG金字塔，我們可以通過高斯差分圖像看出圖像上的像素值得變化情況， DOG圖像描述的是目標圖像的輪廓。 ? ? ? ? ? ? ? ?? ? ? ?, , , , , , * , , , ,D x y G x y k G x y I x yL x y k L x y? ? ?????????O c t a v e 1O c t a v e 2O c t a v e 3O c t a v e 4O c t a v e 5?2?4?8?……………基于 sift 算法的圖像匹配方法 13 圖 45 DOG金字塔 在圖中， DoG金字塔的第 1層的尺度因子與高斯金字塔的第 1層的是一致的，其它階也是一樣。圖 46為一幅圖像進過 DOG金字塔處理后的圖像。 圖 46 圖像經過 DOG 金字塔處理后的圖像 極值檢測，初步確立特征點 特征點集是有 DOG空間的局部極值點組成的。為了尋找 DOG函數(shù)的極值點，我們需要將每個像素點和他的鄰域像素點