【文章內(nèi)容簡介】 尺度、旋轉(zhuǎn) 等不變性 ， 對圖像的位置、尺度、旋轉(zhuǎn)變換具有更高的匹配精度 。而且， 基于 特征 的匹配具有很好的抗噪效果 ， 并在 圖像 發(fā)生 灰度變化，形變以及遮擋等 情況下也能有較好的匹配效果 。所以基于圖像 特征的匹配 越來越受到人么的重視，在實(shí)際生活中得到了廣泛應(yīng)用 。 本章小結(jié) 本章主要介紹了圖像匹配的相關(guān)理論知識，對圖像匹配技術(shù)做了簡明扼要的介紹。同時(shí)闡述了圖像匹配的兩種方法，并分別對這兩種方法的優(yōu)缺點(diǎn)進(jìn)行了總結(jié)。為后文將要描述的特征點(diǎn)匹配做鋪墊 。 基于 sift 算法的圖像匹配方法 7 3 尺度空間 理論 我們要精確表示的物體都是通過一定的尺度來反映的?，F(xiàn)實(shí)世界的物體也總是通過不同尺度的觀察而得到不同的變化。尺度空間理論最早在 1962年提出，但當(dāng)時(shí)并未引起算機(jī)視覺領(lǐng)域研究者們的足夠注意，直到上世紀(jì)八十年代， witkin 、Koenderink等人的奠基性工作使得尺度空間方法逐漸得到關(guān)注和發(fā)展。尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標(biāo)由近到遠(yuǎn)時(shí)目標(biāo)在視網(wǎng)膜上的形成過程。尺度越大圖像越模糊。 尺度空間理論 尺度空間是一個(gè)用來控制觀察尺度或表征圖像數(shù)據(jù)多尺度自然特性的框架；信號的尺度空間是 指包含有一個(gè)連續(xù) 尺度參量 的 信號的特征結(jié)構(gòu)集合 。尺度空間理論是 先將圖像進(jìn)行尺度變換處理，得到圖像在不同尺度下的表示序列。提取出尺度空間的主輪廓，以提取出的主輪廓作為特征向量，實(shí)現(xiàn)圖像的特征點(diǎn)提取。尺度空間是一種基于區(qū)域的 表達(dá)， 與 其他的 表達(dá)相比， 由于 尺度空間表示 是 由平滑獲得， 所有在多尺度上具有保持空間取樣不變的特性 ， 并在同一特征的情況下，尺度空間在粗糙尺度上能夠?qū)?yīng)更多的像素點(diǎn)，從而使數(shù)據(jù)處理任務(wù)大大簡化，計(jì)算效率大大提高。第二個(gè)尺度空間表征的重要特征， 就是基于尺度的結(jié)構(gòu)特性能 解析式非常簡單 ， 計(jì)算簡潔，在不同尺度空間上的特征可以通過解析式精確的聯(lián)系起來。 尺度空間核是 尺度 空間理論中的一個(gè)重要概念，尺度空間核被定義為： fout = K * fin （ 31） 對于所有的信號 fin，若它與變換核 K 卷積后得到的信號 fout中的極值 ( 一階微分過零點(diǎn)數(shù) ) 不超過原圖像的極值，則稱 K為尺度空間核，所進(jìn)行的卷積變換稱為尺度變換 [8]。 高斯尺度空間 在提取關(guān)鍵點(diǎn)集的過程中，我們采用了一種高效的識別方法。先識別候選位置，然后在進(jìn)一步確認(rèn)的 層疊 過濾方法來探測關(guān)鍵點(diǎn)。關(guān)鍵點(diǎn)集的探測首先是把同一圖像在不同視角下可被重復(fù)分配的位置和尺度。適用尺度空間的尺度連續(xù)函數(shù)，通過搜索關(guān)鍵點(diǎn)對所有尺度的穩(wěn)定特征進(jìn)行檢索。完成對圖像尺度具有不變性的位置探測。 1984年， Koenderink 和 Lindeberg通過對尺度空間的研究發(fā)現(xiàn)，高斯函數(shù)是尺度空間中唯一可行的核 [9]。因此， 由尺度可變的高斯函數(shù) G(x,y,σ )和輸入圖像 I(x,y)的卷積 ，就可以產(chǎn)生定義一幅圖像尺度空間的函數(shù) L(x,y,σ )： L(x,y,σ ) =G(x,y,σ )?I(x,y), （ 32） 其中 *為 x 和 y 之間的卷積運(yùn)算。 基于 sift 算法的圖像匹配方法 8 G(x,y,σ ) = 12πσ2 e?(x2+y2) 2σ2? （ 33） 高斯尺度空間具有以下特點(diǎn)： ，各向同性的擴(kuò)散過程； ，隨著尺度的增大，圖像越模糊，圖像上的特征結(jié)構(gòu)逐漸減少且不會有新增的特征； ，有利于追蹤圖像中物體在不同尺度間的變化情況。 本章 小結(jié) 本章主要介紹了尺度空間的理論知識和高斯尺度空間的概念。 這些理論為提取圖像的多尺度特征奠定了理論基礎(chǔ)。為下章節(jié)高斯金字塔的構(gòu)建做好理論鋪墊。為圖像 SIFT特征的提取提供了理論依據(jù)。 基于 sift 算法的圖像匹配方法 9 4 SIFT 特征匹配 Sift算法是 1999年加拿大英屬哥倫比亞大學(xué)大衛(wèi) .勞伊（ David ）教授在總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法后提出的一種新的圖像匹配方法 SFT。 這種算法在 2020年被加以完善。 SIFT算法是一種基于尺度空間的算法。該算法的特征是圖像的局部特征，使其對旋轉(zhuǎn)、尺度縮放、亮度變化 具有 保持 不變性，并在對視角變化、仿射變換、噪聲也具有很好的保持一定程度的穩(wěn)定性。同時(shí) SIFT算法還具有獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。另外， SIFT算法還具有多量性，即使是少數(shù)的幾個(gè)物體也可以產(chǎn)生大量 SIFT特征向量。而且， SIFT算法還具有可擴(kuò)展型，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。同時(shí)， SIFT算法經(jīng)過優(yōu)化和，執(zhí)行速度較快，可以滿足一定的速度要求。 SIFT算法的實(shí)現(xiàn)簡單步驟如下圖： 圖 41 SIFT算法步驟 SIFT算法從實(shí)質(zhì)可以總結(jié)為在不同尺度空間上查找特征點(diǎn)的問題，在對特征點(diǎn)進(jìn)行一一比對，找出相匹配的關(guān)鍵點(diǎn)。 SIFT算法實(shí)現(xiàn)對物體的匹配主要分為四步： 提取關(guān)鍵點(diǎn)。對圖像進(jìn)行處理，提取出圖像的關(guān)鍵點(diǎn)，產(chǎn)生關(guān)鍵點(diǎn)集。 對關(guān)鍵點(diǎn)加以描述。對產(chǎn)生的關(guān)鍵點(diǎn)附加 方向 的信息（局部信息），也就是所謂的描述器。 建立景物之間的對應(yīng)關(guān)系。通過對兩張圖片的特征點(diǎn)集（附帶特征向量的關(guān)鍵點(diǎn)）進(jìn)行兩兩比較，找出相匹配的若干對特征點(diǎn)。然后用線連接起來。 消除錯(cuò)誤匹配點(diǎn)。用參數(shù)估計(jì)方法，對匹配點(diǎn)反復(fù)測試、不斷迭代運(yùn)算，消除錯(cuò)誤匹配點(diǎn)。 特征點(diǎn)檢測特征點(diǎn)描述目標(biāo)的特征點(diǎn)集特征點(diǎn)匹配目標(biāo)的特征點(diǎn)集目標(biāo)圖像SIFT特征點(diǎn)檢測特征點(diǎn)描述原圖像SIFT匹配點(diǎn)矯正基于 sift 算法的圖像匹配方法 10 圖像的初始 SIFT算法是在灰度圖像進(jìn)行數(shù)據(jù)處理的。所以在執(zhí)行 SIFT算法之前，我們需要將圖像進(jìn)行初始化處理，也就是要將圖像進(jìn)行歸一化處理，把圖像轉(zhuǎn)換為灰度圖像。轉(zhuǎn)換成適當(dāng)大小的圖像。對圖像進(jìn)行高斯平滑處理，使圖像更易于處理，準(zhǔn)確性更高。 尺度空間極值檢測 在第三章中我們已經(jīng)介紹了尺度空間理論。 構(gòu)建尺度空間的目的是模擬圖像數(shù)據(jù)的多尺度特征。高斯核是唯一可以產(chǎn)生多尺度空間的線性核。在不同的尺度參數(shù)σ連續(xù)變化時(shí) ， 高斯函數(shù) G(x, y,σ )與圖像 I(x,y)卷積可以得到圖像 I(x,y)的尺度空間。 L(x, y,σ ) = G(x, y,σ ) * I(x, y)。 （ 41） 式中 L表示尺度空間， (x,y)代表 I上的點(diǎn)。σ是尺度因子，其值越大則表征該圖像被平滑得越大；其值越小則表征該圖像被平滑得越小 [14]。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。因此，選擇合適的尺度因子平滑是建立尺度空間的關(guān)鍵。 高斯模糊 圖 42 高斯模糊的集合圖形 （ 42） r為模糊半徑， σ 是正態(tài)分布的標(biāo)準(zhǔn)偏差。 （ 43） ? ? 2221rr e x p22G ?? ?????????22r= x y?基于 sift 算法的圖像匹配方法 11 高斯模糊對于圖像來說就是一個(gè) 低通濾波器 ，是在 Adobe Photoshop、 GIMP 以及 等圖像處理軟件中廣泛使用 的處理效果，通常用它來減少圖像噪聲以及降低細(xì)節(jié)層次。這種模糊技術(shù)生成的圖像，其視覺效果就像是經(jīng)過一個(gè)半透明屏幕在觀察圖像，這與鏡頭焦外成像效果 散景 以及普通照明陰影中的效果都明顯不同。高斯平滑也用于 計(jì)算機(jī)視覺 算法中的預(yù)先處理階段，以增強(qiáng)圖像在不同比例大小下的圖像效果。從數(shù)學(xué)的角度來看，圖像的高斯模糊過程就是圖像與 正態(tài)分布 做卷 積。由于正態(tài)分布又叫作高斯分布，所以這項(xiàng)技術(shù)就叫作高斯模糊。圖像與圓形 方框模糊 做卷積將會生成更加精確的焦外成像效果。 從理論上講， 圖像中每個(gè)點(diǎn)的分布都不為零，這也就是說每個(gè)像素的計(jì)算都需要包含整幅圖像，在實(shí)際的計(jì)算中，在計(jì)算高斯函數(shù)的離散近似時(shí)在大概 3σ距離之外的像素都可以看作不起作用，這些像素的計(jì)算也就可以忽略。通常， 圖像處理程序只需要計(jì)算 的矩陣就可以保證相關(guān)的像素影響 [10]。 采用高斯模糊具有如下幾個(gè)特征： （ 1） 、高斯模糊具有圓對稱性。 （ 2）、 高斯模糊具有線性可分的性質(zhì)，可以在二維圖像上對兩個(gè)獨(dú)立的以為空間分別進(jìn)行計(jì)算，這樣可以大大的減速運(yùn)算次數(shù)，提高運(yùn)算速度。 （ 3） 、 對一幅圖像進(jìn)行 一次較大的高斯模糊得到的效果，也可以將該圖像進(jìn)行多次連續(xù)較小的的高斯模糊也能夠得到相同的效果。它們之間的高斯模糊半徑需要滿足一定的關(guān)系，即較小 的高斯模糊的半徑 的平方和等于較大的高斯模糊半徑的平方。若 較小的高斯模糊半徑 分別為 6 和 8，則與之高斯模糊效果相同的一次 高斯模糊 高斯 半徑為 ， 因此，高斯模糊的的處理時(shí)間跟不會因?yàn)槭褂幂^多高斯半徑較小的是高斯模糊而增加時(shí)間。 圖 43 高斯模糊圖像對比（左圖為原圖像，右圖為模糊后的圖像） 高斯金字塔 高斯金字塔的構(gòu)建過程大致可分為兩步； （ 1）、對圖像做高斯平滑。 （ 2）、對圖像做降采樣處理。 為了讓尺度體現(xiàn)其連續(xù)性，在簡單下采樣的基礎(chǔ)上加上了高斯濾波。一幅圖(6 1) (6 1)??? ? ?226 8 10??基于 sift 算法的圖像匹配方法 12 像可以產(chǎn)生幾組圖像，一組圖像包括幾層圖像。 高斯圖像金字塔共 o組、 s層， 則有： σ(s) = σ02s S? （ 44） σ —— 尺度空間坐標(biāo)； s—— sublevel層坐標(biāo)； σ 0—— 初始尺度； S—— 每組層數(shù)（一般為 3~5）。 由此可見，相鄰兩組的同一層尺度為 2倍的關(guān)系 上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔點(diǎn)采樣生成的。 這樣可以保持尺度 的連續(xù)性。 圖 44高斯金字塔 建立 DoG 金字塔 DoG即高斯差分函數(shù)，是由 LOG與高斯核函數(shù)的差的關(guān)系。 LOG算子真正具有尺度不變性。 DOG函數(shù)在計(jì)算上只需要相鄰尺度高斯平滑后圖像相減即可得到，因此簡化了計(jì)算。 DOG函數(shù)公式如下： （ 45） 對應(yīng) DOG算子，我們需要構(gòu)建 DOG金字塔，我們可以通過高斯差分圖像看出圖像上的像素值得變化情況， DOG圖像描述的是目標(biāo)圖像的輪廓。 ? ? ? ? ? ? ? ?? ? ? ?, , , , , , * , , , ,D x y G x y k G x y I x yL x y k L x y? ? ?????????O c t a v e 1O c t a v e 2O c t a v e 3O c t a v e 4O c t a v e 5?2?4?8?……………基于 sift 算法的圖像匹配方法 13 圖 45 DOG金字塔 在圖中， DoG金字塔的第 1層的尺度因子與高斯金字塔的第 1層的是一致的，其它階也是一樣。圖 46為一幅圖像進(jìn)過 DOG金字塔處理后的圖像。 圖 46 圖像經(jīng)過 DOG 金字塔處理后的圖像 極值檢測，初步確立特征點(diǎn) 特征點(diǎn)集是有 DOG空間的局部極值點(diǎn)組成的。為了尋找 DOG函數(shù)的極值點(diǎn)，我們需要將每個(gè)像素點(diǎn)和他的鄰域像素點(diǎn)