【文章內(nèi)容簡(jiǎn)介】 限于視覺(jué)的范圍，也體現(xiàn)在機(jī)器智能和數(shù)字技術(shù)等方面。 7 圖像匹配技術(shù)的定義 所謂圖像 匹配 [10,11]是指在一幅（或一批）圖像中尋找與給定目標(biāo)圖像相似的圖像或者圖像區(qū)域（子圖像）的過(guò)程。通常將已知目標(biāo)圖像稱為模板圖像，而將待搜索圖像中可能與它對(duì)應(yīng)的子圖稱為該模板的待匹配的目標(biāo)圖像。圖像匹配時(shí)在來(lái)自不同時(shí)間或者不同視角的同一場(chǎng)景的兩幅或多幅圖像之間尋找對(duì)應(yīng)關(guān)系，該技術(shù)隸屬于計(jì)算機(jī)視覺(jué)領(lǐng)域 [22]。圖像匹配的具體應(yīng)用包括目標(biāo)或者場(chǎng)景識(shí)別、在多幅圖像中求解 3D 結(jié)構(gòu)、立體對(duì)應(yīng)和運(yùn)動(dòng)跟蹤等。出于拍攝時(shí)間、拍攝角度、自然環(huán)境的變化，多種傳感器的使用、傳感器本身的缺陷及噪聲等影響，拍攝的圖像會(huì)存在灰度失真和幾何畸變。同時(shí) ，圖像預(yù)處理過(guò)程會(huì)引入的誤差，這都是導(dǎo)致模板圖像與待匹配的目標(biāo)圖像之間通常存在著一定程度的差異。在這種情況下，如何使匹配算法精度高、正確匹配率高、速度快和抗干擾性強(qiáng)成為人們關(guān)心的問(wèn)題。 圖像匹配算法分類 [11] 圖像 匹配算法的選取對(duì)圖像匹配結(jié)果影響很大。使用的匹配算法不僅僅要求計(jì)算量小，還必須具有良好的抗噪能力和抗幾何形變的能力。通常情況下，圖像匹配算法可分為以下兩大類：基于灰度相關(guān)的匹配算法和基于特征的圖像匹配算法。 基于灰度相關(guān)的匹配算法 灰度匹配的基本思想 ： 以統(tǒng)計(jì)的觀點(diǎn)將圖像看成是二維信號(hào)，采用統(tǒng)計(jì)相關(guān)的方法尋找信號(hào)間的相關(guān)匹配。利用兩個(gè)信號(hào)的相關(guān)函數(shù)，評(píng)價(jià)它們的相似性以確定同名點(diǎn)。 灰度匹配通過(guò)利用某種相似性度量，如相關(guān)函數(shù)、協(xié)方差函數(shù)、差平方和、差絕對(duì)值和等測(cè)度極值，判定兩幅圖像中的對(duì)應(yīng)關(guān)系。 最經(jīng)典的灰度匹配法是歸一化的灰度匹配法，其基本原理是逐像素 地 把一個(gè)以一定大小的實(shí)時(shí)圖像窗口的灰度矩陣，與參考圖像的所有可能的窗口灰度陣列，按某種相似性度量方法進(jìn)行搜索比較的匹配方法，從理論上說(shuō)就是采用圖像相關(guān)技術(shù)。 利用灰度信息匹配方法的主要缺陷是計(jì)算量太大，因?yàn)槭?用場(chǎng)合一般都有一定的速度要求，所以這些方法很少被使用。現(xiàn)在已經(jīng)提出了一些相關(guān)的快速算法，如幅度排序相關(guān)算法， FFT 相關(guān)算法和分層搜索的序列判斷算法等。 基于特征的圖像匹配算法 特征匹配是指通過(guò)分別提取兩個(gè)或多個(gè)圖像的特征（點(diǎn)、線、面等特征），對(duì)特征進(jìn)行參數(shù)描述，然后運(yùn)用所描述的參數(shù)來(lái)進(jìn)行匹配的一種算法?；谔卣鞯钠ヅ渌幚?8 的圖像一般包含的特征有顏色特征、紋理特征、形狀特征、空間位置特征等。 特征匹配首先對(duì)圖像進(jìn)行預(yù)處理來(lái)提取其高層次的特征，然后建立兩幅圖像之間特征的匹配對(duì)應(yīng)關(guān)系，通常使用的特征基 元有點(diǎn)特征、邊緣特征和區(qū)域特征。特征匹配需要用到許多諸如矩陣的運(yùn)算、梯度的求解、還有傅立葉變換和泰勒展開等數(shù)學(xué)運(yùn)算。 常用的特征提取與匹配方法有：統(tǒng)計(jì)方法、幾何法、模型法、信號(hào)處理法、邊界特征法、傅氏形狀描述法、幾何參數(shù)法、形狀不變矩法等。 基于 圖像 特征的匹配方法可以克服利用 圖像 灰度信息進(jìn)行匹配的缺點(diǎn)，由于 圖像的特征點(diǎn)比較像素 點(diǎn)要少很多，大大減少了匹配過(guò)程的計(jì)算量 ； 同時(shí)，特征點(diǎn)的匹配度量值對(duì)位置的變化比較敏感，可以大大提高匹配的精確程度 ； 而且，特征點(diǎn)的提取過(guò)程可以減少噪聲的影響，對(duì)灰度變化 、圖像 形變以及 旋轉(zhuǎn) 等都有較好的適應(yīng)能力， 所以基于圖像 特征的匹配在實(shí)際中的應(yīng)用越來(lái)越廣泛。所使用的特征基元有點(diǎn)特征 (明顯點(diǎn)，角點(diǎn)，邊緣點(diǎn)等 )，邊緣線段等。 兩類匹配算法的比較 特征匹配與灰度匹配的區(qū)別：灰度匹配是基于像素的，特征匹配則是基于區(qū)域的，特征匹配在考慮像素灰度的同時(shí)還應(yīng)考慮諸如空間整體特征、空間關(guān)系等因素。 特征是 圖像 內(nèi)容最抽象的描述，與基于灰度的匹配方法相比，特征相對(duì)于幾何 圖像和輻射度影響來(lái)說(shuō)更不易變化，但特征提取方法的計(jì)算代價(jià)通常較大，并且需要一些自由參數(shù)和事先按照經(jīng)驗(yàn)選取的 閾值 ，因而不便于實(shí)時(shí)應(yīng)用。同時(shí)，在紋理較少的 圖像 區(qū)域提取的特征的密度通常比較稀少，使局部特征的提取比較困難。另外，基于特征的匹配方法的相似性度量也比較復(fù)雜，往往要以特征屬性、啟發(fā)式方法及閥方法的結(jié)合來(lái)確定度量方法。 本章小結(jié) 本章簡(jiǎn)要介紹了數(shù)字圖像處理技術(shù) 、 圖像匹配的基本概念 以及 兩種基本圖像匹配方法 即 基于灰度相關(guān)的匹配算法 和 基于特征的圖像匹配算法 ， 并且簡(jiǎn)單進(jìn)行了比較。為后面將要描述的特征匹配算法做了鋪墊。 9 第 3章 尺度空間理論 尺度空間理論最早出現(xiàn)于計(jì)算機(jī)視覺(jué)領(lǐng)域，當(dāng)時(shí)其目的是模擬圖像數(shù)據(jù)的多尺度特征。隨后 Koendetink 利用擴(kuò)散方尺來(lái)描述尺度空間濾波過(guò)程，并由此證明高斯核是 實(shí)現(xiàn)尺度變換的唯一變換核。 Lindeberg、 Babaud 等人通過(guò)不同的推導(dǎo)進(jìn)一步證明高斯核是唯一的線性核。因此尺度空間理論的主要思想是利用高斯核對(duì)原圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對(duì)這些序列進(jìn)行尺度空間特征提取。 尺度空間理論 尺度空間理論 [15,23]通過(guò)在視覺(jué)信息（如圖像信息） 處理模型中引入一種尺度參數(shù)，對(duì)原始圖像進(jìn)行尺度變換，利用尺度參數(shù)的連續(xù)變化獲得圖像在不同尺度下的尺度空間表示序列，綜合這一圖像序列得到圖像的本質(zhì)特征。例如該序列進(jìn)行尺度空間主輪廓的提取，實(shí)現(xiàn)邊緣、角點(diǎn)檢測(cè)和不同分辨率上的特征提取等。 尺度空間表示是一種基于區(qū)域的表達(dá)，作為尺度空間理論中的一個(gè)重要概念，尺度空間被定義為： = K * 對(duì)于 所有的輸入信號(hào) ,如果它與 變換核 K卷積后得到的輸出信號(hào) 中的極值（一階微分過(guò)零點(diǎn)）不超過(guò)原圖像的極值，那么我們稱 K 就是尺度空間核，進(jìn)行的卷積變換就稱為尺度變換。尺度空間表示通過(guò)平滑獲得，我們將尺度空間描述為 (x,σ )空間， x 和σ 分別為未知參數(shù)和尺度參數(shù)。當(dāng)采用不同尺度的平滑函數(shù)對(duì)同一圖像進(jìn)行濾波時(shí)，得到的一簇圖像就是原始圖像相對(duì)于該平滑函數(shù)的尺度空間，其中 σ 為尺度空間坐標(biāo)。如圖 31 所示的一簇圖像，左上第一副圖是原圖像，左上第二幅圖起的圖像分別經(jīng)過(guò) σ 為1， 2， 4， 6， 8 的高斯平滑之后得到的圖像，可以看出 σ 值越大則表征該圖像被平滑得越大 ，圖像越模糊。這里使用 OpenCV庫(kù)里的高斯模糊函數(shù)如以下的代碼， in是輸入的image， out1， out2 等是經(jīng)過(guò)高斯模糊之后的輸出圖像，倒數(shù)第二個(gè)參數(shù)是 σ 。 cvSmooth(in,out1,CV_GAUSSIAN, 0, 0, 1, 0)。 cvSmooth(in,out2,CV_GAUSSIAN, 0, 0, 2, 0)。 cvSmooth(in,out3,CV_GAUSSIAN, 0, 0, 4, 0)。 cvSmooth(in,out4,CV_GAUSSIAN, 0, 0, 6, 0)。 cvSmooth(in,out5,CV_GAUSSIAN, 0, 0, 8, 0)。 10 圖 31 尺度空間圖像 高斯尺度空間 采用高斯核作為尺度空間核函數(shù)得到的尺度空間成為高斯尺度空間。 Koendetink[15] 利用擴(kuò)散方程來(lái)描述尺度空間濾波過(guò)程，并由此證明高斯核是實(shí)現(xiàn)尺度變換的唯一變換核。 Lindeberg[13]、 Babaud[14]等人通過(guò)不同的推導(dǎo)進(jìn)一步證明高斯核是唯一的線性核。高斯尺度空間的核心思想是將原始圖像與高斯函數(shù)作 卷積，通過(guò)高斯函數(shù)參數(shù)的不斷變化，獲得不同尺度的圖像序列。通常我們 將高斯 尺度空間描述為（ x, y,σ）空間，其中x， y 和σ分別表示位置參數(shù)和尺度參數(shù)。當(dāng)采用不同尺度的高斯函數(shù)對(duì)同一圖像進(jìn)行濾波時(shí)，得到的一簇圖像序列就是原始圖像相對(duì)于該平滑函數(shù)的高斯尺度空間，σ即為尺度空間因子 。高斯核如公式 ()： 2)(2 2/2 1),( 22 ???? yxeyxG ??? () 高斯尺度空間 [13]的特點(diǎn)有： 1） 符合熱擴(kuò)散方程，具有各向同性的擴(kuò)散過(guò)程； 2） 滿足因果關(guān)系，隨著尺度的增大，圖像上的特征結(jié)構(gòu)逐漸減少且不會(huì)有新的特征出現(xiàn)； 3） 圖像不同尺度空間的灰度變化呈線性，有利于追蹤圖像中物體在不同尺度間 11 的變化情況。 本章小結(jié) 本章主要介紹了尺度空間理論和高斯尺度空間的概念，這是為了模擬圖像的多尺 度特征，而圖像的多尺度表示為第 節(jié)構(gòu)造高斯金字塔圖像奠定了理論基礎(chǔ)，尺度空間理論 為圖像 SIFT 特征的提取提供一個(gè)理論依據(jù) 。 12 第 4章 SIFT 特征匹配 SIFT 特征匹配算法是 David G. Lowe 在 2021 年總結(jié)了現(xiàn)有的基于 不變量技術(shù)的特征檢測(cè)方法的基礎(chǔ)上，提出的一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換不變性的特征匹配算法。 SIFT 特征是圖像的局部特征，該特征對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。 SIFT 特征匹配算法 [19]分為兩個(gè)階段來(lái)實(shí)現(xiàn)：第 1 階段是 SIFT 特征的 提取 ，即從多幅待匹配圖像中提取對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化無(wú)關(guān)的特征向量；第 2 階段是 SIFT特征向量的匹配。它通過(guò)在圖像的尺度空間內(nèi)，將定位極值點(diǎn)作為匹配候選關(guān)鍵點(diǎn)，并且提取極值點(diǎn)的方向參數(shù)，最后獲得匹配所 需關(guān)鍵點(diǎn)描述符。 SIFT 特征向量的生成 [2]需要四個(gè)步驟：第一，檢測(cè)尺度空間極值點(diǎn)；第二，精確定位特征點(diǎn)位置；第三，確定特征點(diǎn)主方向；第四，生成 SIFT 特征向量。從而獲取到一副圖像的所有特征點(diǎn)的關(guān)鍵點(diǎn)描述子。 特征向量的匹配，使用歐式距離匹配法完成。 SIFT 特征提取階段的算法思想可以描述如下： S1： cvLoadImage( infile, 1 )。 // 圖像輸入 S2： create_init_img( img, sigma )。 //圖像初始化處理 S3： gauss_pyr = build_gauss_pyr( init_img, octvs, intvls, sigma )。 //建立高斯金字塔 S4： dog_pyr = build_dog_pyr( gauss_pyr, octvs, intvls )。 //建立 DoG 金字塔 S5： features = scale_space_extrema( dog_pyr, octvs, intvls, contr_thr,curv_thr, storage )。 //尺度空間極值點(diǎn)檢測(cè)和精確定位 S6： calc_feature_scales( features, sigma, intvls )。 //計(jì)算關(guān)鍵點(diǎn)的尺度 S7： calc_feature_oris( features, gauss_pyr )。// 計(jì)算關(guān)鍵的主方向 S8： pute_descriptors( features, gauss_pyr, descr_width,descr_hist_bins )。 //計(jì)算關(guān)鍵點(diǎn)的描述子 S9： export_features( outfile, features, n )， 終止。 SIFT 特征匹配的算法思想如下： S1： //生成兩幅圖像的 SIFT 特征 [in1, des1, loc1] = sift(image1)。 [in2, des2, loc2] = sift(image2)。 S2： k=0。 match_count=0。 S3：如果 (k=n1)，則轉(zhuǎn) S5；否則， for (i=0。 in2。 i++) dotprods = des1(i,:) * des2t。 13 S4： sort(acos(dotprods))， if(first_max/second_maxThr) match_count++， k++，轉(zhuǎn) S3； S5：輸出 match_count，終止。 圖像的初始化 在生成特征向量之前，要先對(duì)圖像進(jìn)行歸一化處理 [19]，將圖像轉(zhuǎn)化為灰度圖像， 放大為原圖像的兩倍，并且預(yù)先將圖像進(jìn)行初步的高斯平滑處理， 使得圖像更易于處理，準(zhǔn)確性更高。 圖 41(a)是原始圖像， 41(b)是經(jīng)過(guò)初始化之后的圖像。 圖 41(a)原始圖像 圖 41(b)初始化之后的圖像 尺度空間極值檢測(cè) 在不同的尺度參數(shù)σ連續(xù)變化時(shí)， G(x, y,σ )構(gòu)成圖像的尺度空間 。 14 對(duì)于二維圖像 I(x,y)，在不同尺度下的尺度空間表示 L(x,y,σ )可由圖像 I(x,y)與高斯核 G(x,y,σ )的卷積得到，如公式（ ）所示： L(x, y,σ ) = G(x, y,σ ) * I(x, y)。 () 在公式 (41)中， L 表示尺度空間， (x,y)代表 I 上的點(diǎn)。σ是尺度因子，其值越大則表征該圖像被平滑得越大；其值越小則表征該圖像被平滑得越小。大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征。因此，選擇合適的尺度因子平滑是建立尺度空間的關(guān)鍵。 在這里為了對(duì)高斯核函數(shù)進(jìn)行更深刻的理解，在 MATLAB 上做了一個(gè)小實(shí)驗(yàn)，假設(shè)輸入的圖像的矩陣為 I，經(jīng)過(guò)高斯核為 10 的高斯核函數(shù)按照公式 ()的卷積之后的尺度空間圖像為 L， I， L 分別如下： 1 2 3 I = 4 5 6 ， L =