【導(dǎo)讀】圖像匹配是圖像處理領(lǐng)域中一項(xiàng)非常重要的工作。圖像匹配技術(shù)可以廣泛用于目標(biāo)。圖像匹配的方法一般分為基于灰度的匹配方法和基于特征的匹配方法兩大類。FeatureTransform）特征匹配算法，并對(duì)模板匹配算法和SIFT特征匹配算法進(jìn)行了仿真。

　　

【正文】 SIFT 特征向量的匹配。它通過(guò)在圖像的尺度空間內(nèi)，將定位極值點(diǎn)作為匹配候選關(guān)鍵點(diǎn)，并且提取極值點(diǎn)的方向參數(shù)，最后獲得匹配所需關(guān)鍵點(diǎn)描述符。 SIFT 特征向量的生成需要四個(gè)步驟：第一，檢測(cè)尺度空間極值點(diǎn)；第二，精確定位特征點(diǎn)位置；第三，確定特征點(diǎn)主方向；第四，生成 SIFT 特征向量。從而獲取到一副圖像的所有特征點(diǎn)的關(guān)鍵點(diǎn)描述子 。 特征向量的匹配，使用歐式距離匹配法完成。 圖像的初始化 在生成特征向量之前，要先對(duì)圖像進(jìn)行歸一化處理 [11]，將圖像轉(zhuǎn)化為灰度圖像，并 21 且預(yù)先將圖像進(jìn)行初步的高斯平滑處理，使得圖像更易于處理，準(zhǔn)確性更高。圖 51(a)是原始圖像， 51(b)是經(jīng)過(guò)初始化之后的圖像。 圖 51(a)原始圖像 圖 51(b)初始化之后的圖像 尺度空間 在不同的尺度參數(shù) σ 連續(xù)變化時(shí)， ),( ?yxG 構(gòu)成圖像的尺度空間。對(duì)于二維圖像I(x,y)，在不同尺度下的尺度空間表示 ),( ?yxL 可由圖像 I(x,y)與高斯核 ),( ?yxG 的卷積得到，如公式（ 51）所示： ),(),(),( yxIyxGyxL ?? ?? (51) 在公式 (51)中， L 表示尺度空間， (x,y)代表 I 上的點(diǎn)。 σ 是尺度因子，其值越大則 22 表征該圖 像被平滑得越大；其值越小則表征該圖像被平滑得越小。大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征。因此，選擇合適的尺度因子 — 平滑是建立尺度空間的關(guān)鍵。 為了在尺度空間中檢測(cè)穩(wěn)定的關(guān)鍵點(diǎn)，需要構(gòu)造高斯差分尺度空間即 DoG（ Difference of Gaussian）。 建立高斯金字塔 為了得到在不同尺度空間下的穩(wěn)定特征點(diǎn)，將圖像 I(x,y)與不同尺度空間因子下的高斯核 ),( ?yxG 進(jìn)行卷積操作，構(gòu)成高斯金字塔。 高斯金字塔 [10,11]有 o 階 s+3 層，算法實(shí)現(xiàn)代碼里 o 取 4， s 取 2， σ取 ， k 取常數(shù)。高斯金字塔的構(gòu)成如圖 52 所示： 圖 52 高斯金字塔 高斯金子塔的構(gòu)成中要注意，第 1 階的第 1 層是原始圖像；在同一階中相鄰兩層的尺度因子比例系數(shù)是 k，則第 1 階第 2 層的尺度因子是 kσ，然后其它層以此類推可；第2 階第 1 層是由第 1 階的中間層尺度圖像進(jìn)行子抽樣獲得，其尺度因子是 σ，然后第 2階的第 2 層的尺度因子是第 1 層的 k 倍即 σ。第 3 階的第 1 層由第 2 階的中間層尺度圖像進(jìn)行子抽樣獲得。其它階的構(gòu)成以此類推。 建立 DoG 金字塔 DoG 即相鄰兩尺度空間函數(shù)之差，用 D（ x， y， σ）來(lái)表示，如公式（ 52）所示： 23 ),(),(),()),(),((),( ????? yxLkyxLyxIyxGkyxGyxD ????? (52) 1994 年 Lindeberg 研究發(fā)現(xiàn)高斯差分函數(shù)（ Difference of Gaussian，簡(jiǎn)稱 DoG 算子）與尺度歸一化的高斯拉普拉斯函數(shù) G22?? 非常近似。 2021 年 Mikolajczyk 在詳細(xì)的實(shí)驗(yàn)比較中發(fā)現(xiàn) G22?? 的極大值和極小值同其它的特征提取函數(shù)，例如：梯度， Hessian 或Harris 角特征比較，能夠產(chǎn)生最穩(wěn)定的圖像特征。 其中 ),( ?yxD 和 G22?? 的關(guān)系可以從如下公式推導(dǎo)得到公式 (53)： GG 2???? ?? (53) 利用差分近似代替微分，則有 公式 (54)： ?? ???? ??????? k yxGkyxGGG ),(),(2 (54) 因此有公式 (55)： GkyxGkyxG 22)1(),(),( ???? ??? (55) 其中 k1 是個(gè)常數(shù)，并不影響極值點(diǎn)位置的求取。 確定特征點(diǎn)主方向 利用特征點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)特征點(diǎn)制定方向參數(shù)，使算子具有旋轉(zhuǎn)不變性 有公式 (56)和 (57)。 22 ))1,()1,(()),1(),1((),( ???????? yxLyxLyxLyxLyxm (56) ))),1(),1())1,()1,(((t a n),( 1 yxLyxLyxLyxLyx ??????? ?? (57) 即利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特征來(lái)確定關(guān)鍵點(diǎn)的制定方向參數(shù)。在以關(guān)鍵點(diǎn)為中心的鄰域內(nèi)采樣，用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，直方圖的峰值就是關(guān)鍵點(diǎn)處鄰域的主方向，作為該關(guān)鍵點(diǎn)的方向。 公式 (56)為 (x,y)處的梯度值，公式 (57)為 (x,y)處的方向， (x,y)要確定是哪一階的哪一層。在實(shí)際計(jì)算過(guò)程中，在以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用梯度方向直方圖統(tǒng)計(jì)鄰域像素的梯度方向 [10]。梯度直方圖的范圍是 00～ 3600，其中每 100一個(gè)柱，總共36 個(gè)柱。梯度方向直方圖的峰值則代表了該特征點(diǎn)處鄰域梯度的主方向，即作為該特征點(diǎn)的方向。圖 53 為梯度方向確定主方向： 在梯度方向直方圖 [11]中，當(dāng)存在另一個(gè)相當(dāng)于主峰值 80%能量的峰值時(shí)，則認(rèn)為這個(gè)方向是該特征點(diǎn)的輔方向，一個(gè)特征點(diǎn)可能會(huì)被指定具有多個(gè)方向（一個(gè)主方向，一個(gè)輔方向），大約有 15%的點(diǎn)有 多個(gè)方向，但是這些輔助方向?qū)ζヅ涞姆€(wěn)定性起了很重 24 要的作用，增強(qiáng)了匹配的魯棒性。 圖 53 確定主方向 SIFT 特征向量的匹配 一般采用各種距離函數(shù)作為特征的相似性度量，如歐氏距離、馬氏距離等。我的實(shí)現(xiàn)算法中使用的是歐氏距離作為兩幅圖中的相似度量。所謂歐氏距離也稱歐幾里得度量，是一個(gè)通常采用的距離定義，它是在 m維空間中兩點(diǎn)之間的真實(shí)距離。 n 維空間的歐氏距離公式為 (58)。 ? ? ? ?? ?? 2)(),( ibias q r tBA? ),2,1( ni ?? (58) 取一幅圖像中的某個(gè)關(guān)鍵點(diǎn)，并找出其與另一幅圖像中距離最近的前 2 個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離小于某個(gè)閾值 Th，則接受這一對(duì)匹配點(diǎn)。降低這個(gè)比例閾值，匹配點(diǎn)數(shù)量會(huì)增多，但穩(wěn)定性隨之會(huì)變得稍差。不同的閾值對(duì)應(yīng)的正確匹配與不正確匹配之間的比例關(guān)系。 SIFT 程序仿真 相位 變換的圖像匹配 圖 54(a)是相位正常的圖像，圖 54(b)是圖 54(a)發(fā)生相位變換的圖像， 它們的匹配結(jié)果如圖 54(c)，圖像右邊和左邊分別顯示了兩幅圖像，有顏色的連線的兩端是兩幅圖像中對(duì)應(yīng)的匹配點(diǎn)?？梢娖鋵?duì)相位變換保持一定的穩(wěn)定性，具有良好的匹配效果。程序[8,9,12]見附錄 II 程序清單 ③ 。 仿射變換的圖像匹配 仿射變換 在幾何上定義為兩個(gè)向量空間之間的一個(gè)仿射變換或者仿射映射 。 由一個(gè)線性變換接上一個(gè)平移組成。仿射變換可以通過(guò)一系列的原子變換的復(fù)合來(lái)實(shí)現(xiàn)，包括 ：平移 （ Translation）、 縮放 （ Scale）、 翻轉(zhuǎn) （ Flip）、 旋轉(zhuǎn) （ Rotation）和 錯(cuò)切 （ Shear）。 圖55(a)是正常圖像，圖 55(b)是由圖 55(a)仿射變換而來(lái)的圖像。圖 55(c)是兩幅圖的匹配結(jié)果，由此可見，除了少數(shù)匹配點(diǎn)幾個(gè)不能正確匹配，大部分的匹配都是成功的。因 25 此其對(duì)仿射變換也保持一定的穩(wěn)定性，具有較好的匹配效果。程序見附錄 II 程序清單 ④ 。 (a) 相位正常的圖像 (b) 發(fā)生相位變換的圖像 (c)匹配后的圖像 圖 54 相位變換 亮度變 換 的圖像匹配 如圖 56 中 (a)、 (b)兩幅圖像， (a)圖比 (b)圖亮度強(qiáng)一些，它們的匹配結(jié)果如圖 56(c)，可見除了少數(shù)匹配點(diǎn)幾個(gè)不能正確匹配，大部分的匹配都是成功的，則其對(duì)于亮度變化保持穩(wěn)定性，基本去除了光照變化的影響，且具有較好的匹配效果。程序見附錄 II 程序清單 ⑤ 。 尺度縮放變換的圖像匹配 圖 57(b)是由圖 57(a)尺度縮放變換而來(lái)的兩幅圖像，圖 57(c)是兩幅圖像的匹配結(jié)果，由此可見，除了少數(shù)不能正確匹配，大部分的匹配都是成功的，因此對(duì)尺度縮放變 26 換也保持一定的穩(wěn)定性，具有較好的匹配效果。程序見附錄 II 程序清單 ⑥ 。 (a) 正常圖像 (b) 發(fā)生 仿射變換的圖像 (c) 匹配后的圖像 圖 55 仿射變換 (a) 光線強(qiáng)圖像 (b) 光線弱圖像 27 (c) 匹配后的圖像 圖 56 亮度變換 (a) 正常圖像 (b) 尺度縮放的圖像 (c) 匹配后的圖像 圖 57 尺度縮放變換 28 結(jié)果分析 分別從相位變換、仿射變換、亮度變換、尺度縮放變換驗(yàn)證了其匹配的穩(wěn)定性。大量的仿真證明，該特征匹配的準(zhǔn)確性程度較高，除了少數(shù)幾個(gè)特征點(diǎn)出現(xiàn)錯(cuò)匹配之外，大多數(shù)的匹配都是正確的。仿真表明 SIFT 特征圖像匹配具有較強(qiáng)的魯棒性，且速度快。 29 結(jié)論 圖像匹配是圖像處理領(lǐng)域中一項(xiàng)非常重要的工作 。圖像匹配技術(shù)可以廣泛用于目標(biāo)識(shí)別與跟蹤、立體視覺、變化檢測(cè)、車場(chǎng)車牌識(shí)別、人臉識(shí)別、機(jī)器人導(dǎo)航、測(cè)繪等領(lǐng)域。 本論文 主要 介紹 了 基于灰度匹配中的模板匹配算法和基于特征匹配中的 SIFT（ Scale Invariant Feature Transform）特征匹配算法，并對(duì)模板匹配算法和 SIFT 特征匹配算法進(jìn)行了仿真。 模板圖像匹配方法對(duì)小尺寸、圖像預(yù)處理相同、成像條件差異較小的和誤差較小的圖像匹配效果較好。但該算法運(yùn)算量較大，匹配速度較慢。 SIFT 特征是圖像的局部特征，其對(duì)尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換也保持一定程度的穩(wěn)定性。仿真表明 SIFT 特征圖像匹配具有較強(qiáng)的魯棒性，且速度快。 30 參考文獻(xiàn) [1] 吳立德，張科，李言俊，圖像匹配研究進(jìn)展 [J]． 上海：復(fù)旦大學(xué)出版社， 1993:112． [2] 王紅梅，張科，李言俊，圖像匹配研究進(jìn)展 [J]． 計(jì)算機(jī)工程與應(yīng)用， 2021， 40(19):4247． [3] 沈振康，孫仲廉，數(shù)字圖像處理及應(yīng)用 [M]． 北京：國(guó)防工業(yè)出版社， ． [4] 王軍，張明柱，圖像匹配算法的研究進(jìn)展 [J]． 大氣與環(huán)境光學(xué)學(xué)報(bào)， (3):1115． [5] 熊凌，計(jì)算機(jī)視覺中的圖像匹配綜述 [J]． 湖北工業(yè)大學(xué)學(xué)報(bào)， (3): 171173. [6] 楊小岡，曹菲，繆棟，張?jiān)迄i．基于相似度比較的圖像灰度匹配算法研究 [J]．系統(tǒng)工程 與電子技術(shù)， 2021． [7] 王立新 ， 劉彤宇 ， 李陽(yáng) ， SSDA 圖像匹配算法的研究及實(shí)現(xiàn)．光電技術(shù)應(yīng)用 ， 2021 6， 第二十卷第 3 期 ， p5354． [8] 王愛玲，葉明生等 .MATLAB R2021 圖像處理技術(shù)與應(yīng)用 [M].北京：電子工業(yè)出版社，2021:165186. [9] David G. Lowe. Object Recognition from Local ScaleInvariant Features[J]. the International Conference on Computer Vision,1999:120. [10] David G. Lowe. Distinctive image features from scale invariant key points[J]. IJCV, (2):91110. [11] 王國(guó)美，陳孝威， SIFT 特征匹配算法研究 [J].自然科學(xué)報(bào)， 第 2 期： 116. [12] 羅家輝，馮平等 . 在圖像處理技術(shù)中的應(yīng)用 [M].北京：機(jī)械工業(yè)出版社，. 31 附錄 I 外文文獻(xiàn)翻譯 ① 外文文獻(xiàn)翻譯原文 Elastic image matching is NPplete Abstract One fundamental problem in image recognition is to establish the resemblance of two images. This can be done by searching the best pixel to pixel mapping taking into account monotonicity and continuity constraints. We show