【正文】 26 第 5章 實驗結(jié)果及分析 SIFT 特征提取試驗結(jié)果 本文的特征提取部分的代碼通過調(diào)用 庫在 Visual Studio 2020 上的控制臺應(yīng)用程序上實現(xiàn)的，在圖 51~圖 53 中所示。 SIFT 算法的主要特點： a) SIFT 特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變 化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性； b) 獨特性 (Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配 ； c) 多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量 SIFT 特征向量； d) 高速性，經(jīng)優(yōu)化的 SIFT 匹配算法甚至可以達(dá)到實時的要求； e) 可擴展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。 本章小結(jié) 本章詳細(xì)的介紹了 SIFT 特征的提取步驟和圖像的匹配步驟。 圖 416 不同閾值對應(yīng)的匹配成功率 最后要消除錯配，通過相似性度量得到潛在匹配對，其中不可避免會產(chǎn)生一些錯誤 25 匹配，因此需要根據(jù)集合限制和其它附加約束消除錯誤匹配，提高魯棒性。降低這個比例 閾值 ，匹配點數(shù)量會增多，但穩(wěn)定性隨之會變得稍差。 n 維空間的歐氏距離公式 為 ()， 匹配的流程圖如圖 415。我的實 24 現(xiàn)算法中使用的是歐氏距離作為兩幅圖中的相似度量。 這樣之后就已經(jīng)完全形成了 SIFT 特征向量。此時 ， SIFT 特征向量已經(jīng)去除了尺度變化 、 旋轉(zhuǎn)等集合變形因素的影響。 這 種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。然后在每 4 x 4 的圖像小塊上計算 8 個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種子點，如圖 414(b)所示。主方向校正如圖 413 圖 413 旋轉(zhuǎn)為主方向 23 得到特征點的種子點 以特征點為中心取 8 x 8 的窗口（特征點所在的行和列不?。?。圖 412 為特征點位置，尺度，方向示意圖： 22 圖 412 特征點檢測結(jié)果 生成 SIFT 特征向量 一個特征點的 SIFT 特征向量包含的數(shù)據(jù)有：位置，尺度，方向和 SIFT 描述子。圖 411 為梯度方向確定主方向： 圖 411 確定主方向 在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值 80%能量的峰值時，則認(rèn)為這個方向是該特征點的輔方向，一個特征點可能會被指定具有多個方向（一個主方向，一個輔方向），大約有 15%的點 有 多個方向，但是這些輔助方向?qū)ζヅ涞姆€(wěn)定性起了很重要的作用，增強了匹配的魯棒性。梯度直方圖的范圍是 0360 度， 其中每 10 度一個柱，總共 36 個柱。 公式 ()為 (x, y)處的梯度值，公式 ()為 (x, y)處的方向， (x, y)要確定是哪一階的哪一層。 () Θ = () 即利用關(guān)鍵點鄰域像素的梯度方向分布特征來確定關(guān)鍵點的制定方向參數(shù)。圖 410 是去除邊緣點之后的結(jié)果。 H = () 20 通過 2 x 2 的海森矩陣來計算主曲率，求出 H 的特征值，最大特征值為ɑ，最小特征值為β，則： Tr(H) = + = ɑ + β , Det(H) = – = ɑβ 令ɑ = rβ，則主曲率： R= = 。 () 通過公式 ()計算出 |D( )|，若 |D( )| ，該特征點就丟棄，否則就保留下來。通過對公式 ()求導(dǎo)，并令其為 0，得出精確的極值點位置 ： 19 = * () 在上面的精確確定特征點中，同時要去除低對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點，以增強匹配穩(wěn)定性、提高抗噪聲能力。下面對局部極值點進(jìn)行三維二次函數(shù)擬合以精確確定特征點的位置和尺度，尺度空間函數(shù) D(x, y,σ )處的泰勒展開式如公式（ ）所示。 精確定位特征點的位置 和所在的尺度 通過此步驟，檢測上一步形成的極值點，去除對比度低的點和不穩(wěn)定的邊緣點從而精確確定特征點所在的位置和尺度。 圖 47 極值點檢測 18 圖 48 圖像極值點檢測結(jié)果 在圖 47 中，標(biāo)記為叉號的像素若比相鄰的 26 個像素的 DoG 值都大或者都小，則該點將作為一個局部極值點，記下它的位置和對應(yīng)尺度。圖 46 為一幅圖像由圖 44 所示圖像 高斯金字塔構(gòu)造成的 DoG 金字塔。 表 41 sigma數(shù)組 i 1 2 3 4 sigma[i] σ kσ σ σ 通過數(shù)學(xué)公式的證明可以得到，在每一階的相鄰層之間做高斯模糊，第 i 層的圖像是在第 i1 層的基礎(chǔ)上以 sigma[i]的尺度因子做高斯模糊，這樣得到的高斯金子塔，也是 16 圖 43 所示的金字塔，尺度因子就是表 41 所示的那些尺度因子，圖 44 為一幅圖像所形成的高斯金字塔的第一階和第二階： 圖 44 高斯金字塔圖像 建立 DoG金字塔 DoG 即相鄰兩尺度空間函數(shù)之差，用 D（ x， y，σ）來表示，如公式（ ）所示： D(x, y,σ )=(G(x, y, kσ ) – G(x, y,σ )) * I(x, y) = L(x, y, kσ ) – L(x, y,σ ) () DoG 金字塔通過高斯金字塔中相鄰尺度空間函數(shù)相減即可，如圖 45 所示。 在實現(xiàn)時，是采用以下方法來實現(xiàn)每階每層的高斯模糊的：第 1 階第 1 層是原始圖像；之后的同一階的每一層是在前一層的基礎(chǔ)上進(jìn)行 sigma[i]的高斯模糊，其中 i 表示在該階中所在的層數(shù)， sigma[]數(shù)組的值如表 41 所示，而第 2 階的第一層是在第 1 階的中間層隔點取樣得到。第 3 階的第 1 層由第 2 階的中間層尺度圖像進(jìn)行子抽樣獲得。 高斯金字塔有 o 階 s+3 層， 算法實現(xiàn)代碼里 o 取 4， s 取 2，σ取 ， k 取 。 圖 42 高斯差分尺度空間 在這一節(jié) 里面主要是建立高斯金字塔和 DoG 金字塔，然后在 DoG 金子塔里面進(jìn)行極值檢測，以初步確定特征點的位置和所在尺度。 在這里為了對高斯核函數(shù)進(jìn)行更深刻的理解，在 MATLAB 上做了一個小實驗，假設(shè)輸入的圖像的矩陣為 I，經(jīng)過高斯核為 10 的高斯核函數(shù)按照公式 ()的卷積之后的尺度空間圖像為 L， I， L 分別如下： 1 2 3 I = 4 5 6 ， L = 7 8 9 由此可見，通過高斯模糊之后的圖像各像素之間更加均勻化了。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。 () 在公式 (41)中， L 表示尺度空間， (x,y)代表 I 上的點。 圖 41(a)原始圖像 圖 41(b)初始化之后的圖像 尺度空間極值檢測 在不同的尺度參數(shù)σ連續(xù)變化時， G(x, y,σ )構(gòu)成圖像的尺度空間 。 圖像的初始化 在生成特征向量之前，要先對圖像進(jìn)行歸一化處理 [19]，將圖像轉(zhuǎn)化為灰度圖像， 放大為原圖像的兩倍，并且預(yù)先將圖像進(jìn)行初步的高斯平滑處理， 使得圖像更易于處理，準(zhǔn)確性更高。 i++) dotprods = des1(i,:) * des2t。 S3：如果 (k=n1)，則轉(zhuǎn) S5；否則， for (i=0。 S2： k=0。 SIFT 特征匹配的算法思想如下： S1： //生成兩幅圖像的 SIFT 特征 [in1, des1, loc1] = sift(image1)。// 計算關(guān)鍵的主方向 S8： pute_descriptors( features, gauss_pyr, descr_width,descr_hist_bins )。 //尺度空間極值點檢測和精確定位 S6： calc_feature_scales( features, sigma, intvls )。 //建立高斯金字塔 S4： dog_pyr = build_dog_pyr( gauss_pyr, octvs, intvls )。 // 圖像輸入 S2： create_init_img( img, sigma )。 特征向量的匹配，使用歐式距離匹配法完成。 SIFT 特征向量的生成 [2]需要四個步驟：第一，檢測尺度空間極值點；第二，精確定位特征點位置；第三，確定特征點主方向；第四，生成 SIFT 特征向量。 SIFT 特征匹配算法 [19]分為兩個階段來實現(xiàn)：第 1 階段是 SIFT 特征的 提取 ，即從多幅待匹配圖像中提取對尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征向量；第 2 階段是 SIFT特征向量的匹配。 12 第 4章 SIFT 特征匹配 SIFT 特征匹配算法是 David G. Lowe 在 2020 年總結(jié)了現(xiàn)有的基于 不變量技術(shù)的特征檢測方法的基礎(chǔ)上，提出的一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換不變性的特征匹配算法。高斯核如公式 ()： 2)(2 2/2 1),( 22 ???? yxeyxG ??? () 高斯尺度空間 [13]的特點有： 1） 符合熱擴散方程，具有各向同性的擴散過程； 2） 滿足因果關(guān)系，隨著尺度的增大，圖像上的 特征結(jié)構(gòu)逐漸減少且不會有新的特征出現(xiàn)； 3） 圖像不同尺度空間的灰度變化呈線性，有利于追蹤圖像中物體在不同尺度間 11 的變化情況。通常我們 將高斯 尺度空間描述為（ x, y,σ）空間，其中x， y 和σ分別表示位置參數(shù)和尺度參數(shù)。 Lindeberg[13]、 Babaud[14]等人通過不同的推導(dǎo)進(jìn)一步證明高斯核是唯一的線性核。 10 圖 31 尺度空間圖像 高斯尺度空間 采用高斯核作為尺度空間核函數(shù)得到的尺度空間成為高斯尺度空間。 cvSmooth(in,out4,CV_GAUSSIAN, 0, 0, 6, 0)。 cvSmooth(in,out2,CV_GAUSSIAN, 0, 0, 2, 0)。這里使用 OpenCV庫里的高斯模糊函數(shù)如以下的代碼， in是輸入的image， out1， out2 等是經(jīng)過高斯模糊之后的輸出圖像，倒數(shù)第二個參數(shù)是 σ 。當(dāng)采用不同尺度的平滑函數(shù)對同一圖像進(jìn)行濾波時，得到的一簇圖像就是原始圖像相對于該平滑函數(shù)的尺度空間，其中 σ 為尺度空間坐標(biāo)。 尺度空間表示是一種基于區(qū)域的表達(dá)，作為尺度空間理論中的一個重要概念，尺度空間被定義為： = K * 對于 所有的輸入信號 ,如果它與 變換核 K卷積后得到的輸出信號 中的極值（一階微分過零點）不超過原圖像的極值，那么我們稱 K 就是尺度空間核，進(jìn)行的卷積變換就稱為尺度變換。 尺度空間理論 尺度空間理論 [15,23]通過在視覺信息（如圖像信息） 處理模型中引入一種尺度參數(shù)，對原始圖像進(jìn)行尺度變換，利用尺度參數(shù)的連續(xù)變化獲得圖像在不同尺度下的尺度空間表示序列，綜合這一圖像序列得到圖像的本質(zhì)特征。 Lindeberg、 Babaud 等人通過不同的推導(dǎo)進(jìn)一步證明高斯核是唯一的線性核。 9 第 3章 尺度空間理論 尺度空間理論最早出現(xiàn)于計算機視覺領(lǐng)域，當(dāng)時其目的是模擬圖像數(shù)據(jù)的多尺度特征。 本章小結(jié) 本章簡要介紹了數(shù)字圖像處理技術(shù) 、 圖像匹配的基本概念 以及 兩種基本圖像匹配方法 即 基于灰度相關(guān)的匹配算法 和 基于特征的圖像匹配算法 ， 并且簡單進(jìn)行了比較。同時，在紋理較少的 圖像 區(qū)域提取的特征的密度通常比較稀少，使局部特征的提取比較困難。 兩類匹配算法的比較 特征匹配與灰度匹配的區(qū)別：灰度匹配是基于像素的，特征匹配則是基于區(qū)域的，特征匹配在考慮像素灰度的同時還應(yīng)考慮諸如空間整體特征、空間關(guān)系等因素。 基于 圖像 特征的匹配方法可以克服利用 圖像 灰度信息進(jìn)行匹配的缺點，由于 圖像的特征點比較像素 點要少很多，大大減少了匹配過程的計算量 ； 同時，特征點的匹配度量值對位置的變化比較敏感，可以大大提高匹配的精確程度 ； 而且，特征點的提取過程可以減少噪聲的影響，對灰度變化 、圖像 形變以及 旋轉(zhuǎn)等都有較好的適應(yīng)能力， 所以基于圖像 特征的匹配在實際中的應(yīng)用越來越廣泛。特征匹配需要用到許多諸如矩陣的運算、梯度的求解、還有傅立葉變換和泰勒展開等數(shù)學(xué)運算?；谔卣鞯钠ヅ渌幚?8 的圖像一般包含的特征有顏色特征、紋理特征、形狀特征、空間位置特征等。現(xiàn)在已經(jīng)提出了一些相關(guān)的快速算法，如幅度排序相關(guān)算法， FFT 相關(guān)算法和分層搜索的序列判斷算法等。 最經(jīng)典的灰度匹配法是歸一化的灰度匹配法，其基本原理是逐像素 地 把一個以一定大小的實時圖像窗口的灰度矩陣，與參考