【導讀】導下進行的研究工作及取得的成果。盡我所知，除文中特別加以標注和致。含我為獲得及其它教育機構的學位或學歷而使用過的材料。明并表示了謝意。以贏利為目的前提下，學?？梢怨颊撐牡牟糠只蛉績热荨Ｆ渌麄€人或集體已經(jīng)發(fā)表或撰寫的成果作品。對本文的研究做出重要貢獻。的個人和集體，均已在文中以明確方式標明。本人完全意識到本聲明的法。律后果由本人承擔。涉密論文按學校規(guī)定處理。的實驗驗證該算法的穩(wěn)定性和魯棒性，分析該算法相對于其他圖像匹配算法的優(yōu)越性，并得出相應的結論?，F(xiàn)的細節(jié)部分；其次，圖像匹配部分的理解和實現(xiàn)。[7]沈振康.孫仲廉.數(shù)字圖像處理及應用[M].北京：國防工業(yè)出版社.[8]鄭南寧.計算機視覺與模式識別[M].北京：清華大學出版社.[9]邊肈祺.張長水,張學工.模式識別[M].北京：清華大學出版社,、份量是否適當；與生產、科研、社會等實際相結合。，有無創(chuàng)新之處。用能力、查閱文獻能力、經(jīng)濟分析能力和綜合運用知識的能力。

　　

【正文】 () 在公式 (41)中， L 表示尺度空間， (x,y)代表 I 上的點。σ是尺度因子，其值越大則表征該圖像被平滑得越大；其值越小則表征該圖像被平滑得越小。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節(jié)特征。因此，選擇合適的尺度因子平滑是建立尺度空間的關鍵。 在這里為了對高斯核函數(shù)進行更深刻的理解，在 MATLAB 上做了一個小實驗，假設輸入的圖像的矩陣為 I，經(jīng)過高斯核為 10 的高斯核函數(shù)按照公式 ()的卷積之后的尺度空間圖像為 L， I， L 分別如下： 1 2 3 I = 4 5 6 ， L = 7 8 9 由此可見，通過高斯模糊之后的圖像各像素之間更加均勻化了。 另外，為了在尺度空間中檢測穩(wěn)定的關鍵點，需要構造高斯差分尺度空間即 DoG （ Difference of Gaussian） ，如圖 42 所示就是一個高斯差分尺度空間圖像簇。 圖 42 高斯差分尺度空間 在這一節(jié) 里面主要是建立高斯金字塔和 DoG 金字塔，然后在 DoG 金子塔里面進行極值檢測，以初步確定特征點的位置和所在尺度。 15 建立高斯金字塔 為了得到在不同尺度空間下的穩(wěn)定特征點，將圖像 I(x,y)與不同尺度空間因子下的高斯核 G(x,y,σ )進行卷積操作，構成高斯金字塔。 高斯金字塔有 o 階 s+3 層， 算法實現(xiàn)代碼里 o 取 4， s 取 2，σ取 ， k 取 。高斯金字塔的構成如圖 43 所示： 圖 43 高斯金字塔 高斯金子塔的構成中要注意，第 1 階的第 1 層是原始圖像；在同一階中相鄰兩層的尺度因子比例系數(shù)是 k，則第 1 階第 2 層的尺度因子是 kσ，然后其它層以此類推可；第 2 階第 1 層是由第 1 階的中間層尺度圖像進行子抽樣獲得，其尺度因子是 σ，然后第 2 階的第 2 層的尺度因子是第 1 層的 k 倍即 σ。第 3 階的第 1 層由第 2 階的中間層尺度圖像進行子抽樣獲得。其它階的構成以此類推。 在實現(xiàn)時，是采用以下方法來實現(xiàn)每階每層的高斯模糊的：第 1 階第 1 層是原始圖像；之后的同一階的每一層是在前一層的基礎上進行 sigma[i]的高斯模糊，其中 i 表示在該階中所在的層數(shù)， sigma[]數(shù)組的值如表 41 所示，而第 2 階的第一層是在第 1 階的中間層隔點取樣得到。以此類推來實現(xiàn)高斯金字塔。 表 41 sigma數(shù)組 i 1 2 3 4 sigma[i] σ kσ σ σ 通過數(shù)學公式的證明可以得到，在每一階的相鄰層之間做高斯模糊，第 i 層的圖像是在第 i1 層的基礎上以 sigma[i]的尺度因子做高斯模糊，這樣得到的高斯金子塔，也是 16 圖 43 所示的金字塔，尺度因子就是表 41 所示的那些尺度因子，圖 44 為一幅圖像所形成的高斯金字塔的第一階和第二階： 圖 44 高斯金字塔圖像 建立 DoG金字塔 DoG 即相鄰兩尺度空間函數(shù)之差，用 D（ x， y，σ）來表示，如公式（ ）所示： D(x, y,σ )=(G(x, y, kσ ) – G(x, y,σ )) * I(x, y) = L(x, y, kσ ) – L(x, y,σ ) () DoG 金字塔通過高斯金字塔中相鄰尺度空間函數(shù)相減即可，如圖 45 所示。在圖中，DoG 金字塔的第 1 層的尺度因子與高斯金字塔的第 1 層的是一致的，其它階也是一樣。圖 46 為一幅圖像由圖 44 所示圖像 高斯金字塔構造成的 DoG 金字塔。 圖 45 DoG金字塔 17 圖 46 DoG金字塔圖像 極值檢測，初步確定特征點位置和尺度 在上面建立的 DoG 尺度空間金字塔中，為了檢測到 DoG 空間的最大值和最小值，DoG 尺度空間中間層（最底層和最頂層除外）的每個像素點都需要跟同一層的相鄰 8個像素點以及它上一層和下一層的 9 個相鄰像素點總共 26 個相鄰像素點進行比較，以確保在尺度空間和二維圖像空間都檢測到局部極值，如圖 47 所示。 圖 47 極值點檢測 18 圖 48 圖像極值點檢測結果 在圖 47 中，標記為叉號的像素若比相鄰的 26 個像素的 DoG 值都大或者都小，則該點將作為一個局部極值點，記下它的位置和對應尺度。圖 48 為極值點檢測結果。 精確定位特征點的位置 和所在的尺度 通過此步驟，檢測上一步形成的極值點，去除對比度低的點和不穩(wěn)定的邊緣點從而精確確定特征點所在的位置和尺度。 擬合三維二次函數(shù)將極值點定位到亞像素精度 由于 DoG 值對噪聲和邊緣較敏感，因此，在上面 DoG 尺度空間中檢測到局部極值點還要經(jīng)過進一步的檢測才能精確定位為特征點。下面對局部極值點進行三維二次函數(shù)擬合以精確確定特征點的位置和尺度，尺度空間函數(shù) D(x, y,σ )處的泰勒展開式如公式（ ）所示。 D =+ X + X ； () 其中， X= ，為距采樣點的偏移量； = ，為候選極值點； 一階，二階偏導數(shù)都是通過附近區(qū)域的差分法近似求得。通過對公式 ()求導，并令其為 0，得出精確的極值點位置 ： 19 = * () 在上面的精確確定特征點中，同時要去除低對比度的特征點和不穩(wěn)定的邊緣響應點，以增強匹配穩(wěn)定性、提高抗噪聲能力。 去除對比度低的點 把公式 ()代到公式 ()中，只要前兩項得到： D( ) = + 。 () 通過公式 ()計算出 |D( )|，若 |D( )| ，該特征點就丟棄，否則就保留下來。圖 49 為去除對比度點之后的結果： 圖 49 去除低對比度之后的結果 去除不穩(wěn)定的邊緣點 海森矩陣公式如 ()所示，其中的偏導數(shù)是上面確定的特征點處的偏導數(shù)，它是通過附近區(qū)域的差分來近似估計的。 H = () 20 通過 2 x 2 的海森矩陣來計算主曲率，求出 H 的特征值，最大特征值為ɑ，最小特征值為β，則： Tr(H) = + = ɑ + β , Det(H) = – = ɑβ 令ɑ = rβ，則主曲率： R= = 。 () 通過公式 ()求出主曲率 R，若 R ( r 常取 10)，則保留該點，否則去除之。圖 410 是去除邊緣點之后的結果。 圖 410 去除邊緣點之后的結果 確定特征點主方向 21 利用特征點鄰域像素的梯度方向分布特性為每個特征點制定方向參數(shù)，使算子具有旋轉不變性。 () Θ = () 即利用關鍵點鄰域像素的梯度方向分布特征來確定關鍵點的制定方向參數(shù)。在以關鍵點為中心的鄰域內采樣，用直方圖統(tǒng)計鄰域像素的梯度方向，直方圖的峰值就是關鍵點處鄰域的主方向，作為該關鍵點的方向。 公式 ()為 (x, y)處的梯度值，公式 ()為 (x, y)處的方向， (x, y)要確定是哪一階的哪一層。在實際計算過程中，在以特征點為中心的鄰域窗口內采樣，并用梯度方向直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是 0360 度， 其中每 10 度一個柱，總共 36 個柱。梯度方向直方圖的峰值則代表了改特征點處鄰域梯度的主方向，即作為該特征點的方向。圖 411 為梯度方向確定主方向： 圖 411 確定主方向 在梯度方向直方圖中，當存在另一個相當于主峰值 80%能量的峰值時，則認為這個方向是該特征點的輔方向，一個特征點可能會被指定具有多個方向（一個主方向，一個輔方向），大約有 15%的點 有 多個方向，但是這些輔助方向對匹配的穩(wěn)定性起了很重要的作用，增強了匹配的魯棒性。 到此為止，已經(jīng)得到了特征點的位置，所在尺度和方向。圖 412 為特征點位置，尺度，方向示意圖： 22 圖 412 特征點檢測結果 生成 SIFT 特征向量 一個特征點的 SIFT 特征向量包含的數(shù)據(jù)有：位置，尺度，方向和 SIFT 描述子。 保持旋轉不變性 將坐標軸旋轉為特征點的主方向，以確保旋轉不變性。主方向校正如圖 413 圖 413 旋轉為主方向 23 得到特征點的種子點 以特征點為中心取 8 x 8 的窗口（特征點所在的行和列不?。?。在圖 414(a)中中央的那個點為當前位置，每個小格代表特征點鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭的長度代表梯度模值，圖中圈內代表高斯加權的范圍（越靠近特征點的像素，梯度方向信息貢獻越大）。然后在每 4 x 4 的圖像小塊上計算 8 個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種子點，如圖 414(b)所示。此圖中一個特征點 2 x 2 共 4 個種子點組成，每個種子點 8 個方向向量信息，可產生 2 x 2 x 8 共 32 個數(shù)據(jù)，形成 32 維的 SIFT 特征向量即特征點描述子，所需要的圖像數(shù)據(jù)塊為 8 x 8。 這 種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。 在我實現(xiàn)的這個算法中，為了增強匹配的穩(wěn)健性，對每個特征點使用 4 x 4 共 16 個種子點來描述，每個種子點有 8 個方向向量信息，這樣對于一個特征點就可以產生 4 x 4 x 8 共 128 個數(shù)據(jù)，最終形成 128 維 的 SIFT 描述子，所需要的圖像數(shù)據(jù)塊為 16 x 16。此時 ， SIFT 特征向量已經(jīng)去除了尺度變化 、 旋轉等集合變形因素的影響。 (a) (b) 圖 414 關鍵點鄰域方向和方向特征向量 SIFT 特征向量長度的歸一化處理 將特征向量歸一化處理即將向量單位化之后就可以進一步去除光 照變化的影響 。 這樣之后就已經(jīng)完全形成了 SIFT 特征向量。 SIFT 特征向量的匹配 一般采用各種距離函數(shù)作為特征的相似性度量，如歐氏距離、馬氏距離等。我的實 24 現(xiàn)算法中使用的是歐氏距離作為兩幅圖中的相似度量。所謂歐氏距離也稱歐幾里得度量，是一個通常采用的距離定義，它是在 m維空間中兩點之間的真 實 距離。 n 維空間的歐氏距離公式 為 ()， 匹配的流程圖如圖 415。 2( [ ] [ ] )( , ) [ ] ( 1 , 2 , . . . , )a i b iA B s q r t i n? ???? () 圖 415 匹配算法流程圖 取一幅圖像中的某個關鍵點，并找出其與另一幅圖像中距離最近的前 2 個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距離小于某個 閾值 Th，則接受這一對匹配點。降低這個比例 閾值 ，匹配點數(shù)量會增多，但穩(wěn)定性隨之會變得稍差。不同的 閾值 對應的正確匹配與不正確匹配之間的比例關系如圖 416，在我們的實現(xiàn)算法中，取 閾值 為 時，當大于此 閾值 就否定該匹配，這樣我們可以消除 90%的錯誤匹配，而僅僅丟棄了 5%的正確匹配。 圖 416 不同閾值對應的匹配成功率 最后要消除錯配，通過相似性度量得到潛在匹配對，其中不可避免會產生一些錯誤 25 匹配，因此需要根據(jù)集合限制和其它附加約束消除錯誤匹配，提高魯棒性。常用的去外點方法是 RANSAC 隨機抽樣一致性算法，常用的幾何約束是極線約束關系。 本章小結 本章詳細的介紹了 SIFT 特征的提取步驟和圖像的匹配步驟。 SIFT 算法是一種提取局部特征的算法，在尺度空間尋找極值點，提取 極值點的位置、尺度以及 旋轉不變量。 SIFT 算法的主要特點： a) SIFT 特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變 化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性； b) 獨特性 (Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配 ； c) 多量性，即使少數(shù)的幾個物體也可以產生大量 SIFT 特征向量； d) 高速性，經(jīng)優(yōu)化的 SIFT 匹配算法甚至可以達到實時的要求； e) 可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合。 SIFT 算法 的主要 步驟 為 ： a) 檢測尺度空間極值點 ； b) 精確定位極值點 ； c) 為每個關鍵點指定方向參數(shù) ； d) 關鍵點描述子的生成 。 26 第 5章 實驗結果及分析 SIFT 特征提取試驗結果 本文的特征提取部分的代碼通過調用 庫在 Visual Studio 2020 上的控制臺應用程序上實現(xiàn)的，在圖 51~圖 53 中所