【正文】 fprintf( stderr, Finding SIFT features...\n )。 struct feature* features。 38 參考文獻 [1] David G. Lowe. Object Recognition from Local ScaleInvariant Features[J]. the International Conference on Computer Vision,1999:120 [2] David G. Lowe. Distinctive image features from scale invariant keypoints[J]. IJCV, (2):91110. [3] David . Fitting parameterized threedimensional models to images. IEEE Trans. on Pattern Analysis and Machine Intelligence[J],2021,13(5):441–450. [4] 王紅梅 . 張科 . 李言俊 . 圖像匹配研究進展 [J]. 計算機工程與應(yīng)用 , 2021, 40(19):4247 [5] 楊枝靈 . 王開 . Visual C++數(shù)字圖像獲取、處理及實踐應(yīng)用 [M].人民郵電出版社 , [6] 田巖 . 柳斌 . 基于特征塔集的遙感圖像融合方法 [J]. 華中科技大學學報 ,2021,33(7):1416 [7] 沈振康 . 孫仲廉 . 數(shù)字圖像處理及應(yīng)用 [M]. 北京：國防工業(yè)出版社 , [8] 鄭南寧 . 計算機視覺與模式識別 [M]。同時，他們給我分享了許多有用的資料，一起探討問題的過程中我受益匪淺。同時他們讓我學會了嚴謹治學的作風，為我今后的研究生生涯奠定了基礎(chǔ)。 其次，我要感謝我華南理工大學的師兄們，尤其是陽雄師兄和林曉穗師兄。他刻苦鉆研，嚴謹治學的精神給我樹立了很好的榜樣，對我產(chǎn)生了深刻的影響。李老師不僅在專業(yè)知識上學識淵博，治學嚴謹，而且在生活上也非常關(guān)心同學。 本次畢業(yè)設(shè)計讓我學會了許多東西，對算法的研究有了較深刻的了解，提升了英語閱讀能力和編程能力，以及數(shù)學的應(yīng)用能力。 文獻中許多都涉及到了數(shù)學知識，數(shù)學公式的使用以及證明都需要用到我在研究生考試復習的數(shù)學基礎(chǔ)知識，深刻地感受到了數(shù)學是計算機研究靈魂的真諦。 在閱讀文獻的過程中，學到了許多的知識，了解了許多做研究的方法。 在實現(xiàn)的代碼中，特征提取部分的是調(diào)用 OpenCV 庫的函數(shù)在 Visual Studio 2021的控制臺實現(xiàn)的，匹配部分是在 MATLAB 上實現(xiàn)的。 SIFT特征就是在不同的尺度空間和位置提取局部特征點。 SIFT 特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性 ， 在尺度空間尋找極值點 、 提取位置 、 尺度 以及 旋轉(zhuǎn)不變量。在特征提取時，還要考慮光照變化、鏡頭位置、運動是否對提取的特征的有影響等問題。特征提取是圖像 識別 、 分類和 檢索 中的關(guān)鍵技術(shù) ，本文主要關(guān)注圖像的特征提取方法。計算機必須根據(jù)某一特征才能識別圖像（這就涉及到圖像的特征提?。?，這一圖像特征的描述方法很多，現(xiàn)有的方法大部分都是基于像素點的灰度值、像素點的空間分布信息、色彩信息等。 一幅圖像蘊含了極為豐富的信息，如可以直接利用的像素值，對于彩色圖像有色彩信息，怎樣利用這些信息來表征圖像的本質(zhì)信息是一個難點。隨著科學技術(shù)的不斷發(fā)展以及實際應(yīng)用的需求，圖像逐漸成為了科學研究的熱點，在 國防軍事、航天航空、醫(yī)療衛(wèi)生、交通管理 、信息安全 、 工 農(nóng)業(yè)生產(chǎn)、文化娛樂等各個領(lǐng)域中得到 了 廣泛應(yīng)用。 36 結(jié)束語 圖像資源極為豐富，如宇宙星空、大氣海洋圖像、花草樹木圖像、醫(yī)學圖像、分子結(jié)構(gòu)等等，這些不同領(lǐng)域的圖像都有各自的特征。 圖 516 旋轉(zhuǎn)變化匹配 本章小結(jié) 本章通過大量的實驗提取不同圖像的 SIFT 特征，并且進行匹配，以測試該算法的穩(wěn)定性和魯棒性，分別從視角變換 、 仿射變換 、 尺度縮放變換 、 亮度變換以及旋轉(zhuǎn)變換 35 驗證其匹配的穩(wěn)定性。這本書發(fā)生了較多的旋轉(zhuǎn)變換，還有視角的變換，除了極個別點沒有成功匹配之外，其他的點都能成功匹配。 (a) (b) 圖 511 原圖像 (a) 54個特征點 (b)85個特征點 圖 512 特征提取 33 圖 513 尺度縮放變換匹配， 37個特征點匹配成功 亮度變換的圖像組匹配 如圖 514 中兩幅圖， (a)圖比 (b)圖亮度強一些， 它們 的匹配結(jié)果如圖 515，可見對于亮度變化保持穩(wěn)定性，去除了光照變化的影響。 31 (a) (b) 圖 58 原圖像 (a) 3994個特征點 (b) 4476個特征點 圖 59 特征點提取 圖 510 仿射變換， 53個特征點匹配成功 32 尺度縮放變換的圖像組匹配 圖 511(b)是由圖 511(a)尺度縮放變換而來的兩幅原圖，圖 512(a)， 512(b)是分別由 511 的 兩幅 圖提取的特征點， (a)圖提取了 54 個特征點， (b)圖提取了 85 個特征點。 圖 57 視角變換， 111個特征點匹配成功 仿射變換的圖像組匹配 圖 58(b)是由圖 58(a)仿射變換而來的兩幅原圖，圖 59(a)， 59(b)是分別由 58 的圖提取的特征點， (a)圖提取了 3994 個特征點， (b)圖提取了 4476 個特征點。 30 視角變換的圖像組匹配 圖 51 和圖 54 是同一個場景的不同拍攝角度所得到的一組圖像，他們的匹配結(jié)果如圖 57，圖像左邊和右邊分別顯示了兩幅圖像，有顏色的連線的兩端是兩幅圖像中對應(yīng)的匹配點。 圖 51 原圖像 圖 52 初始化后的圖像 28 圖 53 876個特征點被提取 圖 54 原圖像 29 圖 55 初始化的圖像 圖 56 1053個特征點被提取 特征匹配 特征匹配的全部代碼在 MATLAB 中實現(xiàn)，使用的是歐氏距離法，對于一副圖中的每個特征點，在另一幅圖中找到與之距離最近的特征點的距離 d1 和次近的特征點的距離 d2，若 d1/d2Th，則接受該匹配。 27 第 5章 實驗結(jié)果及分析 SIFT 特征提取試驗結(jié)果 本文的特征提取部分的代碼通過調(diào)用 庫在 Visual Studio 2021 上的控制臺應(yīng)用程序上實現(xiàn)的，在圖 51~圖 53 中所示的圖像是 ，圖 54~圖 56 中所示的圖像是 ，其中 圖 51 和圖 54 是 它們的 原始圖像， 圖 52 和圖 55 是初始化之后的圖像， 圖 53 和圖 56 是特征點提取之后的圖像。 SIFT 算法的主要特點： a) SIFT 特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變 化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性； b) 獨特性 (Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配 ； c) 多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量 SIFT 特征向量； d) 高速性，經(jīng)優(yōu)化的 SIFT 匹配算法甚至可以達到實時的要求； e) 可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合。 本章小結(jié) 本章詳細的介紹了 SIFT 特征的提取步驟和圖像的匹配步驟。 圖 416 不同閾值對應(yīng)的匹配成功率 最后要消除錯配，通過相似性度量得到潛在匹配對，其中不可避免會產(chǎn)生一些錯誤匹配，因此需要根據(jù)集合限制和其它附加約束消除錯誤匹配，提高魯棒性。降低這個比例 閾值 ，匹配點數(shù)量會增多，但穩(wěn)定性隨之會變得稍差。 n 維空間的歐氏距離公式 為 ()， 匹配的流程圖如圖 415。我的實現(xiàn)算法中使用的是歐氏距離作為兩幅圖中的相似度量。 這樣之后就已經(jīng)完全形成了 SIFT 特征向量。此時 ， SIFT 特征向量已經(jīng)去除了尺度變化 、 旋轉(zhuǎn)等集合變形因素的影響。 這種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。然后在每 4 x 4 的圖像小塊上計算 8 個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種子點，如圖 414(b)所示。主方向校正如圖 413 圖 413 旋轉(zhuǎn)為主方向 得到特征點的種子點 以特征點為中心取 8 x 8 的窗口（特征點所在的行和列不取）。圖 412 為特征點位置，尺度，方向示意圖： 圖 412 特征點檢測結(jié)果 生成 SIFT 特征向量 一個特征點的 SIFT 特征向量包含的數(shù)據(jù)有：位置，尺度，方向和 SIFT 描述子。圖 411 為梯度方向確定主方向： 22 圖 411 確定主方向 在梯度方向直方圖中，當存在另一個相當于主峰值 80%能量的峰值時，則認為這個方向是該特征點的輔方向，一個特征點可能會被指定具有多個方向（一個主方向，一個輔方向），大約有 15%的點 有 多個方向，但是這些輔助方向?qū)ζヅ涞姆€(wěn)定性起了很重要的作用，增強了匹配的魯棒性。梯度直方圖的范圍是 0360 度，其中每 10 度一個柱，總共 36 個柱。 公式 ()為 (x, y)處的梯度值，公式 ()為 (x, y)處的方向， (x, y)要確定是哪一階的哪一層。 () Θ = () 即利用關(guān)鍵點鄰域像素的梯度方向分布特征來確定關(guān)鍵點的制定方向參數(shù)。圖 410 是去除邊緣點之后的結(jié)果。 H = () 通過 2 x 2 的海森矩陣來計算主曲率，求出 H 的特征值，最大特征值為ɑ，最小特征值為β，則： Tr(H) = + = ɑ + β , Det(H) = – = ɑβ 令ɑ = rβ，則主曲率： R= = 。 () 通過公式 ()計算出 |D( )|，若 |D( )| ，該特征點就丟棄，否則就保留下來。通過對公式 ()求導，并令其為 0，得出精確的極值點位置 ： = * () 在上面的精確確定特征點中，同時要去除低對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點，以增強匹配穩(wěn)定性、提高抗噪聲能力。下面對局部極值點進行三維二次函數(shù)擬合以精確確定特征點的位置和尺度，尺度空間函數(shù) D(x, y,σ )處的泰勒展開式如公式（ ）所示。 精確定位特征點的位置 和所在的尺度 通過此步驟，檢測上一步形成的極值點，去除對比度低的點和不穩(wěn)定的邊緣點從而精確確定特征點所在的位置和尺度。 圖 47 極值點檢測 18 圖 48 圖像極值點檢測結(jié)果 在圖 47 中，標記為叉號的像素若比相鄰的 26 個像素的 DoG 值都大或者都小，則該點將作為一個局部極值點，記下它的位置和對應(yīng)尺度。圖 46 為一幅圖像由圖 44 所示圖像 高斯金字塔構(gòu)造成的 DoG 金字塔。 表 41 sigma數(shù)組 i 1 2 3 4 sigma[i] σ kσ σ σ 通過數(shù)學公式的證明可以得到，在每一階的相鄰層之間做高斯模糊，第 i 層的圖像是在第 i1 層的基礎(chǔ)上以 sigma[i]的尺度因子做高斯模糊，這樣得到的高斯金子塔，也是 16 圖 43 所示的金字塔，尺度因子就是表 41 所示的那些尺度因子，圖 44 為一幅圖像所形成的高斯金字塔的第一階和第二階： 圖 44 高斯金字塔圖像 建立 DoG金字塔 DoG 即相鄰兩尺度空間函數(shù)之差，用 D（ x， y，σ）來表示，如公式（ ）所示： D(x, y,σ )=(G(x, y, kσ ) – G(x, y,σ )) * I(x, y) = L(x, y, kσ ) – L(x, y,σ ) () DoG 金字塔通過高斯金字塔中相鄰尺度空間函數(shù)相減即可，如圖 45 所示。 在實現(xiàn)時，是采用以下方法來實現(xiàn)每階每層的高斯模糊的：第 1 階第 1 層是原始圖像；之后的同一階的每一層是在前一層的基礎(chǔ)上進行 sigma[i]的高斯模糊，其中 i 表示在該階中所在的層數(shù)， sigma[]數(shù)組的值如表 41 所示，而第 2 階的第一層是在第 1 階的中間層隔點取樣得到。第 3 階的第 1 層由第 2 階的中間層尺度圖像進行子抽樣獲得。 高斯金字塔有 o 階 s+3 層， 算法實現(xiàn)代碼里 o 取 4， s 取 2，σ取 ， k 取 。