【正文】 之前，要先對圖像進(jìn)行歸一化處理 [19]，將圖像轉(zhuǎn)化為灰度圖像， 放大為原圖像的兩倍，并且預(yù)先將圖像進(jìn)行初步的高斯平滑處理， 使得圖像更易于處理，準(zhǔn)確性更高。 在這里為了對高斯核函數(shù)進(jìn)行更深刻的理解，在 MATLAB 上做了一個小實(shí)驗(yàn)，假設(shè)輸入的圖像的矩陣為 I，經(jīng)過高斯核為 10 的高斯核函數(shù)按照公式 ()的卷積之后的尺度空間圖像為 L， I， L 分別如下： 1 2 3 I = 4 5 6 ， L = 7 8 9 由此可見，通過高斯模糊之后的圖像各像素之間更加均勻化了。 在實(shí)現(xiàn)時，是采用以下方法來實(shí)現(xiàn)每階每層的高斯模糊的：第 1 階第 1 層是原始圖像；之后的同一階的每一層是在前一層的基礎(chǔ)上進(jìn)行 sigma[i]的高斯模糊，其中 i 表示在該階中所在的層數(shù)， sigma[]數(shù)組的值如表 41 所示，而第 2 階的第一層是在第 1 階的中間層隔點(diǎn)取樣得到。 精確定位特征點(diǎn)的位置 和所在的尺度 通過此步驟，檢測上一步形成的極值點(diǎn)，去除對比度低的點(diǎn)和不穩(wěn)定的邊緣點(diǎn)從而精確確定特征點(diǎn)所在的位置和尺度。 H = () 通過 2 x 2 的海森矩陣來計算主曲率，求出 H 的特征值，最大特征值為ɑ，最小特征值為β，則： Tr(H) = + = ɑ + β , Det(H) = – = ɑβ 令ɑ = rβ，則主曲率： R= = 。梯度直方圖的范圍是 0360 度，其中每 10 度一個柱，總共 36 個柱。然后在每 4 x 4 的圖像小塊上計算 8 個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種子點(diǎn)，如圖 414(b)所示。我的實(shí)現(xiàn)算法中使用的是歐氏距離作為兩幅圖中的相似度量。 本章小結(jié) 本章詳細(xì)的介紹了 SIFT 特征的提取步驟和圖像的匹配步驟。 30 視角變換的圖像組匹配 圖 51 和圖 54 是同一個場景的不同拍攝角度所得到的一組圖像，他們的匹配結(jié)果如圖 57，圖像左邊和右邊分別顯示了兩幅圖像，有顏色的連線的兩端是兩幅圖像中對應(yīng)的匹配點(diǎn)。這本書發(fā)生了較多的旋轉(zhuǎn)變換，還有視角的變換，除了極個別點(diǎn)沒有成功匹配之外，其他的點(diǎn)都能成功匹配。 一幅圖像蘊(yùn)含了極為豐富的信息，如可以直接利用的像素值，對于彩色圖像有色彩信息，怎樣利用這些信息來表征圖像的本質(zhì)信息是一個難點(diǎn)。 SIFT 特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性 ， 在尺度空間尋找極值點(diǎn) 、 提取位置 、 尺度 以及 旋轉(zhuǎn)不變量。 文獻(xiàn)中許多都涉及到了數(shù)學(xué)知識，數(shù)學(xué)公式的使用以及證明都需要用到我在研究生考試復(fù)習(xí)的數(shù)學(xué)基礎(chǔ)知識，深刻地感受到了數(shù)學(xué)是計算機(jī)研究靈魂的真諦。 其次，我要感謝我華南理工大學(xué)的師兄們，尤其是陽雄師兄和林曉穗師兄。 struct feature* features。 38 參考文獻(xiàn) [1] David G. Lowe. Object Recognition from Local ScaleInvariant Features[J]. the International Conference on Computer Vision,1999:120 [2] David G. Lowe. Distinctive image features from scale invariant keypoints[J]. IJCV, (2):91110. [3] David . Fitting parameterized threedimensional models to images. IEEE Trans. on Pattern Analysis and Machine Intelligence[J],2021,13(5):441–450. [4] 王紅梅 . 張科 . 李言俊 . 圖像匹配研究進(jìn)展 [J]. 計算機(jī)工程與應(yīng)用 , 2021, 40(19):4247 [5] 楊枝靈 . 王開 . Visual C++數(shù)字圖像獲取、處理及實(shí)踐應(yīng)用 [M].人民郵電出版社 , [6] 田巖 . 柳斌 . 基于特征塔集的遙感圖像融合方法 [J]. 華中科技大學(xué)學(xué)報 ,2021,33(7):1416 [7] 沈振康 . 孫仲廉 . 數(shù)字圖像處理及應(yīng)用 [M]. 北京：國防工業(yè)出版社 , [8] 鄭南寧 . 計算機(jī)視覺與模式識別 [M]。他刻苦鉆研，嚴(yán)謹(jǐn)治學(xué)的精神給我樹立了很好的榜樣，對我產(chǎn)生了深刻的影響。 在閱讀文獻(xiàn)的過程中，學(xué)到了許多的知識，了解了許多做研究的方法。在特征提取時，還要考慮光照變化、鏡頭位置、運(yùn)動是否對提取的特征的有影響等問題。隨著科學(xué)技術(shù)的不斷發(fā)展以及實(shí)際應(yīng)用的需求，圖像逐漸成為了科學(xué)研究的熱點(diǎn)，在 國防軍事、航天航空、醫(yī)療衛(wèi)生、交通管理 、信息安全 、 工 農(nóng)業(yè)生產(chǎn)、文化娛樂等各個領(lǐng)域中得到 了 廣泛應(yīng)用。 (a) (b) 圖 511 原圖像 (a) 54個特征點(diǎn) (b)85個特征點(diǎn) 圖 512 特征提取 33 圖 513 尺度縮放變換匹配， 37個特征點(diǎn)匹配成功 亮度變換的圖像組匹配 如圖 514 中兩幅圖， (a)圖比 (b)圖亮度強(qiáng)一些， 它們 的匹配結(jié)果如圖 515，可見對于亮度變化保持穩(wěn)定性，去除了光照變化的影響。 圖 51 原圖像 圖 52 初始化后的圖像 28 圖 53 876個特征點(diǎn)被提取 圖 54 原圖像 29 圖 55 初始化的圖像 圖 56 1053個特征點(diǎn)被提取 特征匹配 特征匹配的全部代碼在 MATLAB 中實(shí)現(xiàn)，使用的是歐氏距離法，對于一副圖中的每個特征點(diǎn)，在另一幅圖中找到與之距離最近的特征點(diǎn)的距離 d1 和次近的特征點(diǎn)的距離 d2，若 d1/d2Th，則接受該匹配。 圖 416 不同閾值對應(yīng)的匹配成功率 最后要消除錯配，通過相似性度量得到潛在匹配對，其中不可避免會產(chǎn)生一些錯誤匹配，因此需要根據(jù)集合限制和其它附加約束消除錯誤匹配，提高魯棒性。 這樣之后就已經(jīng)完全形成了 SIFT 特征向量。主方向校正如圖 413 圖 413 旋轉(zhuǎn)為主方向 得到特征點(diǎn)的種子點(diǎn) 以特征點(diǎn)為中心取 8 x 8 的窗口（特征點(diǎn)所在的行和列不?。? 公式 ()為 (x, y)處的梯度值，公式 ()為 (x, y)處的方向， (x, y)要確定是哪一階的哪一層。 () 通過公式 ()計算出 |D( )|，若 |D( )| ，該特征點(diǎn)就丟棄，否則就保留下來。 圖 47 極值點(diǎn)檢測 18 圖 48 圖像極值點(diǎn)檢測結(jié)果 在圖 47 中，標(biāo)記為叉號的像素若比相鄰的 26 個像素的 DoG 值都大或者都小，則該點(diǎn)將作為一個局部極值點(diǎn)，記下它的位置和對應(yīng)尺度。第 3 階的第 1 層由第 2 階的中間層尺度圖像進(jìn)行子抽樣獲得。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。 i++) dotprods = des1(i,:) * des2t。// 計算關(guān)鍵的主方向 S8： pute_descriptors( features, gauss_pyr, descr_width,descr_hist_bins )。 特征向量的匹配，使用歐式距離匹配法完成。高斯核如公式 ()： 2)(2 2/2 1),( 22 ???? yxeyxG ??? () 高斯尺度空間 [13]的特點(diǎn)有： 1） 符合熱擴(kuò)散方程，具有各向同性的擴(kuò)散過程； 2） 滿足因果關(guān)系，隨著尺度的增大，圖像上的特征結(jié)構(gòu)逐漸減少且不會有新的特征出現(xiàn)； 3） 圖像不同尺度空間的灰度變化呈線性，有利于追蹤圖像中物體在不同尺度間 11 的變化情況。 cvSmooth(in,out4,CV_GAUSSIAN, 0, 0, 6, 0)。 尺度空間表示是一種基于區(qū)域的表達(dá)，作為尺度空間理論中的一個重要概念，尺度空間被定義為： = K * 對于 所有的輸入信號 ,如果它與 變換核 K卷積后得到的輸出信號 中的極值（一階微分過零點(diǎn)）不超過原圖像的極值，那么我們稱 K 就是尺度空間核，進(jìn)行的卷積變換就稱為尺度變換。 本章小結(jié) 本章簡要介紹了數(shù)字圖像處理技術(shù) 、 圖像匹配的基本概念 以及 兩種基本圖像匹配方法 即 基于灰度相關(guān)的匹配算法 和 基于特征的圖像匹配算法 ， 并且簡單進(jìn)行了比較。特征匹配需要用到許多諸如矩陣的運(yùn)算、梯度的求解、還有傅立葉變換和泰勒展開等數(shù)學(xué)運(yùn)算。利用兩個信號的相關(guān)函數(shù)，評價它們的相似性以確定同名點(diǎn)。圖像匹配的具體應(yīng)用包括目標(biāo)或者場景識別、在多幅圖像中求解 3D 結(jié)構(gòu)、立體對應(yīng)和運(yùn)動跟蹤等。圖像匹配技術(shù) [11]主要是指通過計算機(jī)，采用數(shù)學(xué)技術(shù)方法，對獲取的圖像按照特定目的進(jìn)行相應(yīng)的處理。 本章先介紹數(shù)字圖像處理的相關(guān)技術(shù)，然后介紹兩種主要的圖像匹配方法， 圖像匹配主要可分為 以灰度為基礎(chǔ)的匹配和以特征為基礎(chǔ)的匹配 ，最后對兩種基本方法進(jìn)行簡單的比較 。 第 2 章，圖像匹配技術(shù)，介紹了數(shù)字圖像處理技術(shù)，圖像匹配技術(shù)的背景和意義，簡要介紹了圖像匹配的基本概念以及圖像匹配方法的分類。 (2)指紋比對： SIFT 特征具有的數(shù)量大、 具有局部文理描述等特點(diǎn)使得該算法明顯擴(kuò)展了現(xiàn)有的以細(xì)節(jié)點(diǎn)為主導(dǎo)的指紋局部調(diào)整系統(tǒng)，體現(xiàn)了較高的應(yīng)用價值，使得指紋識別系統(tǒng)的性能有了提高。第一類，基于灰度匹配的方法，也稱為相關(guān)匹配算法，用空間二維滑動模板進(jìn)行圖像匹配，不同算法的區(qū)別主要體現(xiàn)在模板及相關(guān)準(zhǔn)則的選擇方面。目前，已廣泛應(yīng)用到圖像識別、圖像分析和計算機(jī)視覺、目標(biāo)識別和跟蹤等許多重要領(lǐng)域。在判斷輸入的圖像是什么時，就可以將輸入的圖像與存儲的樣本庫進(jìn)行匹配比較，進(jìn)行判斷識別。 SIFT descriptor. 3 第 1章 緒論 現(xiàn)實(shí)生活中，存在著多種多樣的可被我們所感知的信號，其中，人的 80%以上的信息來源是通過視覺系統(tǒng)所獲得的。 關(guān)鍵 詞 ： SIFT 算法；圖像匹配；高斯函數(shù)；尺度不變性； SIFT 描述子。圖像匹配是圖像處理的一項(xiàng)關(guān)鍵技術(shù)，可以廣泛用于目標(biāo)識別與跟蹤、立體視覺、變化檢測、車場車牌識別、人臉識別、機(jī)器人導(dǎo)航、測繪等領(lǐng)域。 then vectors for describing key points based on the gradient magnitude and orientation of pixels neighboring to the key points are generated。視覺，不僅指對光信號的感受，還包括了對視覺信息的獲取、傳輸、處理、存儲與理解的全過程。據(jù) automated imaging sociation Machine Vision(自動化圖像協(xié)會 )1998 年統(tǒng)計，40%以上的計算機(jī)視覺的應(yīng)用需要圖像匹配的技術(shù)支持。隨著圖像技術(shù)和計算機(jī)技術(shù)的發(fā)展，出現(xiàn)了基于特征的圖像匹配技術(shù)。第二類，基于特征匹配的方法，首先在原 始圖中提取特征，然后再建立兩幅圖之間特征的匹配對應(yīng)關(guān)系。 (5)還應(yīng)用與跟蹤匹配，全景拼圖 ，視頻檢索等應(yīng)用領(lǐng)域。 6 第 2章 圖像匹配技術(shù) 圖像匹配是計算機(jī)視覺和圖像處理領(lǐng)域中一項(xiàng)非常重要的工作。由于數(shù)字圖像處理具有很好的靈活性和方便性，該技術(shù)已成為圖像處理的主流。它涉及的技術(shù)領(lǐng)域相當(dāng)?shù)膹V泛，也越來越深入，其基本方法也隨著數(shù)學(xué)工具的不斷進(jìn)步而不斷發(fā)展。在這種情況下，如何使匹配算法精度高、正確匹配率高、速度快和抗干擾性強(qiáng)成為人們關(guān)心的問題。 利用灰度信息匹配方法的主要缺陷是計算量太大，因?yàn)槭?用場合一般都有一定的速度要求，所以這些方法很少被使用。所使用的特征基元有點(diǎn)特征 (明顯點(diǎn)，角點(diǎn)，邊緣點(diǎn)等 )，邊緣線段等。隨后 Koendetink 利用擴(kuò)散方尺來描述尺度空間濾波過程，并由此證明高斯核是 實(shí)現(xiàn)尺度變換的唯一變換核。如圖 31 所示的一簇圖像，左上第一副圖是原圖像，左上第二幅圖起的圖像分別經(jīng)過 σ 為1， 2， 4， 6， 8 的高斯平滑之后得到的圖像，可以看出 σ 值越大則表征該圖像被平滑得越大 ，圖像越模糊。 Koendetink[15] 利用擴(kuò)散方程來描述尺度空間濾波過程，并由此證明高斯核是實(shí)現(xiàn)尺度變換的唯一變換核。 SIFT 特征是圖像的局部特征，該特征對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。 //圖像初始化處理 S3： gauss_pyr = build_gauss_pyr( init_img, octvs, intvls, sigma )。 [in2, des2, loc2] = sift(image2)。 圖 41(a)是原始圖像， 41(b)是經(jīng)過初始化之后的圖像。 另