【文章內(nèi)容簡(jiǎn)介】 據(jù) 1999年基于 Lindeberg的圖像尺度空間理論提出的 SIFT（ Scale Invariant Feature Transform—— 尺度不變特征）算法。之所以 SIFT 特征空間被廣泛使用，是因?yàn)樗鼘?duì)縮放、旋轉(zhuǎn)、平移和投影變換等等具有不變性。 SIFT特征點(diǎn)匹配算法具有較強(qiáng)的魯棒性，而且算法速度高、精度高。 視頻圖像跟蹤系統(tǒng) 4 論文任務(wù)和工作 近幾年來(lái) SIFT特征算法成為了很多科學(xué)家以及研究員的研究熱點(diǎn)。它以自身的優(yōu)勢(shì)漸漸地成為了圖像匹配的主流算法。本論文圍繞著如何將 SIFT 特征算法應(yīng)用于視頻圖像跟蹤系統(tǒng)中，實(shí)現(xiàn)從兩個(gè) usb攝像頭中讀取的兩幅圖像進(jìn)行匹配，怎么樣提高匹配速度以及精度等問(wèn)題開(kāi)展研究。用 SIFT 算法進(jìn)行的特征點(diǎn)的提取和粗匹配后的，效果還是不太理想，因?yàn)楫吘勾嬖阱e(cuò)誤的匹配。所以，要用 RANSAC（隨機(jī)抽樣一致性）算法對(duì)粗匹配的匹配對(duì)進(jìn)行提純工作。兩個(gè)通用 USB攝像頭畢竟存在畸變性，特別是徑向畸變厲害，所以，我們需要用 OpenCV的自帶函數(shù)來(lái)進(jìn)行攝像頭標(biāo)定。在本論文采用的標(biāo)定方法是張氏法，需要格子板，本論文采用的標(biāo)定物正是具有 9*6=54個(gè)角點(diǎn)的格子板標(biāo)定物。通過(guò) OpenCV自帶的標(biāo)定算法以及相關(guān)的函數(shù)來(lái)求出攝像 頭的內(nèi)外參數(shù)。利用求出來(lái)的內(nèi)外參數(shù)進(jìn)行簡(jiǎn)單的計(jì)算得到實(shí)際物體到攝像頭的距離信息。利用已經(jīng)標(biāo)定好的攝像頭進(jìn)行測(cè)距的時(shí)候不需要模板匹配，因?yàn)橹灰业胶軓?qiáng)的 SIFT 匹配對(duì)，也就是說(shuō)只要找到正確的匹配對(duì)（當(dāng)然跟目標(biāo)相關(guān)的，其他的丟掉），就可以求出攝像頭到物體之間的距離信息。首要條件是把兩個(gè)攝像頭放置的時(shí)候它們的光心軸要平行，以使讓最后得出的距離接近實(shí)際的距離。下面來(lái)看看本論文理論結(jié)構(gòu)以及各章的中心內(nèi)容。 下面就是論文主要內(nèi)容： 第一章 ：第一章為緒論，簡(jiǎn)單的論述了本論文的研究背景和國(guó)內(nèi)外研究現(xiàn)狀等。對(duì)圖像處理經(jīng)典算法進(jìn)行了 解剖，并論述了 SIFT算法的優(yōu)越性。最后給出了本論文的內(nèi)容結(jié)構(gòu)以及論文內(nèi)容。 第二章 ：第二章主要介紹了有關(guān) SIFT 算法的知識(shí)以及具體實(shí)現(xiàn)的方法。最后還簡(jiǎn)單的介紹了 RANSAC算法的一般原理。 第三章 ：第三章是作為本論文的重點(diǎn)，著重介紹了從兩個(gè)攝像頭中讀取的兩幅圖片中怎么樣提取 SIFT特征點(diǎn)、怎么樣構(gòu)建特征點(diǎn)空間以及怎么樣粗匹配，最后介紹了經(jīng)過(guò) RANSAC算法以后圖像拼接以及配準(zhǔn)原理和方法。給出了評(píng)估模型的一般方法。 第四章 ：第四章講述了基于 OpenCV的攝像機(jī)標(biāo)定原理和方法。針對(duì)雙目視頻跟蹤系統(tǒng)的研制開(kāi)發(fā)講述了攝像機(jī)標(biāo)定的數(shù) 學(xué)原理以及具體實(shí)現(xiàn)方法和實(shí)驗(yàn)結(jié)果。 第五章 ：第五章為總結(jié)和展望。 視頻圖像跟蹤系統(tǒng) 5 第二章 SIFT 特征算法 作為一種局部描述子，尺度不變形特征變換， Sift(Scale Invariant Feature Transformation)被廣泛利用著。它具有尺度不變形，在圖像中找出關(guān)鍵點(diǎn)。從 SIFT特征算法的誕生以來(lái)，出現(xiàn)了很多有關(guān) SIFT的算法，人們?yōu)榱四軌蛟诂F(xiàn)實(shí)中利用，而試圖改進(jìn)它。 這些局部特征被廣泛利用而且被研究的真正原因在于它能夠表述統(tǒng)計(jì)意義的圖像特征。 接下來(lái)從下面開(kāi)始著重看 SIFT特征算法具體內(nèi)容。 有關(guān) SIFT 算法的術(shù)語(yǔ) 本節(jié)論述本論文常用的一些術(shù)語(yǔ)以及概念。 （ 1） 特征點(diǎn)：特征點(diǎn)可以是一個(gè)點(diǎn)，可以是一個(gè)很小的局部區(qū)域，也可以是局部特征，這三個(gè)都是相同的概念，知識(shí)它們出現(xiàn)的歷史時(shí)期不一樣而已。當(dāng)然我們想要的特征點(diǎn)最好是一個(gè)點(diǎn)，可以理解為我們所研究的數(shù)字圖像離散化后得到的一個(gè)最小的單位 像素點(diǎn)。但是，我們?cè)谧鲅芯康臅r(shí)候，我們所關(guān)心的就是特征點(diǎn)以及它的領(lǐng)域。因?yàn)樘卣鼽c(diǎn)的領(lǐng)域所表現(xiàn)出來(lái)的是某個(gè)物體的邊緣或者特定的角點(diǎn)，所以特征點(diǎn)的領(lǐng)域?qū)ξ覀兒罄m(xù)的研究有很大的幫助。 （ 2） 局部特征：特征可以分為全局特征和局部特征。我們 很容易理解全局特征。比如說(shuō)我們看一幅圖片中孤立的物體時(shí)，或者看彩色照片的時(shí)候很容易檢測(cè)到某個(gè)物體或者某個(gè)人的臉。因?yàn)槲覀內(nèi)祟?lèi)所擁有的眼鏡，也就是說(shuō)人類(lèi)的視覺(jué)系統(tǒng)是具有極高的全局特征辨別能力，不過(guò)，讓計(jì)算機(jī)或者機(jī)器人能夠認(rèn)知這些全局特征，需要耗費(fèi)很大的精力和資金的投入。即使做到了，也是在一定的范圍內(nèi)可行的。因?yàn)閳D像處理技術(shù)雖然近幾十年發(fā)展到令人振奮的程度，但是實(shí)際應(yīng)用中還有很多海量的問(wèn)題需要解決。 （ 3） 幾何變換：幾何變形有平移變換、平移 +旋轉(zhuǎn)變換、相似（平移 +縮放 +旋轉(zhuǎn)）變換、仿射變換和透視變換。 （ 4） 仿射變換：他所 指的是兩個(gè)互不相同的坐標(biāo)下的矢量之間的邊換。 視頻圖像跟蹤系統(tǒng) 6 SIFT 綜述 尺度不變特征轉(zhuǎn)換 (Scaleinvariant feature transform 或 SIFT)是一種電腦視覺(jué)的算法用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量，此算法由 David Lowe 在 1999 年所發(fā)表， 2020 年完善總結(jié)。 其應(yīng)用范圍包含物體辨識(shí)、機(jī)器人地圖感知與導(dǎo)航、影像縫合、 3D 模型建立、手勢(shì)辨識(shí)、影像追蹤和動(dòng)作比對(duì)。 此算法有其專(zhuān)利，專(zhuān)利擁有者為英屬哥倫比亞大學(xué)。 局部影像特征 的描述與偵測(cè)可以幫助辨識(shí)物體， SIFT 特征是基于物體上的一些局部外觀(guān)的興趣點(diǎn)而與影像的大小和旋轉(zhuǎn)無(wú)關(guān)。對(duì)于光線(xiàn)、噪聲、些微視角改變的容忍度也相當(dāng)高?；谶@些特性，它們是高度顯著而且相對(duì)容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫(kù)中，很容易辨識(shí)物體而且鮮有誤認(rèn)。使用 SIFT 特征描述對(duì)于部分物體遮蔽的偵測(cè)率也相當(dāng)高，甚至只需要 3 個(gè)以上的 SIFT 物體特征就足以計(jì)算出位置與方位。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫(kù)條件下，辨識(shí)速度可接近即時(shí)運(yùn)算。 SIFT 特征的信息量大，適合在海量數(shù)據(jù)庫(kù)中快速準(zhǔn)確匹配。 SIFT 算法的特 點(diǎn)有： 1) SIFT 特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性； 2) 獨(dú)特性（ Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確的匹配； 3) 多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量的 SIFT 特征向量； 4) 高速性，經(jīng)優(yōu)化的 SIFT 匹配算法甚至可以達(dá)到實(shí)時(shí)的要求； 5) 可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。 SIFT 算法可以解決的問(wèn)題： 目標(biāo)的自身狀態(tài)、場(chǎng)景所處的環(huán)境和成像器材的 成像特性等因素影響圖像配準(zhǔn) /目標(biāo)識(shí)別跟蹤的性能。而 SIFT 算法在一定程度上可解決： 1.) 目標(biāo)的旋轉(zhuǎn)、縮放、平移（ RST） 2.) 圖像仿射 /投影變換（視點(diǎn) viewpoint） 3.) 光照影響（ illumination） 4.) 目標(biāo)遮擋（ occlusion） 5.) 雜物場(chǎng)景（ clutter） 6.) 噪聲 SIFT 算法的實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn) (特征點(diǎn) )，并計(jì)算出關(guān)鍵點(diǎn)的方向。SIFT 所查找到的關(guān)鍵點(diǎn)是一些十分突出，不會(huì)因光照，仿射變換和噪音等因素而變化的點(diǎn)，如角點(diǎn)、邊緣點(diǎn)、暗區(qū)的亮點(diǎn)及亮 區(qū)的暗點(diǎn)等。 視頻圖像跟蹤系統(tǒng) 7 Lowe 將 SIFT 算法分解為如下四步： 1. 尺度空間極值檢測(cè)：搜索所有尺度上的圖像位置。通過(guò)高斯微分函數(shù)來(lái)識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。 2. 關(guān)鍵點(diǎn)定位：在每個(gè)候選的位置上，通過(guò)一個(gè)擬合精細(xì)的模型來(lái)確定位置和尺度。關(guān)鍵點(diǎn)的選擇依據(jù)于它們的穩(wěn)定程度。 3. 方向確定：基于圖像局部的梯度方向，分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或多個(gè)方向。所有后面的對(duì)圖像數(shù)據(jù)的操作都相對(duì)于關(guān)鍵點(diǎn)的方向、尺度和位置進(jìn)行變換，從而提供對(duì)于這些變換的不變性。 4. 關(guān)鍵點(diǎn)描述：在每個(gè)關(guān)鍵點(diǎn)周?chē)泥徲騼?nèi)，在選定的尺度上 測(cè)量圖像局部的梯度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。 尺度空間和高斯濾波 當(dāng)用一個(gè)具有視覺(jué)系統(tǒng)的機(jī)器人在未知的場(chǎng)景下分析周?chē)h(huán)境的時(shí)候，機(jī)器人的視覺(jué)系統(tǒng)沒(méi)有辦法預(yù)先知道圖像中物體的真正尺度。所以，需要考慮得到的圖像在多尺度下的描述，獲得所感興趣物體尺度。因此，尺度空間的很多處理算子跟哺乳動(dòng)物視網(wǎng)膜和視覺(jué)系統(tǒng)有著極高的相似性。所以，尺度空間理論經(jīng)常與生物視覺(jué)系統(tǒng)相關(guān)聯(lián)。這一節(jié)將討論尺度空間的基本概念以及理論基礎(chǔ)。并且利用幾個(gè)實(shí)際圖像實(shí)例來(lái)介紹尺度空間理論在場(chǎng)景 分析中的應(yīng)用。 圖像的金字塔化 圖像的金字塔化所指的是對(duì)圖像進(jìn)行低通濾波操作。在圖像的金字塔化中被利用的低通濾波器是高斯低通濾波器。具體地說(shuō)，把一幅圖像和高斯濾波器進(jìn)行卷積運(yùn)算后，再對(duì)圖像進(jìn)行橫軸和縱軸的方向進(jìn)行抽樣。這樣得到的一些列圖像稱(chēng)之為已金字塔化的圖像序列。不多，它雖然能夠表達(dá)出圖像在多尺度下的描述，但它缺少扎實(shí)的理論背景，很難分析圖像中物體的各種尺度。早在 1983年， Witkin提出信號(hào)的尺度空間表達(dá)就是利用一系列單參數(shù)、款讀遞增的高斯濾波器將原始信號(hào)濾波的道德一組低頻信號(hào)。說(shuō)道低通 濾波器，雖然其種類(lèi)很多，但是， Koenderink、 Lindeberg、 Florack 等科學(xué)家利用精準(zhǔn)的數(shù)學(xué)理論通過(guò)不同途徑證明了高斯核就是實(shí)現(xiàn)尺度變換的唯一的變換核。 [2,13]由不同高斯核組成的尺度空間是規(guī)范的和現(xiàn)行的，而且滿(mǎn)足一下的若干性質(zhì)：平移不變性、尺度不變性和旋轉(zhuǎn)不變性等等。 視頻圖像跟蹤系統(tǒng) 8 WItkin 對(duì)尺度空間理論最重要的貢獻(xiàn)之一就是把這些表達(dá)與信號(hào)在不同尺度上的結(jié)構(gòu)用系統(tǒng)方法關(guān)聯(lián)在一起，從而將尺度這個(gè)維度很自然的加入到尺度空間表達(dá)中，使得跨尺度圖像結(jié)構(gòu)的某些行為能夠被捕獲。 [2,13] 高斯尺 度空間 SIFT 算法是在不同的尺度空間上查找關(guān)鍵點(diǎn)，而尺度空間的獲取使用高斯模糊來(lái)實(shí)現(xiàn)，Lindeberg等人已證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，并且是唯一的線(xiàn)性核。本節(jié)先介紹高斯模糊算法。 高斯模糊是一種圖像濾波過(guò)程。高斯模糊所用到的函數(shù)就是高斯函數(shù)（正態(tài)分布）計(jì)算模糊模板。使用該模板與原圖像進(jìn)行卷積運(yùn)算，并且得到一系列模糊圖像。 N維空間高斯函數(shù)方程為： (21) 其中， 是正態(tài)分布的標(biāo)準(zhǔn)差， 值越大，圖像越模糊 (平滑 )。 r 為模糊半徑，模糊半徑是指模板元素到模板中心的距離。如二維模板大小為 m*n，則模板 上的元素 (x,y)對(duì)應(yīng)的高斯計(jì)算公式為： 222( / 2 ) ( / 2 )221() 2x m y nG r e ???? ? ??? (22) 在二維空間中，這個(gè)公式生成的曲面的等高線(xiàn)是從中心開(kāi)始呈正態(tài)分布的同心圓，如圖 所示。高斯函數(shù)是圓對(duì)稱(chēng)的分布不為零的像素組成的卷積矩陣與原始圖像做變換。每個(gè)像素的值都是周?chē)噜徬袼刂档募訖?quán)平均。原始像素的值有最大的高斯分布值，所以有最大的權(quán)重，相鄰像素隨著距離原始像素越來(lái)越遠(yuǎn)，其權(quán)重也越來(lái)越小。這樣進(jìn)行模糊處理比其它的均衡模糊濾波器更高地保留了邊緣效果。 22221()( 2 )rNG r e????? 視頻圖像跟蹤系統(tǒng) 9 圖 理論上來(lái)講，圖像中每點(diǎn)的分布都不為零，這也就是說(shuō)每個(gè)像素的計(jì)算都需要包含整幅圖像。在實(shí)際應(yīng)用中，在計(jì)算高斯函數(shù)的離散近似時(shí)，在大概 3σ距離之外的像素都可以看作不起作用，這些像素的計(jì)算也就可以忽略。通常，圖像處理程序只需要計(jì)算 (? +1)*( ? +1)的矩陣就可以保證相關(guān)像素影響。 根據(jù)σ的值，計(jì)算出高斯模板矩陣的大小 (? +1)*( ? +1)，使用公式 (12)計(jì)算高斯模板矩陣的值，與原圖像做卷積，即可獲得原圖像的平滑 (高斯模糊 )圖像。為了確保模板矩陣中的元素在 [0,1]之間，需將模板矩陣歸一化。 5*5 的高斯模板如表 所示。 表 21 下圖是 5*5 的高斯模板卷積計(jì)算示意圖。 高斯模板是中心對(duì)稱(chēng)的。 視頻圖像跟蹤系統(tǒng) 10 圖 尺度空間（ scale space）理論早在 1962年被 Iijima提出了以后， Witkin 和 Koenderink等人的推廣下，漸漸得到了眾多人們的關(guān)注，后來(lái)在計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)被廣泛使用。 尺度空間理論的基本思想是在圖像信息處理領(lǐng)域里引入一個(gè)參數(shù)（我們稱(chēng)之為尺度），通過(guò)聯(lián)系變化的尺度參數(shù)獲取多尺度下的空間序列，并對(duì)這些已獲取的序列進(jìn)行輪廓的提取，以該輪廓作為一個(gè)特征向量，實(shí)現(xiàn)角點(diǎn)、邊緣檢測(cè)以及不同分辨率上的特征提取等。尺度空間方法改變了傳統(tǒng)的單尺度圖像處理 技術(shù)，進(jìn)一步實(shí)現(xiàn)了尺度連續(xù)變化的圖像動(dòng)態(tài)分析框架。尺度是自然存在的，不是認(rèn)為創(chuàng)造的，高斯尺度空間只是表現(xiàn)尺度空間的一種形式。 這樣，能夠更容易獲得原圖像的本質(zhì)特征。尺度空間中各尺度圖像的模糊程度逐漸變大， 視頻圖像跟蹤系統(tǒng) 11 能夠模擬人在距離目標(biāo)由近到遠(yuǎn)時(shí)候的目標(biāo)在視網(wǎng)膜上的