【導(dǎo)讀】下，獨(dú)立進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的作品成果。本人完全意識到本聲明的法律結(jié)果由本人承擔(dān)。送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。業(yè)設(shè)計（論文）。保密□，在年解密后適用本授權(quán)書。圖像--是客觀世界的景物通過光學(xué)系統(tǒng)作用后產(chǎn)生的影像。了場景中物體的顏色、亮度等特征，從而使我們能清晰分辨他們的形狀、大小和空間位置。這樣的視覺系統(tǒng)漸漸地進(jìn)入我們的生活，讓我們的生活變得很豐富，并且我們現(xiàn)。在世界上的先進(jìn)的國家都設(shè)立了圖像處理研究所，研究解。決國防部門所要的問題。拼接、融合和目標(biāo)跟蹤的算法以及方法。首先，用兩個通用的USB攝像頭來實時地進(jìn)行采集圖像，并對這兩幅圖。像提取SIFT特征點。匹配對進(jìn)行提純以及估計模型參數(shù)。均算法進(jìn)行無縫拼接。再進(jìn)行攝像頭標(biāo)定，求出兩個通用攝像頭的內(nèi)外參數(shù)，最后進(jìn)行測距。最終取得了令人滿意的結(jié)果。

　　

【正文】 （ MN）次運(yùn)算求出來的模型滿足的觀測數(shù)據(jù)足夠多的話，我們視為最終正確的模型（或者稱之為正確地擬合函數(shù)）?？梢?，所謂的隨機(jī)抽樣一致性算法很適合對包含很多局外點（噪聲，干擾等）的觀測數(shù)據(jù)的擬合以及模型參數(shù)估計。當(dāng)然最小二乘法也是不錯的算法，但是，最小二乘法雖然功能強(qiáng)大，不過，它所適合的范圍沒有 RANSAC 那么廣。 2)RANSAC 算法具體偽代碼 偽碼形式的算 法如下所示： 輸入： data ： 一組觀測數(shù)據(jù) model ： 適應(yīng)于數(shù)據(jù)的模型 n ： 適用于模型的最少數(shù)據(jù)個數(shù) k ： 算法的迭代次數(shù) t ： 用于決定數(shù)據(jù)是否適應(yīng)于模型的閥值 d ： 判定模型是否適用于數(shù)據(jù)集的數(shù)據(jù)數(shù)目 輸出： best_model ： 跟數(shù)據(jù)最匹配的模型參數(shù)（如果沒有找到好的模型，返回 null） best_consensus_set ： 估計出模型的數(shù)據(jù)點 best_error ： 跟數(shù)據(jù)相關(guān)的估計出的模型錯誤 //初始化 iterations = 0 視頻圖像跟蹤系統(tǒng) 18 best_model = null best_consensus_set = null best_error = 無窮大 //進(jìn)行 RANSAC 算法 while ( iterations k ) maybe_inliers = 從數(shù)據(jù)集中隨機(jī)選擇 n 個點 maybe_model = 適合于 maybe_inliers 的模型參數(shù) consensus_set = maybe_inliers for ( 每個數(shù)據(jù)集中不屬于 maybe_inliers 的點 ） if ( 如果點適合于 maybe_model，且錯誤小于 t ） 將點添加到 consensus_set if （ consensus_set 中的元素數(shù)目大于 d ） 已經(jīng)找到了好的模型，現(xiàn)在測試該模型到底有多好 better_model = 適合于 consensus_set 中所有點的模型參數(shù) this_error = better_model 究竟如何適合這些點的度量 if ( this_error best_error ) 我們發(fā)現(xiàn)了比以前好的模型，保存該模型直到更好的模型出現(xiàn) best_model = better_model best_consensus_set = consensus_set best_error = this_error 增加迭代次數(shù) 返回 best_model, best_consensus_set, best_error RANSAC 算法的可能變化包括以下幾種： （ 1）如果 發(fā)現(xiàn)了一種足夠好的模型（該模型有足夠小的錯誤率），則跳出主循環(huán)。這樣可能會節(jié)約計算額外參數(shù)的時間。 （ 2）直接從 maybe_model 計算 this_error，而不從 consensus_set 重新估計模型。這樣可能會節(jié)約比較兩種模型錯誤的時間，但可能會對噪聲更敏感。 3） 參數(shù) 我們不得不根據(jù)特定的問題和數(shù)據(jù)集通過實驗來確定參數(shù) t 和 d。然而參數(shù) k（迭代次數(shù)）可以從理論結(jié)果推斷。當(dāng)我們從估計模型參數(shù)時，用 p 表示一些迭代過程 中從數(shù)據(jù)集內(nèi)隨機(jī)選取出的點均為局內(nèi)點的概率；此時，結(jié)果模型很可能有用，因此 p 也表征 了算法產(chǎn)生有用結(jié)果的概率。用 w 表示每次從數(shù)據(jù)集中選取一個局內(nèi)點 的概率，如下式所示： w = 局內(nèi)點的數(shù)目 / 數(shù)據(jù)集的數(shù)目 通常情況下，我們事先并不知道 w 的值，但是可以給出一些魯棒的值。假設(shè)估計模型需要選定 n 個點， w n 是所有 n 個點均為局內(nèi)點的概率； 1 ? w n 是 n 個點中至少有一個點為局外點的概率，此時表明我們從數(shù)據(jù)集中估計出了一個不好的模型。 (1 ? w n )k 表示算法永遠(yuǎn)都不會選擇到 n 個點均為局內(nèi)點的概率，它和 1p 相同。因此， 1 ? p = (1 ? w n )k 我們對上式的兩邊取對數(shù)，得出 視頻圖像跟蹤系統(tǒng) 19 () 值得注意的是，這個結(jié)果假設(shè) n 個點都是獨(dú)立選擇的；也就是說，某個點被選定之后，它可能會被后續(xù)的迭代過程重復(fù)選定到。這種方法通常都不合理，由此推導(dǎo)出 的 k 值被看作是選取不重復(fù)點 的上限。例如，要從上圖中的數(shù)據(jù)集尋找適合的直線， RANSAC 算法通常在每次迭代時選取 2 個點，計算通過這兩點的直線 maybe_model，要求這兩點必須唯一。 為了得到更可信的參數(shù)，標(biāo)準(zhǔn)偏差或它的乘積可以被加到 k 上。 k 的標(biāo)準(zhǔn)偏差定義為： () 4） RANSAC 算法的優(yōu)點與缺點 RANSAC 的優(yōu)點是它能魯棒 地 估計模型參數(shù)。例如，它能從包含大量局外點的數(shù)據(jù)集中估計出高精度的參數(shù)。 RANSAC 的缺點是它計算參數(shù)的迭代次數(shù)沒有 上限；如果設(shè)置迭代次數(shù)的上限，得到的結(jié)果可能不是最優(yōu)的結(jié)果，甚至可能得到錯誤的結(jié)果。 RANSAC 只有一定的概率得到可信的模型，概率與迭代次數(shù)成正 比。 RANSAC 的另一個缺點是它要求設(shè)置跟問題相關(guān)的閥值。 RANSAC 只能從特定的數(shù)據(jù)集中估計出一個模型，如果存在兩個（或多個）模型， RANSAC不能找到別的模型。 5)例子 左圖為包含局外點的數(shù)據(jù) 右圖為用 RANSAC 算法求出的模型內(nèi)點 圖 RANSAC 算法示意圖 6)應(yīng)用方面 它適合估計包含很多局外點的觀測數(shù)據(jù)的模型，魯棒性好。所以經(jīng)常在計算機(jī)視覺方面被廣泛利用，特別是圖像配準(zhǔn)和立體攝像機(jī)內(nèi)外參數(shù)估計。 本章小結(jié) 本章里著重介紹了有關(guān) SIFT 算法的原理以及提取，描述子的生成方法等。為后續(xù)的內(nèi)容奠定了基礎(chǔ)。最后介紹了 RANSAC 算法的一般原理（通用方法）。 視頻圖像跟蹤系統(tǒng) 20 第三章 基于 RANSAC 算法的圖像拼接系統(tǒng)設(shè)計 本章將介紹從左右兩個攝像頭中拍下來的圖片的無縫拼接過程，以及用 OpenCV 開源庫來設(shè)計拼接系統(tǒng)的時候所利用和改進(jìn)的各種算法，以及遇到的困難和克服的方法。 對開源庫 OpenCV 的簡單的介紹 本論文所采用的程序設(shè)計語言為 Visual Studio 2020 和開源庫 。 OpenCV(Open Source Computer Vision Library)于 1999 年由 Intel 建立，如今由 Willow Garage 提供支持。 OpenCV開源庫 是一個基于（開源）發(fā)行的跨平臺計算機(jī)視覺庫，可以運(yùn)行在 Linux、 Windows 和 Mac OS 操作系統(tǒng)上。他輕量級而且高效 由一系列 C 函數(shù)和少量C++雷構(gòu)成，同時提供了 Python、 Ruby、 Matlab 等語言的接口，實現(xiàn)了圖像處理和計算機(jī)視覺方面的很多同用算法。至今最新版本為 。 OpenCV 擁有包括 300 多個 C 函數(shù)的跨平臺和中、高層 API，不依賴于其他的外部庫一一盡管也可以使用某些外部庫。 OpenCV 的歷史發(fā)展 1999年 1月， CVL 項目啟動。主要目標(biāo)是人機(jī)界面，能被 UI調(diào)用的實時計算 機(jī)視覺庫，為 Intel 處理器做了特定優(yōu)化。 2020年 6月，第一個開源版本 OpenCV alpha 3發(fā)布。 2020年 12月，針對 linux平臺的 OpenCV beta 1發(fā)布。 期間，繼續(xù)各種研究。 2020年，支持 Mac OS 的 OpenCV 。 2020年 9月， OpenCV （ ）發(fā)布。 2020年 10月 1日， Version 。 2020年 12月 6日， OpenCV 。 2020年 8月， OpenCV 。 2020年 4月 2日，發(fā)布 OpenCV . OpenCV 提供的視覺處理算法非常豐富，并且它部分以 C 語言編寫，加上其開源的特性，處理得當(dāng)，不需要添加新的外部支持也可以完整的編譯鏈接生成執(zhí)行程序，所以很多人用它來做算法的移植， OpenCV的代碼經(jīng)過適當(dāng)改寫可以正常的運(yùn)行在 DSP系統(tǒng)和單片機(jī)系統(tǒng)中 。而且對外開放的，也就是說非商業(yè)應(yīng)用和商業(yè)應(yīng)用都是免費(fèi)的。 開發(fā)環(huán)境的搭建（ VS2020+） 第一步：解壓 軟件包裝在 D 盤上。 然后把軟件的路徑拷到電腦環(huán)境變量 PATH 里面。 第二部：屬性頁下面的 VC++里設(shè)置好包含目錄和庫目錄。就把 OpenCV 的 lib 文件夾 和 include 文件夾的路徑拷到里面去。 視頻圖像跟蹤系統(tǒng) 21 圖 然后點擊鏈接器下面的輸入，然后再點擊右邊的附加依賴項，點擊最右邊的圖標(biāo)后出來的窗口中輸入 OpenCV 的 .lib 文件。這樣完成了 VS2020 和 的搭建。 圖 實時采集圖像 本文所利用的攝像頭是兩個 USB 攝像頭。兩個攝像頭的像素數(shù)均為 2MEGA pixel。首先要設(shè)置禁用筆記本自帶的攝像頭，這樣能夠無錯 誤的運(yùn)行兩個 USB 攝像頭。 首先為了能夠?qū)崟r采集圖像我們需要聲明兩個 CvCapture 變量。利用 cvCreateCameraCapture 函數(shù)從攝像頭讀取每個幀信息。 CvCapture* cap1； CvCapture* cap2； 利用 cvCreateCameraCapture 函數(shù)從攝像頭讀取每個幀信息。然后需要從這些讀取的每次兩個幀轉(zhuǎn)換成兩個圖像處理有力的數(shù)據(jù)型。在 OpenCV 里 Mat 就是處理圖像的變量。 Mat frame1， frame2； 視頻圖像跟蹤系統(tǒng) 22 然后利用 cvQueryFrame函數(shù)從 cap 變量轉(zhuǎn)換成 Mat 變量，轉(zhuǎn)好了就顯示在屏幕上，這樣能夠知道是否正常運(yùn)行。 圖像變換模型（矩陣） 從兩幅圖像的 SIFT 特征空間中找到包含少量局外點的觀測數(shù)據(jù)（粗匹配的特征匹配對集）中，我們要用變換模型來求出兩幅圖像之間的關(guān)系。因為兩個 USB 攝像頭的相對位置不同，也就是說他們在橫向有固定的距離，好比說人的兩個眼睛，所以從這兩個攝像頭拍下來的（同步實時采集）圖片中存在視差。也就是兩幅圖像各有共同區(qū)域。所以我們需要一個圖像利用變換矩陣變換到另一幅圖像坐標(biāo)下。這樣，我們能夠?qū)崿F(xiàn)統(tǒng)一視點下的圖像。下面來簡單介紹剛體變換、仿 射變換和投影變換。 剛體變換矩陣 圖像的大小跟圖像像素點位置關(guān)系都不變。這樣的變換矩陣如下所示： ????????????100c o ss ins inc o s52hhH ???? () 其中 ? 是圖像旋轉(zhuǎn)的角度， h2 和 h5 為平移量。這矩陣的自由度為 3，理論上選擇至少兩隊點就可以確定 H 矩陣了。 仿射變換 如果一幅圖像中的一條直線經(jīng)過變換后變換到另一幅圖像上，仍然是直線，而且保持平行關(guān)系，則這樣的變換成為仿射變換，變換矩陣形式為如下： 0 1 23450 0 1m m mH m m m??????? () 如果一幅圖像中的一條直線經(jīng)過變換后變換到另一幅 圖像上，仍然是直線，而且保持平行關(guān)系，則這樣的變換成為仿射變換，變換矩陣形式為如下： 看上面的矩陣形式就可以容易知道，這仿射變換矩陣有 6個自由度。所以，理論上選擇至少三對不共線的控制點（在本論文中為 SIFT 特征點）就可以解出所有的參數(shù)。 投影變換 從一個圖像平面到另外一個圖像平面的過程，我們稱為投影變換。 變換矩陣為如下： ?????????????176543210mmmmmmmmH () 可見，上面的矩陣具有 8個自由度。所 以，我們選擇的時候，至少要選擇 4 對匹配對，這樣 視頻圖像跟蹤系統(tǒng) 23 我們能夠求出 H 矩陣。 基于 RANSAC 的圖像拼接 這一節(jié)著重介紹從左右攝像頭中讀取的兩幅圖像的拼接技術(shù)以及其實現(xiàn)過程。左右攝像頭每隔 45ms 采集一次，而且同步采集的。 圖像拼接算法流程如下： 圖 OpenCV 提供了良好的