【文章內容簡介】 數字圖像處理。計算機的發(fā)明以后，人們開始著重研究怎么樣讓計算機的功能更強大更加具有實用性，隨著歲月的流逝，很多科學家為了計算機的發(fā)展奉獻了自己的一生。計算機的飛速發(fā)展給圖像處理帶來了飛速的發(fā)展。人類為什么要研究科學？無疑是為了讓我們的生活更加滋潤，讓我們活在我們所設想過的夢幻里。這樣我們舒舒服服的享受生活，幸福快樂地過著人生。數字圖像處理技術無處不在。只不過我們習慣了沒注意而已。比如說，手機的手寫輸入法、公司門口的指紋識別系統(tǒng)、交通統(tǒng)計時用到的 車牌識別系統(tǒng)、探月機器人系統(tǒng)、醫(yī)學成像技術、臉部識別系統(tǒng)和衛(wèi)星拍攝系統(tǒng)等等。圖像處理技術近三十年來得到了飛速的發(fā)展，這離不開電腦發(fā)展的伴隨，更加離不開材料科學的發(fā)展。可見，現(xiàn)在科學的每個專業(yè)都滲透到圖像處理，而且圖像涉及到的領域很多。到哪兒都能感覺到圖像處理技術的強大。圖像處理技術的應用方面很廣，小到我們所用的智能手機里，大到國防工業(yè)。在戰(zhàn)爭的時候，敵機發(fā)現(xiàn)是個很關鍵的問題，因為早發(fā)現(xiàn)可以早點做好戰(zhàn)斗準備。用雷達發(fā)現(xiàn)敵機是主動的，所以容易被發(fā)現(xiàn)，但是，如果開發(fā)一個雙目跟蹤系統(tǒng)（利用兩個已標定好的攝像頭）的話 ，不會被敵機發(fā)現(xiàn)，也就是說被動跟蹤方式。這樣的系統(tǒng)是降低成本，而且不會被敵機發(fā)現(xiàn)，所以，其利用價值是無可限量的。 圖像處理技術有圖像識別、圖像分析和圖像拼接等等。圖像處理現(xiàn)在面臨巨大的挑戰(zhàn)，隨著材料加工業(yè)、數控機床和控制理論的發(fā)展，各領域對圖像處理技術的要求非常的高。所以，很多科學家用自己的一生去研究圖像處理技術，試圖研發(fā)出更靈活、更加可靠、更高精度的圖像處理技術以及圖像處理算法。 作為處理圖像的圖像處理數學工具， MATLAB 和 MATHCAD 不可缺少。此外， C,C++和Java是目前為止最受歡迎的視覺系 統(tǒng)實現(xiàn)語言，這是因為它們在集成高級和低級功能方面力量強大而且編譯能力強。 [1,11]除此以外 OpenCV開源庫作為強大的圖像處理開源庫得到了廣泛的應用。之所以得到了眾多科學家開發(fā)人員的好評，是因為它是開放的，也就是說免費的， 1 視頻圖像跟蹤系統(tǒng) 任何人都可以去用，其次呢，是因為它所擁有的圖像處理功能非常之強大。比起其他圖像處理軟件， OpenCV的強大表現(xiàn)在它有很多封裝好的函數，這些函數各個都是一個功能，比如說要是用 visual c++中實現(xiàn)的功能，在 OpenCV上用簡單 的幾個函數來實現(xiàn)。 下面著重介紹本論文的研究背景、國 過去一周（從 20200516 到 20200522），在 OpenCV下載次數超過了 32， 942次，這數字僅僅是一周的下載次數。 OpenCV開源庫至今更新到 。本人在論文中所提到的算法都是用 Visual Studio 2020 和 。雖然 OpenCV開源庫是給大家開放的圖像處理算法庫，但是，在國內有關 OpenCV 的書籍和文獻極少，針對初涉該領域的新手 們的教程只有兩本 ——“學習 OpenCV”（中文版）， “OpenCV 教程 ——基礎版 ”。在網上有與OpenCV有關的資料，但是，也是很少，而且相當零散。這種現(xiàn)象造成了很多喜歡玩 OpenCV的人很難系統(tǒng)的學到 OpenCV。不過，在互聯(lián)網的飛速的發(fā)展的情況下，這樣的現(xiàn)象漸漸地少了很多。因為互聯(lián)網上有關 OpenCV 的論壇很多，喜歡跟 OpenCV 打交道的人們可以通過互聯(lián)網上的論壇或者貼吧互相交流互相幫助。這樣在某種程度上形成了 OpenCV培訓所。寫這 2 視頻圖像跟蹤系統(tǒng) 篇論文之前 ，本人也在互聯(lián)網上得到了很多人們的幫助，也幫助過很多人們。但是，這也是一定的范圍內進行的，也就是說局限在簡單的程序語法或者特定的函數用法等等。 本人在論文中用到的算法是尺度不變特征點（ SIFT）算法，尺度不變特征點具有可重復性、獨特性、局部性、數量型、準確性和高效性。下面看看國內外研究現(xiàn)狀。 國內外研究現(xiàn)狀 OpenCV的更新?lián)Q代地升級給我們帶來了很多好處，以前要寫很長的代碼完成某功能的操作不需要了，因為 OpenCV 的版本越高里面嵌在的函數的封裝性越來越好。這給了我們極大地好處，只要我們 能夠了解怎么調用這些函數和圖像處理的基礎理論就好辦了。 視頻圖像跟蹤系統(tǒng)其本身包含了圖像拼接技術這領域，說道圖像拼接技術不得不提起圖像匹配和圖像配準。因為這兩個模塊是圖像拼接的主要核心部分。 現(xiàn)在被廣泛使用的匹配有特征匹配和模板匹配等等。其中特征匹配是本論文所利用的。特征匹配的最后效果好壞取決于特征空間的選取，所謂的特征空間就是由參與匹配的圖像特征構成的。特征點的類型很多：比如原始灰度、顯著特征點、邊緣輪廓、統(tǒng)計特征、局部描述符、高層結構特征等。 其中 SIFT 特征點幾年來最為被廣泛使用。利用 SIFT特 征空間的匹配大致分為三個步驟。第一步是特征提取，第二步是特征匹配。所謂的特征提取是指從具有共同部分的兩幅圖像提取共有的特征。特征匹配是對從兩幅圖像中提取出來的共有的特征點進行對應。 Movarac在 1980年提出了關于角點的最初算法。在這基礎上 1988年 Harris把這個初始想法正式形式化為稱為結構張量的兩個特征值性質的問題。從此以后很多科學家加入到了這領域開始研究各種算法。 Triggs 和 Kenney 提出了廣義角點度量。這時候的算法都有著致命的弱點，那就是對廣義的視角的匹配效果并不好，就不適用。為了克服這 問題， 1995 年，張正友提出了用興趣點附近的圖像區(qū)域進行匹配的方法。但他的算法無法解決圖像旋轉、尺度變化、投影變化等問題。直到 2020年 Lowe完善了根據 1999年基于 Lindeberg的圖像尺度空間理論提出的 SIFT（ Scale Invariant Feature Transform——尺度不變特征）算法。之所以SIFT 特征空間被廣泛使用，是因為它對縮放、旋轉、平移和投影變換等等具有不變性。 SIFT特征點匹配算法具有較強的魯棒性，而且算法速度高、精度高。 3 視頻圖像跟蹤 系統(tǒng) 論文任務和工作 近幾年來 SIFT 特征算法成為了很多科學家以及研究員的研究熱點。它以自身的優(yōu)勢漸漸地成為了圖像匹配的主流算法。本論文圍繞著如何將 SIFT特征算法應用于視頻圖像跟蹤系統(tǒng)中，實現(xiàn)從兩個 usb攝像頭中讀取的兩幅圖像進行匹配，怎么樣提高匹配速度以及精度等問題開展研究。用 SIFT算法進行的特征點的提取和粗匹配后的，效果還是不太理想，因為畢竟存在錯誤的匹配。所以，要用 RANSAC（隨機抽樣一致性）算法對粗匹配的匹配對進行提純工作。兩個通用 USB攝像頭畢竟存在畸變性，特別是徑向畸變厲害，所 以，我們需要用 OpenCV 的自帶函數來進行攝像頭標定。在本論文采用的標定方法是張氏法，需要格子板，本論文采用的標定物正是具有 9*6=54個角點的格子板標定物。通過 OpenCV自帶的標定算法以及相關的函數來求出攝像頭的內外參數。利用求出來的內外參數進行簡單的計算得到實際物體到攝像頭的距離信息。利用已經標定好的攝像頭進行測距的時候不需要模板匹配，因為只要找到很強的 SIFT 匹配對，也就是說只要找到正確的匹配對（當然跟目標相關的，其他的丟掉），就可以求出攝像頭到物體之間的距離信息。首要條件是把兩個攝像頭放置的時候它 們的光心軸要平行，以使讓最后得出的距離接近實際的距離。下面來看看本論文理論結構以及各章的中心內容。 下面就是論文主要內容： 第一章：第一章為緒論，簡單的論述了本論文的研究背景和國內外研究現(xiàn)狀等。對圖像處理經典算法進行了解剖，并論述了 SIFT 算法的優(yōu)越性。最后給出了本論文的內容結構以及論文內容。 第二章：第二章主要介紹了有關 SIFT 算法的知識以及具體實現(xiàn)的方法。最后還簡單的介紹了 RANSAC算法的一般原理。 第三章：第三章是作為本論文的重點，著重介紹了從兩個攝像頭中讀取的兩幅圖片中怎么樣提取 SIFT 特 征點、怎么樣構建特征點空間以及怎么樣粗匹配，最后介紹了經過 RANSAC算法以后圖像拼接以及配準原理和方法。給出了評估模型的一般方法。 第四章：第四章講述了基于 OpenCV的攝像機標定原理和方法。針對雙目視頻跟蹤系統(tǒng)的研制開發(fā)講述了攝像機標定的數學原理以及具體實現(xiàn)方法和實驗結果。 第五章：第五章為總結和展望。 4 視頻圖像跟蹤系統(tǒng) 第二章 SIFT 特征算法 作為一種局部描述子，尺度不變形特征變換， Sift(Scale Invariant Feature Transformation)被廣泛利用著。它具有尺度不變形，在圖像中找出關鍵點。從 SIFT 特征算法的誕生以來，出現(xiàn)了很多有關 SIFT 的算法，人們?yōu)榱四軌蛟诂F(xiàn)實中利用，而試圖改進它。 這些局部特征被廣泛利用而且被研究的真正原因在于它能夠表述統(tǒng)計意義的圖像特征。 接下來從下面開始著重看 SIFT特征算法具體有關 SIFT算法的術語 本節(jié)論述本論文常用的一些術語以及概念。 （ 1）特征點：特征點可以是一個點，可以是一個很小的局部區(qū)域，也可以是局部特征，這三個都是相同的概念，知識它們出現(xiàn)的歷史時期不一樣而已。當然我 們想要的特征點最好是一個點，可以理解為我們所研究的數字圖像離散化后得到的一個最小的單位 像素點。但是，我們在做研究的時候，我們所關心的就是特征點以及它的領域。因為特征點的領域所表現(xiàn)出來的是某個物體的邊緣或者特定的角點，所以特征點的領域對我們后續(xù)的研究有很大的幫助。 （ 2