【正文】 摘要基于視頻圖像序列的目標(biāo)運動軌跡提取技術(shù)是已經(jīng)成為精確制導(dǎo)武器的關(guān)鍵技術(shù)之一，能夠提高武器打擊精度及力度；同時更能體現(xiàn)目標(biāo)跟蹤監(jiān)控系統(tǒng)的智能化和自動化。而在眾多模式下的基于視頻圖像序列的軌跡提取技術(shù)中，基于固定參照物視場變動模式的軌跡測量技術(shù)不受相機視野限制，能夠有效地擴大目標(biāo)跟蹤范圍，更有著重要的研究意義和工程應(yīng)用價值。固定參照物視場變動模式的軌跡測量技術(shù)要求相鄰兩幀之間必須具有一定的重復(fù)。由于運動目標(biāo)瞬時空間位置坐標(biāo)是通過相對前一時刻空間位置坐標(biāo)的相對變化得到，因此存在軌跡計算的累積誤差較大的問題，同時由于目標(biāo)體運動過程中的姿態(tài)變化、參照環(huán)境的復(fù)雜性等因素，導(dǎo)致軌跡計算的精度很難得到保證。本論文針對固定參照物視場變動模式下運動目標(biāo)軌跡提取問題進行深入研究，設(shè)計開發(fā)了基于視頻圖像序列的目標(biāo)運動軌跡提取系統(tǒng)，針對目標(biāo)在運動過程中的姿態(tài)變化導(dǎo)致的相機坐標(biāo)系變化問題，提出了成像系統(tǒng)外參實時校正方法，通過陀螺儀獲取的數(shù)據(jù)和空間坐標(biāo)系變換關(guān)系對相機姿態(tài)角參數(shù)實時校正；針對SIFT特征匹配算法中的歐式距離無法自適應(yīng)調(diào)節(jié)問題，提出了多目標(biāo)優(yōu)化的SIFT特征匹配算法，建立了以相關(guān)系數(shù)和特征點之間的歐氏距離為目標(biāo)函數(shù)，以置信度為約束條件的多目標(biāo)優(yōu)化模型，減少了特征點的誤配率；最后通過車載CCD實驗對系統(tǒng)功能和精度進行驗證，數(shù)據(jù)表明該系統(tǒng)能夠精確的實現(xiàn)運動目標(biāo)的軌跡測量，并具有較強的適應(yīng)性和可靠性。 1緒論 基于視頻圖像序列的目標(biāo)運動軌跡提取技術(shù)是動態(tài)視覺領(lǐng)域中一個具有重要意義和實際價值的研究課題。目標(biāo)運動軌跡是反映一段時間內(nèi)目標(biāo)的運動路線，它的精確提取能夠?qū)崿F(xiàn)測量和分析目標(biāo)的運動參數(shù)、運動行為評估等。在軍事領(lǐng)域中，該技術(shù)已經(jīng)成為精確制導(dǎo)武器的一項關(guān)鍵技術(shù)，它能夠有效地提高武器的打擊精度，強化武器的打擊力度；同時在民用領(lǐng)域，以該技術(shù)為基礎(chǔ)建立的人機交互系統(tǒng)，能夠?qū)崿F(xiàn)運動目標(biāo)的智能跟蹤、行為監(jiān)管等，真正地體現(xiàn)運動目標(biāo)監(jiān)控系統(tǒng)的自動化和智能化。因此無論在民用上還是在軍事領(lǐng)域中，該技術(shù)的研究都具有較強的理論意義和研究價值。目前基于視頻圖像序列的目標(biāo)運動軌跡提取技術(shù)根據(jù)相機視場和參照物的不同可分為固定視場內(nèi)參照物運動、變化視場內(nèi)參照物運動和固定參照物視場變動情況下的運動目標(biāo)跟蹤及軌跡檢測。固定視場內(nèi)參照物運動方式中，相機及其視野固定，對視野內(nèi)的運動目標(biāo)進行跟蹤檢測，具有空間和時間上的區(qū)域限制，僅能得到固定區(qū)域、固定時間段中的目標(biāo)運動軌跡；變化視場內(nèi)參照物運動是對固定視場方式的一種改進，通過云臺等多維運動系統(tǒng)實現(xiàn)相機視野的變化，能夠拓展運動目標(biāo)跟蹤的范圍和時間得到擴展，但是由于鏡頭等光學(xué)器件的限制，當(dāng)運動目標(biāo)超出一定范圍則無法成像或成像目標(biāo)體的“點化”現(xiàn)象；固定參照物視場變動模式下，相機視野隨運動目標(biāo)的運動變化，利用相鄰兩幀圖像中的固定參照物的空間位置不變特性實現(xiàn)運動目標(biāo)的軌跡計算，此類方法不受相機視野的限制，能夠有效地提高運動體軌跡提取的作用范圍，但是要求相鄰兩幀之間必須具有一定的重復(fù)。由于運動目標(biāo)瞬時空間位置坐標(biāo)是通過相對前一時刻空間位置坐標(biāo)的相對變化得到，因此存在軌跡計算的累積誤差較大的問題，同時由于目標(biāo)體運動過程中的姿態(tài)變化、參照環(huán)境的復(fù)雜性等因素，導(dǎo)致軌跡計算的精度很難得到保證。本論文針對固定參照物視場變動模式下運動目標(biāo)軌跡提取問題進行深入研究，設(shè)計開發(fā)了基于視頻圖像序列的運動目標(biāo)軌跡提取系統(tǒng)；提出了成像系統(tǒng)外參實時校正算法、多目標(biāo)優(yōu)化特征提取算法，有效的解決了累積誤差較大、坐標(biāo)計算精度低等問題，實現(xiàn)了運動目標(biāo)軌跡的精確測算。隨著科學(xué)技術(shù)的不斷進步，衛(wèi)星定位導(dǎo)航系統(tǒng)與計算機視覺技術(shù)相結(jié)合在目標(biāo)運動軌跡跟蹤提取領(lǐng)域得到了廣泛的應(yīng)用。通過接收至少4顆衛(wèi)星不間斷發(fā)送自身星歷參數(shù)和時間信息，對地面目標(biāo)進行精確定位，從而可以有效地對目標(biāo)運動軌跡進行跟蹤和定位。目前，可實用的衛(wèi)星導(dǎo)航系統(tǒng)有美國全球衛(wèi)星定位導(dǎo)航系統(tǒng)(GPS)、前蘇聯(lián)的全球?qū)Ш叫l(wèi)星系統(tǒng)(GLONASS)、歐洲“伽利略”以及我國自主研發(fā)的“北斗”衛(wèi)星導(dǎo)航系統(tǒng)。美國的全球定位系統(tǒng)GPS在20世紀(jì)60年代末開始研發(fā)。1978年發(fā)射第一顆衛(wèi)星，迄今共經(jīng)歷了在軌驗證試驗的第一代GPS1和實用組網(wǎng)的第二代GPSGPS2A、GPS2R、GPS2F等不斷改進的型號。二十多年來，經(jīng)過不斷改進，GPS衛(wèi)星的壽命得到不斷的延長，抗干擾能力和導(dǎo)航精度不斷提高，并增強了地面站的保密性能及星間鏈路安全性。美國的GPS系統(tǒng)無論在軍事還是民用方面都對全球產(chǎn)生了重大影響；俄羅斯全球?qū)Ш较到y(tǒng)GLONASS是一個由俄軍方控制使用的全球衛(wèi)星導(dǎo)航系統(tǒng)，1982年開始正式發(fā)展，1996年宣布建成。GLONASS的發(fā)展大致可分為兩個階段。第一階段是1982至1985年的試驗階段，共發(fā)射11顆第一代試驗衛(wèi)星；第二階段是1985年至1995年的部署階段，共發(fā)射57顆三種型號的衛(wèi)星，使系統(tǒng)達(dá)到滿星座運行。但GLONASS衛(wèi)星壽命較短，建成之后又不能及時進行補網(wǎng)衛(wèi)星發(fā)射，導(dǎo)致在軌可用衛(wèi)星少。GLONASS的應(yīng)用普及遠(yuǎn)遠(yuǎn)不及GPS；1992年2月10日歐盟執(zhí)行機構(gòu)歐洲委員會公布了歐洲導(dǎo)航衛(wèi)星系統(tǒng)Galileo計劃。2002年3月26日，歐盟15國交通部長會議一致決定正式啟動Galileo計劃。2003年5月26日，歐空局15個成員國就聯(lián)合開發(fā)Galileo系統(tǒng)達(dá)成協(xié)議，解決了阻礙Galileo計劃順利實施的投資與利益分配問題。2003年7月11日，Galileo系統(tǒng)的首批兩顆衛(wèi)星合同授出。我國在2000年首先建成北斗導(dǎo)航試驗系統(tǒng)。2007年4月14日，成功發(fā)射了第一顆北斗導(dǎo)航衛(wèi)星，2009年4月15日，我國在西昌衛(wèi)星發(fā)射中心用“長征三號丙”運載火箭成功將第二顆北斗導(dǎo)航衛(wèi)星送入預(yù)定軌道。2010年1月17日，成功將第三顆北斗導(dǎo)航衛(wèi)星送入預(yù)定軌道。根據(jù)系統(tǒng)建設(shè)總體規(guī)劃，2012年左右，系統(tǒng)將首先具備覆蓋亞太地區(qū)的定位、導(dǎo)航和授時以及短報文通信服務(wù)能力；2020年左右，建成覆蓋全球的北斗衛(wèi)星導(dǎo)航系統(tǒng)。自從衛(wèi)星導(dǎo)航定位系統(tǒng)投入運行以來，其應(yīng)用領(lǐng)域不斷擴展，應(yīng)用潛力也不斷得到開發(fā)。同時，對定位精度、實時性方面的要求也越來越高。對衛(wèi)星定位導(dǎo)航系統(tǒng)中定位精度較高的GPS而言，GPS衛(wèi)星的空間幾何分布也會對定位精度產(chǎn)生一定程度的影響。在忽略美國SA政策的情況下，普通GPS接收機定位精度約為30 m左右。消除定位精度帶來的影響一般是采用差分GPS，實時差分GPS (DGPS)定位的精度可以達(dá)到2 m5 m。對于普通的定位和導(dǎo)航應(yīng)用如陸地車輛、海上船舶、空中飛機以及個人等的定位和導(dǎo)航而言，上述的位置精度己經(jīng)足夠了。但是，在一些特殊的應(yīng)用領(lǐng)域，如目標(biāo)運動軌跡精確提取、測繪、地震監(jiān)測、飛機進場著陸以及其他精密測量領(lǐng)域，要求達(dá)到分米級、厘米級甚至毫米級的精度，普通差分GPS就不能滿足要求了。另一方面，有時由于道路兩旁地物特征復(fù)雜，又受高大建筑物、隧道、立交橋、樹木等地物的反射和遮蔽等影響，衛(wèi)星定位導(dǎo)航系統(tǒng)將產(chǎn)生盲區(qū)，影響目標(biāo)跟蹤及定位的精度。 由于上述原因，使用衛(wèi)星定位導(dǎo)航系統(tǒng)無法精確地對目標(biāo)的運動軌跡進行測算和提取，必須增加其他約束條件，但都需要很高的成本?；趫D像的目標(biāo)運動軌跡提取技術(shù)是對攝像機采集的圖像序列進行特征提取，并根據(jù)這些特征對圖像序列中的目標(biāo)進行關(guān)聯(lián)、匹配，得到運動目標(biāo)的運動軌跡。目前該技術(shù)根據(jù)相機視場和參照物的不同可分為固定視場內(nèi)參照物運動、變化視場內(nèi)參照物運動和固定參照物視場變動情況下的運動目標(biāo)跟蹤及軌跡檢測。對于固定視場內(nèi)參照物運動和變化視場內(nèi)參照物運動兩種情況下的運動目標(biāo)軌跡提取技術(shù)，國內(nèi)外各國學(xué)者都已展開了相關(guān)研究，并取得了很多優(yōu)秀成果。目標(biāo)跟蹤的基本概念首先是由Wax在1955年提出的；1964年，Sittler在包括數(shù)據(jù)關(guān)聯(lián)等內(nèi)容的多目標(biāo)跟蹤理論方面取得了突破性進展。隨著經(jīng)過多年的研究與發(fā)展，視頻監(jiān)控系統(tǒng)取得了很大的進步和成就，1997年，美國DARPA （Defense Advanced Research projects Agency ）就設(shè)立了以卡內(nèi)基梅隆大學(xué)為首的視覺監(jiān)控重大項目VSAM（Visual Surveillance And Monitoring），其目標(biāo)是建立一個能在城市或戰(zhàn)場等復(fù)雜環(huán)境下應(yīng)用多個攝像機對人、車等的行為進行監(jiān)控的系統(tǒng)，用于實現(xiàn)人力監(jiān)控費用昂貴、非常危險或者人力無法到達(dá)的場合的監(jiān)控；2000年開始，美國DARPA又資助了HID（Human Identification at a Distance）項目，其任務(wù)是開發(fā)多模式、大范圍的視覺檢測技術(shù)，實現(xiàn)遠(yuǎn)距離人的檢測、分類和識別。有26個高校公司參與了該項目。Berkelye 分校從上世紀(jì)90年代初開始對實時交通監(jiān)控方面進行研究，在運動物體分割、運動物體跟蹤、遮擋處理等技術(shù)方面的研究上取得了一定的成果，并發(fā)表了多篇相關(guān)科學(xué)研究論文。在國內(nèi)，對于這兩種情況的軌跡提取技術(shù)的研究研究起步較晚，發(fā)展水平相對較低。我國從1986年開始對圖像跟蹤正式立項研究，圖像跟蹤算法理論研究取得了很大的發(fā)展。2002年劉永信等人探討了基于Kalman濾波理論的漸消記憶遞歸最小二乘法在重建圖像背景中的應(yīng)用；同年，張輝等人研究了如何實現(xiàn)出格點檢測和聚類自動檢測；1999年王栓等介紹了一種基于差分圖像的運動目標(biāo)檢測算法，檢測結(jié)果是符號化了的圖像，其中運動目標(biāo)由外接矩形表示，然后根據(jù)連續(xù)性約束假設(shè)，實現(xiàn)了運動目標(biāo)的跟蹤；2003年隋曄等講述了交通監(jiān)控系統(tǒng)中應(yīng)用視頻圖像流來跟蹤運動目標(biāo)并對目標(biāo)進行分類的具體過程和原則，基于目標(biāo)檢測提出了雙差分的目標(biāo)檢測算法，目標(biāo)分類應(yīng)用到了連續(xù)時間限制和最大估計的原則。而對于固定參照物視場變動情況下的圖像分析研究目前還處于目標(biāo)的檢測、跟蹤和測量上，還沒達(dá)到軌跡精確測算的理論高度。如：美國MIT的Lincoln實驗室自90年代以來，在航拍圖像處理方面做了大量的工作，他們綜合利用高分辨率多極化航拍圖像的多種特征進行目標(biāo)的自動識別，因其高分辨率的數(shù)據(jù)特性，可采用二維匹配的方法確定目標(biāo)的位置及方位角，最后采用盒維數(shù)對目標(biāo)進行檢測、跟蹤。同時，西歐各國也投入了大量的人力物力從事航拍目標(biāo)識別、跟蹤的技術(shù)研究，如英國學(xué)者采用MUM（Mergeusing Moments）算法和最大似然估計對航拍圖像的紋理特征進行分類，法國Sheffield University的學(xué)者采用模板匹配運用互相關(guān)及KS相關(guān)（KolmogorovSmirnov）算法提取特征，都得到了很好的效果。國內(nèi)發(fā)展也較快，已經(jīng)有很多研究機構(gòu)投入到航拍圖像分析研究中，中北大學(xué)、國防科技大學(xué)、東南大學(xué)以及中國科學(xué)院電子學(xué)研究所38所等單位一直在積極開展固定參照物視場變動情況下的圖像跟蹤、檢測方面的研究。上述研究成果雖然能夠很好地實現(xiàn)固定參照物視場變動情況下的目標(biāo)識別、跟蹤等圖像分析工作，但是很難實現(xiàn)運動目標(biāo)的軌跡測算。這是因為在軌跡測算過程，需要解決相機視場中相對位置精確提取，相機的瞬時姿態(tài)校正、軌跡誤差累積消除等關(guān)鍵技術(shù)。目前這些相關(guān)技術(shù)還處在理論研究階段，還未組成應(yīng)用于實際的成型系統(tǒng)。本課題來源于中北大學(xué)申請的山西省自然基金“基于時、空圖像信息融合的三維測量技術(shù)（基金號2007012003）”。在此基金的支持下，論文主要是利用圖像序列的時、空信息實現(xiàn)運動的目標(biāo)運動軌跡的精確測算。 本文在深入研究圖像的時、空信息的基礎(chǔ)上，組建了基于視頻圖像序列的目標(biāo)運動軌跡提取系統(tǒng)。在該系統(tǒng)中，研究了成像系統(tǒng)外參實時校正算法、多目標(biāo)優(yōu)化特征提取算法，有效的解決了累積誤差較大、坐標(biāo)計算精度低等問題，實現(xiàn)了運動目標(biāo)軌跡的精確測算。具體研究內(nèi)容如下：第一章介紹了課題的研究背景、目的和意義，綜述了目標(biāo)軌跡提取的研究現(xiàn)狀，然后對基于GPS 的目標(biāo)運動軌跡提取技術(shù)和基于圖像的目標(biāo)運動軌跡跟蹤技術(shù)的兩種形式分別做了介紹。最后提出了本文的研究內(nèi)容，確定了本文的研究方向。第二章在了解了本課題的研究目的和應(yīng)用背景的基礎(chǔ)上，組建了目標(biāo)運動軌跡提取系統(tǒng)。該系統(tǒng)融合了圖像實時采集、圖像處理、目標(biāo)運動軌跡測算和提取以及數(shù)據(jù)存儲的功能。然后分別詳述了視頻采集子系統(tǒng)、相機姿態(tài)實時獲取子系統(tǒng)、光照自適應(yīng)子系統(tǒng)以及詳細(xì)說明了各個子系統(tǒng)之間的關(guān)系和功能，為后面章節(jié)中的算法模型建立和實驗驗證提供了可靠的系統(tǒng)平臺。第三章在分析了系統(tǒng)組成的基礎(chǔ)上，研究了相機參數(shù)標(biāo)定及姿態(tài)校正技術(shù)。首先分析了相機成像模型和相機參數(shù)標(biāo)定方法，然后利用兩步法對相機參數(shù)進行標(biāo)定。其次在對空間坐標(biāo)系分析的基礎(chǔ)上，通過陀螺儀獲取的數(shù)據(jù)和空間坐標(biāo)系變換關(guān)系對相機姿態(tài)實時校正。第四章針對基于多目標(biāo)優(yōu)化SIFT特征匹配算法，研究了多目標(biāo)優(yōu)化理論及優(yōu)化模型的構(gòu)建，建立了以相關(guān)系數(shù)和特征點之間的歐氏距離為目標(biāo)函數(shù)，以置信度為約束條件的多目標(biāo)優(yōu)化模型，并通過實驗仿真對本文提出的算法模型進行驗證。最后研究了實際運動軌跡提取并進行了實驗驗證。第五章對論文的主要研究成果和創(chuàng)新之處進行了總結(jié)，分析了論文中存在的問題，為今后進一步的研究指明了方向。2運動目標(biāo)軌跡提取系統(tǒng)的設(shè)計 系統(tǒng)的硬件組成：計算機、陀螺儀、千兆網(wǎng)采集卡以及攝像機。 系統(tǒng)硬件組成系統(tǒng)的軟件組成主要分為三個軟件處理模塊：視頻采集模塊（CCD成像系統(tǒng)和圖像采集）、目標(biāo)姿態(tài)實時獲取模塊、光照調(diào)節(jié)模塊以及圖像處理模塊（包括圖像預(yù)處理、特征點提取以及目標(biāo)匹配）。 系統(tǒng)軟件組成 系統(tǒng)的工作流程如下：攝像機的模擬信號通過千兆網(wǎng)線傳送至計算機。計算機通過千兆網(wǎng)卡將模擬視頻信號轉(zhuǎn)換為數(shù)字信號，該轉(zhuǎn)換輸出的數(shù)字圖像一方面在計算機顯示，另一方面千兆網(wǎng)采集卡的輸出同時傳送至內(nèi)存進行目標(biāo)檢測和跟蹤。通過對圖像序列的特征點提取和匹配結(jié)果獲得相鄰幀圖像間的距離變化以及角度變化。最后依據(jù)陀螺儀實時獲取的坐標(biāo)系角度變化和空間坐標(biāo)系的轉(zhuǎn)換關(guān)系，實現(xiàn)目標(biāo)運動軌跡的實時跟蹤和提取。 視頻采集模塊（1）攝像機攝像機是監(jiān)控系統(tǒng)的重要部件。工程應(yīng)用中大量采用的是電荷耦合式CCD(Charge Coupled Devices)，在圖像采集領(lǐng)域，CCD傳感器是一種新型的固體成像器件。利用這種芯片，借助于必要的光學(xué)系統(tǒng)和合適的外圍驅(qū)動電路，可以將景物圖像，經(jīng)過光敏區(qū)上逐點的光電信號轉(zhuǎn)換、儲存和傳輸、在輸出端產(chǎn)生系列時序視頻信號，從而把