【正文】 orthem Tele等7家世界著名的計算機和通信公司共同推出的一種新型接口標準。這種方法雖然簡單可靠，但對多通道、高速圖像數(shù)據(jù)的采集在數(shù)據(jù)傳輸和存儲方面有一定的局限，容易引起數(shù)據(jù)幀的丟失，并且隨著傳輸通道的增多，引起傳輸導(dǎo)線數(shù)量增加，系統(tǒng)功耗及噪聲也隨之增大。（2）圖像數(shù)據(jù)采集模式①圖像采集卡圖像采集卡是視頻采集子系統(tǒng)的重要組成部分，其主要功能是對相機所輸出的圖像數(shù)據(jù)進行實時的采集，并提供與PC的高速接口。然而隨著實時獲取圖像要求的不斷提高和圖像質(zhì)量的不斷改善, 數(shù)據(jù)傳輸速率呈現(xiàn)出顯著的增長趨勢, 如何保證傳輸過程的穩(wěn)定和可靠成為設(shè)計中越來越需要重視的問題。隨著技術(shù)的快速發(fā)展,使用于各種環(huán)境的CCD相機的視頻采集系統(tǒng)正在被不斷地開發(fā)出來。利用這種芯片，借助于必要的光學(xué)系統(tǒng)和合適的外圍驅(qū)動電路，可以將景物圖像，經(jīng)過光敏區(qū)上逐點的光電信號轉(zhuǎn)換、儲存和傳輸、在輸出端產(chǎn)生系列時序視頻信號，從而把一幅按空間域分布的光學(xué)圖像，變成一列按時間域分布的離散電信號。 視頻采集模塊（1）攝像機攝像機是監(jiān)控系統(tǒng)的重要部件。通過對圖像序列的特征點提取和匹配結(jié)果獲得相鄰幀圖像間的距離變化以及角度變化。 系統(tǒng)軟件組成 系統(tǒng)的工作流程如下：攝像機的模擬信號通過千兆網(wǎng)線傳送至計算機。2運動目標軌跡提取系統(tǒng)的設(shè)計 系統(tǒng)的硬件組成：計算機、陀螺儀、千兆網(wǎng)采集卡以及攝像機。最后研究了實際運動軌跡提取并進行了實驗驗證。其次在對空間坐標系分析的基礎(chǔ)上，通過陀螺儀獲取的數(shù)據(jù)和空間坐標系變換關(guān)系對相機姿態(tài)實時校正。第三章在分析了系統(tǒng)組成的基礎(chǔ)上，研究了相機參數(shù)標定及姿態(tài)校正技術(shù)。該系統(tǒng)融合了圖像實時采集、圖像處理、目標運動軌跡測算和提取以及數(shù)據(jù)存儲的功能。最后提出了本文的研究內(nèi)容，確定了本文的研究方向。在該系統(tǒng)中，研究了成像系統(tǒng)外參實時校正算法、多目標優(yōu)化特征提取算法，有效的解決了累積誤差較大、坐標計算精度低等問題，實現(xiàn)了運動目標軌跡的精確測算。在此基金的支持下，論文主要是利用圖像序列的時、空信息實現(xiàn)運動的目標運動軌跡的精確測算。目前這些相關(guān)技術(shù)還處在理論研究階段，還未組成應(yīng)用于實際的成型系統(tǒng)。上述研究成果雖然能夠很好地實現(xiàn)固定參照物視場變動情況下的目標識別、跟蹤等圖像分析工作，但是很難實現(xiàn)運動目標的軌跡測算。同時，西歐各國也投入了大量的人力物力從事航拍目標識別、跟蹤的技術(shù)研究，如英國學(xué)者采用MUM（Mergeusing Moments）算法和最大似然估計對航拍圖像的紋理特征進行分類，法國Sheffield University的學(xué)者采用模板匹配運用互相關(guān)及KS相關(guān)（KolmogorovSmirnov）算法提取特征，都得到了很好的效果。而對于固定參照物視場變動情況下的圖像分析研究目前還處于目標的檢測、跟蹤和測量上，還沒達到軌跡精確測算的理論高度。我國從1986年開始對圖像跟蹤正式立項研究，圖像跟蹤算法理論研究取得了很大的發(fā)展。Berkelye 分校從上世紀90年代初開始對實時交通監(jiān)控方面進行研究，在運動物體分割、運動物體跟蹤、遮擋處理等技術(shù)方面的研究上取得了一定的成果，并發(fā)表了多篇相關(guān)科學(xué)研究論文。隨著經(jīng)過多年的研究與發(fā)展，視頻監(jiān)控系統(tǒng)取得了很大的進步和成就，1997年，美國DARPA （Defense Advanced Research projects Agency ）就設(shè)立了以卡內(nèi)基梅隆大學(xué)為首的視覺監(jiān)控重大項目VSAM（Visual Surveillance And Monitoring），其目標是建立一個能在城市或戰(zhàn)場等復(fù)雜環(huán)境下應(yīng)用多個攝像機對人、車等的行為進行監(jiān)控的系統(tǒng)，用于實現(xiàn)人力監(jiān)控費用昂貴、非常危險或者人力無法到達的場合的監(jiān)控；2000年開始，美國DARPA又資助了HID（Human Identification at a Distance）項目，其任務(wù)是開發(fā)多模式、大范圍的視覺檢測技術(shù)，實現(xiàn)遠距離人的檢測、分類和識別。對于固定視場內(nèi)參照物運動和變化視場內(nèi)參照物運動兩種情況下的運動目標軌跡提取技術(shù)，國內(nèi)外各國學(xué)者都已展開了相關(guān)研究，并取得了很多優(yōu)秀成果?；趫D像的目標運動軌跡提取技術(shù)是對攝像機采集的圖像序列進行特征提取，并根據(jù)這些特征對圖像序列中的目標進行關(guān)聯(lián)、匹配，得到運動目標的運動軌跡。另一方面，有時由于道路兩旁地物特征復(fù)雜，又受高大建筑物、隧道、立交橋、樹木等地物的反射和遮蔽等影響，衛(wèi)星定位導(dǎo)航系統(tǒng)將產(chǎn)生盲區(qū)，影響目標跟蹤及定位的精度。對于普通的定位和導(dǎo)航應(yīng)用如陸地車輛、海上船舶、空中飛機以及個人等的定位和導(dǎo)航而言，上述的位置精度己經(jīng)足夠了。在忽略美國SA政策的情況下，普通GPS接收機定位精度約為30 m左右。同時，對定位精度、實時性方面的要求也越來越高。根據(jù)系統(tǒng)建設(shè)總體規(guī)劃，2012年左右，系統(tǒng)將首先具備覆蓋亞太地區(qū)的定位、導(dǎo)航和授時以及短報文通信服務(wù)能力；2020年左右，建成覆蓋全球的北斗衛(wèi)星導(dǎo)航系統(tǒng)。2007年4月14日，成功發(fā)射了第一顆北斗導(dǎo)航衛(wèi)星，2009年4月15日，我國在西昌衛(wèi)星發(fā)射中心用“長征三號丙”運載火箭成功將第二顆北斗導(dǎo)航衛(wèi)星送入預(yù)定軌道。2003年7月11日，Galileo系統(tǒng)的首批兩顆衛(wèi)星合同授出。2002年3月26日，歐盟15國交通部長會議一致決定正式啟動Galileo計劃。但GLONASS衛(wèi)星壽命較短，建成之后又不能及時進行補網(wǎng)衛(wèi)星發(fā)射，導(dǎo)致在軌可用衛(wèi)星少。GLONASS的發(fā)展大致可分為兩個階段。二十多年來，經(jīng)過不斷改進，GPS衛(wèi)星的壽命得到不斷的延長，抗干擾能力和導(dǎo)航精度不斷提高，并增強了地面站的保密性能及星間鏈路安全性。美國的全球定位系統(tǒng)GPS在20世紀60年代末開始研發(fā)。通過接收至少4顆衛(wèi)星不間斷發(fā)送自身星歷參數(shù)和時間信息，對地面目標進行精確定位，從而可以有效地對目標運動軌跡進行跟蹤和定位。本論文針對固定參照物視場變動模式下運動目標軌跡提取問題進行深入研究，設(shè)計開發(fā)了基于視頻圖像序列的運動目標軌跡提取系統(tǒng)；提出了成像系統(tǒng)外參實時校正算法、多目標優(yōu)化特征提取算法，有效的解決了累積誤差較大、坐標計算精度低等問題，實現(xiàn)了運動目標軌跡的精確測算。固定視場內(nèi)參照物運動方式中，相機及其視野固定，對視野內(nèi)的運動目標進行跟蹤檢測，具有空間和時間上的區(qū)域限制，僅能得到固定區(qū)域、固定時間段中的目標運動軌跡；變化視場內(nèi)參照物運動是對固定視場方式的一種改進，通過云臺等多維運動系統(tǒng)實現(xiàn)相機視野的變化，能夠拓展運動目標跟蹤的范圍和時間得到擴展，但是由于鏡頭等光學(xué)器件的限制，當(dāng)運動目標超出一定范圍則無法成像或成像目標體的“點化”現(xiàn)象；固定參照物視場變動模式下，相機視野隨運動目標的運動變化，利用相鄰兩幀圖像中的固定參照物的空間位置不變特性實現(xiàn)運動目標的軌跡計算，此類方法不受相機視野的限制，能夠有效地提高運動體軌跡提取的作用范圍，但是要求相鄰兩幀之間必須具有一定的重復(fù)。因此無論在民用上還是在軍事領(lǐng)域中，該技術(shù)的研究都具有較強的理論意義和研究價值。目標運動軌跡是反映一段時間內(nèi)目標的運動路線，它的精確提取能夠?qū)崿F(xiàn)測量和分析目標的運動參數(shù)、運動行為評估等。本論文針對固定參照物視場變動模式下運動目標軌跡提取問題進行深入研究，設(shè)計開發(fā)了基于視頻圖像序列的目標運動軌跡提取系統(tǒng)，針對目標在運動過程中的姿態(tài)變化導(dǎo)致的相機坐標系變化問題，提出了成像系統(tǒng)外參實時校正方法，通過陀螺儀獲取的數(shù)據(jù)和空間坐標系變換關(guān)系對相機姿態(tài)角參數(shù)實時校正；針對SIFT特征匹配算法中的歐式距離無法自適應(yīng)調(diào)節(jié)問題，提出了多目標優(yōu)化的SIFT特征匹配算法，建立了以相關(guān)系數(shù)和特征點之間的歐氏距離為目標函數(shù)，以置信度為約束條件的多目標優(yōu)化模型，減少了特征點的誤配率；最后通過車載CCD實驗對系統(tǒng)功能和精度進行驗證，數(shù)據(jù)表明該系統(tǒng)能夠精確的實現(xiàn)運動目標的軌跡測量，并具有較強的適應(yīng)性和可靠性。固定參照物視場變動模式的軌跡測量技術(shù)要求相鄰兩幀之間必須具有一定的重復(fù)。摘要基于視頻圖像序列的目標運動軌跡提取技術(shù)是已經(jīng)成為精確制導(dǎo)武器的關(guān)鍵技術(shù)之一，能夠提高武器打擊精度及力度；同時更能體現(xiàn)目標跟蹤監(jiān)控系統(tǒng)的智能化和自動化。而在眾多模式下的基于視頻圖像序列的軌跡提取技術(shù)中，基于固定參照物視場變動模式的軌跡測量技術(shù)不受相機視野限制，能夠有效地擴大目標跟蹤范圍，更有著重要的研究意義和工程應(yīng)用價值。由于運動目標瞬時空間位置坐標是通過相對前一時刻空間位置坐標的相對變化得到，因此存在軌跡計算的累積誤差較大的問題，同時由于目標體運動過程中的姿態(tài)變化、參照環(huán)境的復(fù)雜性等因素，導(dǎo)致軌跡計算的精度很難得到保證。 1緒論 基于視頻圖像序列的目標運動軌跡提取技術(shù)是動態(tài)視覺領(lǐng)域中一個具有重要意義和實際價值的研究課題。在軍事領(lǐng)域中，該技術(shù)已經(jīng)成為精確制導(dǎo)武器的一項關(guān)鍵技術(shù)，它能夠有效地提高武器的打擊精度，強化武器的打擊力度；同時在民用領(lǐng)域，以該技術(shù)為基礎(chǔ)建立的人機交互系統(tǒng)，能夠?qū)崿F(xiàn)運動目標的智能跟蹤、行為監(jiān)管等，真正地體現(xiàn)運動目標監(jiān)控系統(tǒng)的自動化和智能化。目前基于視頻圖像序列的目標運動軌跡提取技術(shù)根據(jù)相機視場和參照物的不同可分為固定視場內(nèi)參照物運動、變化視場內(nèi)參照物運動和固定參照物視場變動情況下的運動目標跟蹤及軌跡檢測。由于運動目標瞬時空間位置坐標是通過相對前一時刻空間位置坐標的相對變化得到，因此存在軌跡計算的累積誤差較大的問題，同時由于目標體運動過程中的姿態(tài)變化、參照環(huán)境的復(fù)雜性等因素，導(dǎo)致軌跡計算的精度很難得到保證。隨著科學(xué)技術(shù)的不斷進步，衛(wèi)星定位導(dǎo)航系統(tǒng)與計算機視覺技術(shù)相結(jié)合在目標運動軌跡跟蹤提取領(lǐng)域得到了廣泛的應(yīng)用。目前，可實用的衛(wèi)星導(dǎo)航系統(tǒng)有美國全球衛(wèi)星定位導(dǎo)航系統(tǒng)(GPS)、前蘇聯(lián)的全球?qū)Ш叫l(wèi)星系統(tǒng)(GLONASS)、歐洲“伽利略”以及我國自主研發(fā)的“北斗”衛(wèi)星導(dǎo)航系統(tǒng)。1978年發(fā)射第一顆衛(wèi)星，迄今共經(jīng)歷了在軌驗證試驗的第一代GPS1和實用組網(wǎng)的第二代GPSGPS2A、GPS2R、GPS2F等不斷改進的型號。美國的GPS系統(tǒng)無論在軍事還是民用方面都對全球產(chǎn)生了重大影響；俄羅斯全球?qū)Ш较到y(tǒng)GLONASS是一個由俄軍方控制使用的全球衛(wèi)星導(dǎo)航系統(tǒng)，1982年開始正式發(fā)展，1996年宣布建成。第一階段是1982至1985年的試驗階段，共發(fā)射11顆第一代試驗衛(wèi)星；第二階段是1985年至1995年的部署階段，共發(fā)射57顆三種型號的衛(wèi)星，使系統(tǒng)達到滿星座運行。GLONASS的應(yīng)用普及遠遠不及GPS；1992年2月10日歐盟執(zhí)行機構(gòu)歐洲委員會公布了歐洲導(dǎo)航衛(wèi)星系統(tǒng)Galileo計劃。2003年5月26日，歐空局15個成員國就聯(lián)合開發(fā)Galileo系統(tǒng)達成協(xié)議，解決了阻礙Galileo計劃順利實施的投資與利益分配問題。我國在2000年首先建成北斗導(dǎo)航試驗系統(tǒng)。2010年1月17日，成功將第三顆北斗導(dǎo)航衛(wèi)星送入預(yù)定軌道。自從衛(wèi)星導(dǎo)航定位系統(tǒng)投入運行以來，其應(yīng)用領(lǐng)域不斷擴展，應(yīng)用潛力也不斷得到開發(fā)。對衛(wèi)星定位導(dǎo)航系統(tǒng)中定位精度較高的GPS而言，GPS衛(wèi)星的空間幾何分布也會對定位精度產(chǎn)生一定程度的影響。消除定位精度帶來的影響一般是采用差分GPS，實時差分GPS (DGPS)定位的精度可以達到2 m5 m。但是，在一些特殊的應(yīng)用領(lǐng)域，如目標運動軌跡精確提取、測繪、地震監(jiān)測、飛機進場著陸以及其他精密測量領(lǐng)域，要求達到分米級、厘米級甚至毫米級的精度，普通差分GPS就不能滿足要求了。 由于上述原因，使用衛(wèi)星定位導(dǎo)航系統(tǒng)無法精確地對目標的運動軌跡進行測算和提取，必須增加其他約束條件，但都需要很高的成本。目前該技術(shù)根據(jù)相機視場和參照物的不同可分為固定視場內(nèi)參照物運動、變化視場內(nèi)參照物運動和固定參照物視場變動情況下的運動目標跟蹤及軌跡檢測。目標跟蹤的基本概念首先是由Wax在1955年提出的；1964年，Sittler在包括數(shù)據(jù)關(guān)聯(lián)等內(nèi)容的多目標跟蹤理論方面取得了突破性進展。有26個高校公司參與了該項目。在國內(nèi)，對于這兩種情況的軌跡提取技術(shù)的研究研究起步較晚，發(fā)展水平相對較低。2002年劉永信等人探討了基于Kalman濾波理論的漸消記憶遞歸最小二乘法在重建圖像背景中的應(yīng)用；同年，張輝等人研究了如何實現(xiàn)出格點檢測和聚類自動檢測；1999年王栓等介紹了一種基于差分圖像的運動目標檢測算法，檢測結(jié)果是符號化了的圖像，其中運動目標由外接矩形表示，然后根據(jù)連續(xù)性約束假設(shè)，實現(xiàn)了運動目標的跟蹤；2003年隋曄等講述了交通監(jiān)控系統(tǒng)中應(yīng)用視頻圖像流來跟蹤運動目標并對目標進行分類的具體過程和原則，基于目標檢測提出了雙差分的目標檢測算法，目標分類應(yīng)用到了連續(xù)時間限制和最大估計的原則。如：美國MIT的Lincoln實驗室自90年代以來，在航拍圖像處理方面做了大量的工作，他們綜合利用高分辨率多極化航拍圖像的多種特征進行目標的自動識別，因其高分辨率的數(shù)據(jù)特性，可采用二維匹配的方法確定目標的位置及方位角，最后采用盒維數(shù)對目標進行檢測、跟蹤。國內(nèi)發(fā)展也較快，已經(jīng)有很多研究機構(gòu)投入到航拍圖像分析研究中，中北大學(xué)、國防科技大學(xué)、東南大學(xué)以及中國科學(xué)院電子學(xué)研究所38所等單位一直在積極開展固定參照物視場變動情況下的圖像跟蹤、檢測方面的研究。這是因為在軌跡測算過程，需要解決相機視場中相對位置精確提取，相機的瞬時姿態(tài)校正、軌跡誤差累積消除等關(guān)鍵技術(shù)。本課題來源于中北大學(xué)申請的山西省自然基金“基于時、空圖像信息融合的三維測量技術(shù)（基金號2007012003）”。 本文在深入研究圖像的時、空信息的基礎(chǔ)上，組建了基于視頻圖像序列的目標運動軌跡提取系統(tǒng)。具體研究內(nèi)容如下：第一章介紹了課題的研究背景、目的和意義，綜述了目標軌跡提取的研究現(xiàn)狀，然后對基于GPS 的目標運動軌跡提取技術(shù)和基于圖像的目標運動軌跡跟蹤技術(shù)的兩種形式分別做了介紹。第二章在了解了本課題的研究目的和應(yīng)用背景的基礎(chǔ)上，組建了目標運動軌跡提取系統(tǒng)。然后分別詳述了視頻采集子系統(tǒng)、相機姿態(tài)實時獲取子系統(tǒng)、光照自適應(yīng)子系統(tǒng)以及詳細說明了各個子系統(tǒng)之間的關(guān)系和功能，為后面章節(jié)中的算法模型建立和實驗驗證提供了可靠的系統(tǒng)平臺。首先分析了相機成像模型和相機參數(shù)標定方法，然后利用兩步法對相機參數(shù)進行標定。第四章針對基于多目標優(yōu)化SIFT特征匹配算法，研究了多目標優(yōu)化理論及優(yōu)化模型的構(gòu)建，建立了以相關(guān)系數(shù)和特征點之間的歐氏距離為目標函數(shù)，以置信度為約束條件的多目標優(yōu)