【正文】 其中為曝光時(shí)間，為曝光量調(diào)節(jié)函數(shù)，為灰度均值，為單個(gè)像素灰度值，M為曝光量調(diào)節(jié)所針對(duì)的圖像區(qū)域像素個(gè)數(shù)。 光照調(diào)節(jié)模塊在目標(biāo)運(yùn)動(dòng)軌跡提取過程中，外界光線的變化和地面圖像本身特征點(diǎn)不明顯的各種因素，可能對(duì)圖像的采集結(jié)果產(chǎn)生影響，以至于在后續(xù)圖像處理過程中的特征點(diǎn)提取、圖像匹配以及軌跡提取的精度環(huán)節(jié)造成較大誤差。但是僅僅通過圖像序列之間的相互關(guān)系無法精確且實(shí)時(shí)獲取相機(jī)的運(yùn)動(dòng)姿態(tài)。因此，如果將以太網(wǎng)引入視頻圖像存儲(chǔ)系統(tǒng)，可以保證通過圖像實(shí)時(shí)記錄高速運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)規(guī)律，既而為高速運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)測量、跟蹤、制導(dǎo)提供可靠的數(shù)據(jù)支撐。USB總線帶有5V的電源線和地線，USB設(shè)備可以從系統(tǒng)總線上獲得+5V、小于等于500mA總線供電，因而，在USB設(shè)備設(shè)計(jì)時(shí)可選擇采用總線供電或外接電源。②USB視頻采集USB總線即通用串行總線。作為一種固體成像器件，CCD具有以下特點(diǎn)：體積小、重量輕、電壓及功耗低、可靠性高、壽命長等一系列優(yōu)點(diǎn)；且具有很高的空間分辨力、光敏元間距的幾何尺寸精確、可以獲得很高的定位精度和測量精度；具有較高的光電靈敏度和大的動(dòng)態(tài)范圍；數(shù)據(jù)速率可調(diào)，可適用于動(dòng)態(tài)與靜態(tài)等各種條件下的測量。 系統(tǒng)硬件組成系統(tǒng)的軟件組成主要分為三個(gè)軟件處理模塊：視頻采集模塊（CCD成像系統(tǒng)和圖像采集）、目標(biāo)姿態(tài)實(shí)時(shí)獲取模塊、光照調(diào)節(jié)模塊以及圖像處理模塊（包括圖像預(yù)處理、特征點(diǎn)提取以及目標(biāo)匹配）。然后分別詳述了視頻采集子系統(tǒng)、相機(jī)姿態(tài)實(shí)時(shí)獲取子系統(tǒng)、光照自適應(yīng)子系統(tǒng)以及詳細(xì)說明了各個(gè)子系統(tǒng)之間的關(guān)系和功能，為后面章節(jié)中的算法模型建立和實(shí)驗(yàn)驗(yàn)證提供了可靠的系統(tǒng)平臺(tái)。本課題來源于中北大學(xué)申請(qǐng)的山西省自然基金“基于時(shí)、空?qǐng)D像信息融合的三維測量技術(shù)（基金號(hào)2007012003）”。2002年劉永信等人探討了基于Kalman濾波理論的漸消記憶遞歸最小二乘法在重建圖像背景中的應(yīng)用；同年，張輝等人研究了如何實(shí)現(xiàn)出格點(diǎn)檢測和聚類自動(dòng)檢測；1999年王栓等介紹了一種基于差分圖像的運(yùn)動(dòng)目標(biāo)檢測算法，檢測結(jié)果是符號(hào)化了的圖像，其中運(yùn)動(dòng)目標(biāo)由外接矩形表示，然后根據(jù)連續(xù)性約束假設(shè)，實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的跟蹤；2003年隋曄等講述了交通監(jiān)控系統(tǒng)中應(yīng)用視頻圖像流來跟蹤運(yùn)動(dòng)目標(biāo)并對(duì)目標(biāo)進(jìn)行分類的具體過程和原則，基于目標(biāo)檢測提出了雙差分的目標(biāo)檢測算法，目標(biāo)分類應(yīng)用到了連續(xù)時(shí)間限制和最大估計(jì)的原則。目前該技術(shù)根據(jù)相機(jī)視場和參照物的不同可分為固定視場內(nèi)參照物運(yùn)動(dòng)、變化視場內(nèi)參照物運(yùn)動(dòng)和固定參照物視場變動(dòng)情況下的運(yùn)動(dòng)目標(biāo)跟蹤及軌跡檢測。對(duì)衛(wèi)星定位導(dǎo)航系統(tǒng)中定位精度較高的GPS而言，GPS衛(wèi)星的空間幾何分布也會(huì)對(duì)定位精度產(chǎn)生一定程度的影響。2003年5月26日，歐空局15個(gè)成員國就聯(lián)合開發(fā)Galileo系統(tǒng)達(dá)成協(xié)議，解決了阻礙Galileo計(jì)劃順利實(shí)施的投資與利益分配問題。1978年發(fā)射第一顆衛(wèi)星，迄今共經(jīng)歷了在軌驗(yàn)證試驗(yàn)的第一代GPS1和實(shí)用組網(wǎng)的第二代GPSGPS2A、GPS2R、GPS2F等不斷改進(jìn)的型號(hào)。目前基于視頻圖像序列的目標(biāo)運(yùn)動(dòng)軌跡提取技術(shù)根據(jù)相機(jī)視場和參照物的不同可分為固定視場內(nèi)參照物運(yùn)動(dòng)、變化視場內(nèi)參照物運(yùn)動(dòng)和固定參照物視場變動(dòng)情況下的運(yùn)動(dòng)目標(biāo)跟蹤及軌跡檢測。而在眾多模式下的基于視頻圖像序列的軌跡提取技術(shù)中，基于固定參照物視場變動(dòng)模式的軌跡測量技術(shù)不受相機(jī)視野限制，能夠有效地?cái)U(kuò)大目標(biāo)跟蹤范圍，更有著重要的研究意義和工程應(yīng)用價(jià)值。目標(biāo)運(yùn)動(dòng)軌跡是反映一段時(shí)間內(nèi)目標(biāo)的運(yùn)動(dòng)路線，它的精確提取能夠?qū)崿F(xiàn)測量和分析目標(biāo)的運(yùn)動(dòng)參數(shù)、運(yùn)動(dòng)行為評(píng)估等。通過接收至少4顆衛(wèi)星不間斷發(fā)送自身星歷參數(shù)和時(shí)間信息，對(duì)地面目標(biāo)進(jìn)行精確定位，從而可以有效地對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行跟蹤和定位。但GLONASS衛(wèi)星壽命較短，建成之后又不能及時(shí)進(jìn)行補(bǔ)網(wǎng)衛(wèi)星發(fā)射，導(dǎo)致在軌可用衛(wèi)星少。根據(jù)系統(tǒng)建設(shè)總體規(guī)劃，2012年左右，系統(tǒng)將首先具備覆蓋亞太地區(qū)的定位、導(dǎo)航和授時(shí)以及短報(bào)文通信服務(wù)能力；2020年左右，建成覆蓋全球的北斗衛(wèi)星導(dǎo)航系統(tǒng)。另一方面，有時(shí)由于道路兩旁地物特征復(fù)雜，又受高大建筑物、隧道、立交橋、樹木等地物的反射和遮蔽等影響，衛(wèi)星定位導(dǎo)航系統(tǒng)將產(chǎn)生盲區(qū)，影響目標(biāo)跟蹤及定位的精度。Berkelye 分校從上世紀(jì)90年代初開始對(duì)實(shí)時(shí)交通監(jiān)控方面進(jìn)行研究，在運(yùn)動(dòng)物體分割、運(yùn)動(dòng)物體跟蹤、遮擋處理等技術(shù)方面的研究上取得了一定的成果，并發(fā)表了多篇相關(guān)科學(xué)研究論文。上述研究成果雖然能夠很好地實(shí)現(xiàn)固定參照物視場變動(dòng)情況下的目標(biāo)識(shí)別、跟蹤等圖像分析工作，但是很難實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的軌跡測算。最后提出了本文的研究內(nèi)容，確定了本文的研究方向。最后研究了實(shí)際運(yùn)動(dòng)軌跡提取并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。 視頻采集模塊（1）攝像機(jī)攝像機(jī)是監(jiān)控系統(tǒng)的重要部件。（2）圖像數(shù)據(jù)采集模式①圖像采集卡圖像采集卡是視頻采集子系統(tǒng)的重要組成部分，其主要功能是對(duì)相機(jī)所輸出的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)的采集，并提供與PC的高速接口。在USB系統(tǒng)中，不同類型的USB設(shè)備使用相同的接口，因而用戶在連接時(shí)，不需要考慮連接接口的類型以及接口的硬件電氣特性。目前10Mbps的以太網(wǎng)已家喻戶曉，lOOMbps的快速以太網(wǎng)已開始廣泛應(yīng)用，1000Mbps以太網(wǎng)技術(shù)也已逐漸成熟，10Gbps以太網(wǎng)亦即將投入使用。此時(shí)反應(yīng)到圖像坐標(biāo)系中角度變化并不是實(shí)際的角度變化量，從而使得標(biāo)定后的相機(jī)參數(shù)及標(biāo)定坐標(biāo)系發(fā)生紊亂，影響后續(xù)軌跡測算的精度，最終導(dǎo)致空間坐標(biāo)系轉(zhuǎn)換以及軌跡提取產(chǎn)生誤差。它不僅可以全面地檢測到幾乎所有的運(yùn)動(dòng)參數(shù)，而且還有一個(gè)極大的優(yōu)點(diǎn)，陀螺儀是完全自主式的測量方法，它不依賴外部的光線，電磁波，聲音，磁場等等的外部信息來測量相機(jī)角運(yùn)動(dòng)，其工作完全不受自然的和人為的干擾影響。如果可以根據(jù)光線或者圖像序列灰度均值的變化情況自動(dòng)調(diào)節(jié)相機(jī)的曝光量，那么就可以達(dá)到較為滿意的曝光效果。此時(shí)可以通過安裝光源和遮光罩盡量使得光線變化趨于均勻和穩(wěn)定。它的正確選取對(duì)后續(xù)的圖像采集和目標(biāo)運(yùn)動(dòng)軌跡測算具有重要的影響。（1）CCD相機(jī)和鏡頭選擇相機(jī)距離地面的高度為100cm，采用16mm的鏡頭。C曝光方式幀曝光　　 相機(jī)鏡頭主要性能參數(shù)性能類型參數(shù)性能類型參數(shù)焦距16mm相對(duì)孔徑1/接口C尺寸1/2水平視場22176。相機(jī)參數(shù)的標(biāo)定精度、標(biāo)定速度以及標(biāo)定模型的可移植性直接決定著軌跡提取精度等。正交投影也稱為平行投影（parallel projection）,是實(shí)際圖像處理的一個(gè)近似方法。透視投影使用一種基于幾何光學(xué)原理的理想小孔（ideal pinhole）成像原理來描述二維圖像的形成。一個(gè)物體的三維空域位置變化可以用以下的仿射變換來表示： （）其中，和分別表示剛體外表面上的一個(gè)點(diǎn)在時(shí)刻和相對(duì)于坐標(biāo)中心的坐標(biāo)矢量。缺點(diǎn)是：未知數(shù)個(gè)數(shù)比較多，至少24個(gè)，存在過分參數(shù)化的傾向，圖像坐標(biāo)和實(shí)際坐標(biāo)間的變換是基于實(shí)驗(yàn)的，從而造成最終結(jié)果的不確定性。根據(jù)透視投影成像模型。由成像模型可知，基于RAC的標(biāo)定方法存在以下特點(diǎn)：1）徑向畸變不影響的方向。如果和同時(shí)都為0，則： 　　　　　　 （）如果和同時(shí)為0，則： 　　　　 （）其次，確定的符號(hào)。在下面的計(jì)算相機(jī)內(nèi)參數(shù)步驟之后，和的符號(hào)可能會(huì)有所變動(dòng)。 標(biāo)定點(diǎn)選擇：標(biāo)桿、平面模板、平面對(duì)折類模板等結(jié)構(gòu)信息精確確定的物體。標(biāo)定模塊的大小可根據(jù)實(shí)際情況選擇正方體的邊長來更改。坐標(biāo)系是描述運(yùn)動(dòng)體位置姿態(tài)和運(yùn)動(dòng)的參考基準(zhǔn)，相機(jī)在空間位置姿態(tài)的確定是依據(jù)坐標(biāo)系之間的相互轉(zhuǎn)換和測量加速度和角速率來實(shí)現(xiàn)的。當(dāng)角度變化=176。/s溫度傳感器刻度因子176。為了消除陀螺儀漂移誤差的不利影響，必須了解陀螺儀的性能指標(biāo)并在特定的實(shí)驗(yàn)條件下對(duì)陀螺儀的各項(xiàng)參數(shù)進(jìn)行測試。④試驗(yàn)結(jié)果與分析 。為兩幅相鄰幀圖像間采集時(shí)間間隔，當(dāng)陀螺儀開始獲取數(shù)據(jù)時(shí)，開始計(jì)時(shí)，即表示當(dāng)前幀圖像與前一幀圖像獲取的時(shí)間差。(3) 圖像坐標(biāo)系分為圖像象素坐標(biāo)系和圖像物理坐標(biāo)系兩種：圖像物理坐標(biāo)系：其原點(diǎn)為透鏡光軸與成像平面的交點(diǎn)，與軸分別平行于相機(jī)坐標(biāo)系的與軸，是平面直角坐標(biāo)系，單位為毫米。在通常情況下，由于目標(biāo)運(yùn)動(dòng)模型的參數(shù)是定義在不同坐標(biāo)系上的，那么在建模過程中通過坐標(biāo)變換進(jìn)行向量的投影分解是不可避免的。世界坐標(biāo)系中的點(diǎn)到載體坐標(biāo)系的變換可由一個(gè)正交變換矩陣R表示： 則世界坐標(biāo)系與載體坐標(biāo)系的變換關(guān)系： （）上式即為，其中，分別為目標(biāo)的偏航角、滾轉(zhuǎn)角以及俯仰角。 本章小結(jié)在分析了系統(tǒng)組成的基礎(chǔ)上，研究了相機(jī)參數(shù)標(biāo)定及姿態(tài)校正技術(shù)，首先分析了相機(jī)成像模型和相機(jī)參數(shù)標(biāo)定方法，利用兩步法進(jìn)行相機(jī)標(biāo)定并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。該算法是在SIFT特征匹配的基礎(chǔ)上，利用多目標(biāo)優(yōu)化算法，建立特征匹配的多目標(biāo)優(yōu)化模型，利用給定同一場景的兩幅圖像，根據(jù)兩幅地面圖像模板之間的相互關(guān)系建立目標(biāo)函數(shù)，利用特征點(diǎn)間的歐氏距離作為兩幅圖像中特征點(diǎn)的相似判定準(zhǔn)則，同時(shí)以最近鄰與次緊鄰的比值作為約束條件，剔除一些誤匹配點(diǎn)，提高圖像特征匹配精度。 為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點(diǎn)，提出了高斯差分尺度空間（DOG），利用不同尺度的高斯核差分與圖像卷積生成[26]。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在尺度。多目標(biāo)優(yōu)化的圖像處理問題是通過調(diào)節(jié)多個(gè)目標(biāo)之間的權(quán)衡問題，使在一定的約束條件下同時(shí)達(dá)到最優(yōu)，以此來減小圖像處理領(lǐng)域中的一些誤操作，如：增強(qiáng)、匹配、識(shí)別等。SIFT算法檢測的點(diǎn)特征是圖像的局部特征，該特征對(duì)平移、旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變化、噪聲也保持一定程度的穩(wěn)定性和適應(yīng)性，而且就算是信息量較少的圖像也能提取大量的SIFT特征點(diǎn)。用最近鄰與次緊鄰比值來進(jìn)行特征點(diǎn)的匹配可以取得很好的效果，從而達(dá)到穩(wěn)定的匹配。一般地， 相關(guān)系數(shù)在本文中表示相鄰幀圖像中相關(guān)程度。②約束條件 ()其中，是特征點(diǎn)與另一幅圖像中特征點(diǎn)的最近距離，是特征點(diǎn)與另一幅圖像中的特征點(diǎn)的次近距離。但是由于圖像間存在不重疊的部分，這些區(qū)域中的特征點(diǎn)在另一幅圖像中并沒有與之對(duì)應(yīng)的特征點(diǎn)存在，但是未作改進(jìn)的SIFT算法仍然會(huì)提取出錯(cuò)誤的匹配點(diǎn)對(duì)。（1）檢測算法對(duì)光照變化的適應(yīng)能力分別采集了同一場景不同光照條件下的兩幅圖像進(jìn)行特征匹配，檢驗(yàn)本文算法對(duì)于光照變化的適應(yīng)性。③圖像坐標(biāo)系和目標(biāo)坐標(biāo)系之間的關(guān)系在系統(tǒng)運(yùn)行時(shí)進(jìn)行了相應(yīng)的標(biāo)定。為了進(jìn)一步驗(yàn)證本文軌跡提取的精度優(yōu)勢，將相機(jī)固定在車上，讓車沿一條斜線行駛，車身方向行駛80m，車身垂直方向行駛1m，經(jīng)本系統(tǒng)軌跡提取后。為了進(jìn)一步體現(xiàn)本系統(tǒng)提取目標(biāo)運(yùn)動(dòng)軌跡的精度，下面針對(duì)皮卡車的曲線行駛以及直角彎行駛做實(shí)際運(yùn)動(dòng)軌跡提取實(shí)驗(yàn)并進(jìn)行結(jié)論分析。由上述實(shí)驗(yàn)可以看出，基于視頻圖像序列的目標(biāo)運(yùn)動(dòng)軌跡提取系統(tǒng)在目標(biāo)運(yùn)動(dòng)軌跡的測算和提取上具有較高的精度，無論目標(biāo)直行還是拐彎或者隨意行駛，本系統(tǒng)在目標(biāo)運(yùn)動(dòng)軌跡測算和提取具有較高的精度。經(jīng)仿真實(shí)驗(yàn)驗(yàn)證該算法可以有效地提高圖像特征匹配精度，具有較好的魯棒性和可靠性，為后續(xù)的工作奠定了理論基礎(chǔ)。最后研究了實(shí)際運(yùn)動(dòng)軌跡提取并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。本系統(tǒng)在皮卡車的運(yùn)動(dòng)起始點(diǎn)開始實(shí)時(shí)采集圖像并計(jì)算其運(yùn)動(dòng)軌跡，并將提取出的運(yùn)動(dòng)軌跡曲線進(jìn)行畸點(diǎn)平滑。 實(shí)際的目標(biāo)軌跡圖示 實(shí)際運(yùn)動(dòng)軌跡提取實(shí)驗(yàn)分析基于視頻圖像序列的目標(biāo)運(yùn)動(dòng)軌跡提取系統(tǒng)具備圖像采集、圖像處理、目標(biāo)軌跡提取以及數(shù)據(jù)存儲(chǔ)的功能。 車行軌跡圖示如圖所示，設(shè)運(yùn)動(dòng)目標(biāo)從點(diǎn)出發(fā)至某點(diǎn)，中間采集到了幀圖像，通過對(duì)這幀圖像進(jìn)行特征提取和特征匹配，提取目標(biāo)在兩幀圖像之間所運(yùn)動(dòng)的圖像坐標(biāo)系中的X軸和Y軸的變化量和及行駛變化方向，然后通過空間坐標(biāo)系的變化，最終由式（）可以得出。 （3）檢測算法對(duì)縮放變化的適應(yīng)能力 分別采集了同一場景不同焦距條件下的圖像，檢驗(yàn)本文算法對(duì)于縮放的適應(yīng)能力。，不同光照和不同拍攝角度條件下的圖像匹配結(jié)果圖。由此得到如下多目標(biāo)模型： （）③模型求解對(duì)于上述多目標(biāo)優(yōu)化模型，論文采用線性加權(quán)法進(jìn)行求解。（3）置信度置信（Confidence）廣義上講指的是正確的概率，置信度（Confidence measures）是評(píng)價(jià)這種概率的一種量度，表示某一事件的可靠程度。其定義如下： （）其中，是特征點(diǎn)的歐氏距離。則單獨(dú)采用SIFT特征匹配技術(shù)無法實(shí)現(xiàn)路面圖像的高精度匹配，為此考慮將多目標(biāo)優(yōu)化理論引入SIFT特征匹配，降低路面圖像的誤匹配率。 對(duì)于，如果滿足下式，則稱向量為Pareto優(yōu)解。直方圖的峰值代表該關(guān)鍵點(diǎn)的鄰域梯度方向，即作為該關(guān)鍵點(diǎn)的方向。 圖像金字塔的構(gòu)建：下一組圖像是由上一組圖像降采樣得到。是一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子SIFT算子。4 目標(biāo)運(yùn)動(dòng)軌跡提取算法相機(jī)固定在運(yùn)動(dòng)目標(biāo)體上，如果相機(jī)的采集速率足夠快，即能保證兩幀圖像之間存在一定的重合區(qū)域，通過提取這個(gè)重合區(qū)域在圖像坐標(biāo)系下的變化規(guī)律，再根據(jù)系統(tǒng)標(biāo)定結(jié)果以及相機(jī)姿態(tài)實(shí)時(shí)校正系統(tǒng)，利用相對(duì)測距法可以實(shí)現(xiàn)目標(biāo)運(yùn)動(dòng)軌跡的精確提取。由于相機(jī)是固定在運(yùn)動(dòng)目標(biāo)上的，其相對(duì)位置及拍攝方向，在目標(biāo)行駛過程中是保持不變的。相機(jī)的運(yùn)動(dòng)參數(shù)1）、姿態(tài)角俯仰角：相機(jī)坐標(biāo)系軸與水平面夾角，抬頭為正。（4）載體坐標(biāo)系：載體坐標(biāo)系是固連在載體上的坐標(biāo)系，假設(shè)OXYZ是載體坐標(biāo)系，由于它與運(yùn)動(dòng)物體固連在一起，因此載體坐標(biāo)系的中心通常都取在目標(biāo)的重心處，OX軸沿載體向前，OY軸沿載體向右，OZ軸垂直于OXY面并且與X、Y、Z軸構(gòu)成右手坐標(biāo)系。 由上式可知，陀螺儀的輸出信息以脈沖數(shù)的形式表達(dá)出來。 零偏穩(wěn)定性Bs：當(dāng)輸入角速率為零時(shí)，衡量陀螺儀輸出量圍繞其均值的離散程度。啟動(dòng)時(shí)間35ms刻度因數(shù)177。 針