【正文】 一壓縮編碼的技術(shù)難點(diǎn)在于如何在任意場景下實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的自動(dòng)提取與分割，而這些問題也正是目標(biāo)檢測與跟蹤所要解決的關(guān)鍵 問題。 4 智能交通系統(tǒng)是目前世界各國交通運(yùn)輸領(lǐng)域競相研究和開發(fā)的熱點(diǎn)。中國在北京申奧成功后，為解決北京市的交通狀況，政府也在智能交通的研究上加大了投入力度。車輛的實(shí)時(shí)檢測與跟蹤技術(shù)是智能交通系統(tǒng)的重要技術(shù)之一，計(jì)算機(jī)在不需要人的干預(yù)，或者只需要很少人干預(yù)的情況下，通過對攝像機(jī)拍錄的視頻序列進(jìn)行分析，實(shí)現(xiàn)車輛檢測與跟蹤，并在此基礎(chǔ)上分析和判斷車輛的行為，對車輛的行為給出語義描述，做到了既能完成日常管理，又能在發(fā)生異常情況時(shí)及時(shí)做出反應(yīng)，從而提供了一種更加先進(jìn)和可行的監(jiān)控方案。 目 前鍵盤和鼠標(biāo)是我們和計(jì)算機(jī)交互的接口方式，我們希望有更簡潔的、智能化和人性化的人機(jī)交互方式。計(jì)算機(jī)無接觸式地收集人類在計(jì)算機(jī)前的視頻信號，利用計(jì)算機(jī)視覺的相關(guān)理論分析視頻信號，做到分辨人類的動(dòng)作，明白人類的意圖，即我們希望計(jì)算機(jī)能盡可能地“理解”我們。近些年的工作主要集中在姿態(tài)分析，面部表情及其它的運(yùn)動(dòng) ，以便計(jì)算機(jī)能夠識別和理解這些動(dòng)作。這也是智能機(jī)器人研究的重點(diǎn)。 此外，目標(biāo)跟蹤在基于視覺的控制、農(nóng)業(yè)自動(dòng)化、醫(yī)學(xué)圖像、視覺重構(gòu)等領(lǐng)域均有應(yīng)用。而目標(biāo)跟蹤處于整個(gè)計(jì)算機(jī)視覺系統(tǒng)的底層，是各種后續(xù)高級處理如：目 標(biāo)分類、行為理解等的基礎(chǔ)，因而目標(biāo)跟蹤具有非常重要的研究價(jià)值 [3]。 隨著科技的發(fā)展和社會(huì)的進(jìn)步，人們對信息的需求越來越多，要求也越來越高。據(jù)統(tǒng)計(jì)，普通人所感受的外界信息 80％以上來自視覺。普通人雙眼正常有效視角大約為水平 90 度、垂直 70 度，而全景技術(shù)則可以同時(shí)顯示比人眼視角范圍大得多的場景，因此，能提供更豐富的信息及感官刺激，具有普通視圖所無法比擬的研究和應(yīng)用價(jià)值。 全景作為一種方興未艾的技術(shù)，能擴(kuò)大視角、在同一時(shí)刻顯示大范圍場景信息，在衛(wèi)星航拍、視頻會(huì)議、場景監(jiān)控、交通導(dǎo)航、虛擬現(xiàn)實(shí)、攝影等多種科研、商 業(yè)及藝術(shù)領(lǐng)域具有廣泛的應(yīng)用前景。 目前，對于靜態(tài)全景圖像，除少數(shù)應(yīng)用中采用超廣角鏡頭或魚眼鏡頭直接拍攝外，主要采用圖像拼接及融合等軟件算法來實(shí)現(xiàn)。對于動(dòng)態(tài)視頻，則主要依靠特殊的硬件系統(tǒng)：一種方案是采用快球系統(tǒng)，另一種方案是采用配有全景鏡頭的專業(yè)攝像系統(tǒng)。 5 國內(nèi)外研究現(xiàn)狀 目標(biāo)跟蹤問題是隨著計(jì)算機(jī)技術(shù)的發(fā)展而逐漸成為研究熱點(diǎn)的。二十世紀(jì)80年代以前，由于計(jì)算機(jī)技術(shù)的限制，對圖像的處理與分析主要以靜態(tài)圖像為主，在動(dòng)態(tài)圖像序列的分析中，對運(yùn)動(dòng)目標(biāo)的跟蹤帶有很強(qiáng)的靜態(tài)圖像分析的特點(diǎn)。二十世紀(jì) 80年代初光流法 (Optical Flow)被提出之后，動(dòng)態(tài)圖像序列分析進(jìn)入了 — 個(gè) 研究的高潮，其中對光流法的研究熱潮從其產(chǎn)生一直持續(xù)到了二十世紀(jì)90年代中期 [4]。但是， 即使在現(xiàn)階段，光流法所需的運(yùn)算量對計(jì)算機(jī)而言也是很大的，很難滿足實(shí)時(shí)性要求，同時(shí)由于采用假設(shè)的局限性使得光流法對噪聲特別敏感， 很容易產(chǎn)生錯(cuò)誤的結(jié)果，這些缺點(diǎn)造成光流法與實(shí)際使用之間還存在著很大的距離。從二十世紀(jì) 80年代之后，還出現(xiàn)了其他眾多的目標(biāo)跟蹤算法。例如：1998 年， Michael Isare和 Andrew Black 提出的 Condensation 算法，首次將粒子濾波的思想應(yīng)用到視頻序列目標(biāo)跟蹤當(dāng)中； 2021 年 Comaniciu 等 提出的Meanshift 跟蹤框架，理論嚴(yán)謹(jǐn)，計(jì)算復(fù)雜度低， 因此 成為目標(biāo)跟蹤算法的研究熱點(diǎn)。 就研究現(xiàn)狀來看，國外對基于視頻的目標(biāo)檢測與跟蹤的理論研究及應(yīng)用研究起步較早，尤其在美國、英國等國家已經(jīng)開展 了大量相關(guān)項(xiàng)目的研究，并取得了一定的成果。 1997 年美國國防高級研究項(xiàng)目署設(shè)立了以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視頻監(jiān)控重大項(xiàng)目 VSAM(Visual Surveillance and Monitoring)， VSAM 的目標(biāo)是為未來城市和市場監(jiān)控應(yīng)用開發(fā)一種自動(dòng)視頻理解技術(shù)，用于實(shí)現(xiàn)未來戰(zhàn)爭只能夠人力監(jiān)控，費(fèi)用昂貴，非常危險(xiǎn)或者人力無法實(shí)現(xiàn)等場合下的監(jiān)控。 美國麻省理工學(xué)院在智能視頻監(jiān)控方面也進(jìn)行了深入的研究，開發(fā)的監(jiān)控系統(tǒng)已成功實(shí)現(xiàn)了對車輛和行人的檢測和跟蹤。 美國國際商用機(jī)器公司 (IBM)與美國馬里蘭大學(xué)聯(lián)合開發(fā)的 w4 (what， where，when， who)系統(tǒng)，主要用于對人體目標(biāo)的檢測和跟蹤，監(jiān)視目標(biāo)的活動(dòng)。不同于多數(shù)人體目標(biāo)跟蹤系統(tǒng)， M4 不采用顏色線索，而采用單目灰度或紅外攝像機(jī)作為視覺傳感器，以目標(biāo)形狀分析和跟蹤技術(shù)實(shí)現(xiàn)人體及其頭部、手部等定位，并對目標(biāo)外觀進(jìn)行建模，以便在目標(biāo)疊加或遮擋時(shí)依然能夠進(jìn) 行跟蹤 。 國內(nèi)這方面的研究較晚。為推動(dòng)我國在此國際前沿方向的研究，共同探討目 6 標(biāo)足艮蹤技術(shù)的發(fā)展動(dòng)態(tài)與趨勢，促進(jìn)我國科研人員在此領(lǐng)域的交流與合作，在中國科學(xué)院自動(dòng)化研究所、國家 863 計(jì)劃 計(jì)算機(jī)軟硬件技術(shù)主題、中國圖形圖像協(xié)會(huì)、國家自然科學(xué)基金委員會(huì)和中國自動(dòng)化協(xié)會(huì)的支持下，中科院自動(dòng)化研究所模式識別國家重點(diǎn)實(shí)驗(yàn)室已分別于 2021 年 5月和 2021 年 12月在北京承辦了兩屆“全國智能視頻監(jiān)控學(xué)術(shù)會(huì)議 ，來自全國各地高校、研究所、企事業(yè)單位的研究人員、專家學(xué)者們參加了學(xué)術(shù)會(huì)議，期間報(bào)告人和與會(huì)人員之間就目標(biāo)跟蹤領(lǐng)域中的理論、算法和應(yīng)用實(shí)例等一系列問題做了 廣泛 而深入的探討 [5]。 目前， 國內(nèi)的相關(guān)研究機(jī)構(gòu)中，中科院自動(dòng)化研究所下屬的模式識別國家重點(diǎn)實(shí)驗(yàn) 室成立的視頻監(jiān)控研究小組處于領(lǐng)先地位。該實(shí)驗(yàn) 室在交通場景的視頻監(jiān)控、入的運(yùn)動(dòng)視頻監(jiān)控和行為模式識別方面做了深入研究，并取得了一定的成果。模式識別實(shí)驗(yàn)室還與英國雷丁大學(xué)、法國波爾多第三大學(xué) EGID 研究所等多所國外研究機(jī)構(gòu)就相關(guān)項(xiàng)目的研究進(jìn)行交流與合作。除此之為，國內(nèi)一些高校，如：上海交通大學(xué)航空航天信息與控制研究所、華中科技大學(xué)圖像識別與人工智能研究所、西安電子科技大學(xué) ISN 國家重點(diǎn)實(shí)驗(yàn)室圖像傳輸與處理研究所等機(jī)構(gòu)都對該領(lǐng)域進(jìn)行了相關(guān)的研究。 基于計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)和圖像處理的全景技術(shù)興起于上世紀(jì)九十年代，最早是指單視點(diǎn)全景圖像，由一臺相機(jī)嚴(yán)格圍 繞光心旋轉(zhuǎn)所拍攝的圖像拼接而成。此后出現(xiàn)了條帶全景圖 (Strip Panorama)，由平移的相機(jī)連續(xù)拍攝普通窄視角圖像進(jìn)行拼接。例如，沿街拍攝一系列的水平圖像，處理后構(gòu)成類似清明上河圖的長街景觀，可應(yīng)用于網(wǎng)上虛擬旅游、數(shù)字地圖等場合。然而，這類技術(shù)都是針對靜態(tài)全景圖像的，算法復(fù)雜度較高，無法實(shí)現(xiàn)實(shí)時(shí)處理；并且由于是連續(xù)拍攝，處理前所有原始圖像已按序排好，即拼接時(shí)無需考慮圖像的相對位置；同時(shí)，由于相機(jī)的運(yùn)動(dòng)軌跡簡單，不同圖像間一般僅存在平移關(guān)系，故較容易進(jìn)行配準(zhǔn)。目前，這類技術(shù)已應(yīng)用到高端數(shù)碼相機(jī)中，可對用 戶拍攝的存在簡單平移關(guān)系的照片進(jìn)行自動(dòng)拼接。 對于實(shí)時(shí)視頻，則尚未有較好的全景合成技術(shù)。主要困難之一在于實(shí)時(shí)性的要求。眾所周知，正常視頻幀率一般為 25～ 30FPS，這意味著至少必須在 秒內(nèi)合成一幅全景幀，而現(xiàn)有的靜態(tài)全景圖像生成算法都無法做到這一點(diǎn)，因此無法直接應(yīng)用于視頻合成。而針對靜態(tài)全景圖像質(zhì)量的改進(jìn)算法也由于計(jì)算量太大無法用于處理視頻幀。所以，有些學(xué)者采用硬件方法來避免復(fù)雜的運(yùn)算。例如，A． Majumder 等人提出一種精心設(shè)計(jì)的攝像機(jī)組，各攝像機(jī)間保持虛擬的公共 7 投影中心，從而所有視頻幀可以通過簡單算法進(jìn)行配準(zhǔn)；同時(shí)這種特制的結(jié)構(gòu)可以在一定程度上避免視差，無需額外的修正算法。但從另一個(gè)角度看，這類技術(shù)極大地依賴于特制硬件結(jié)構(gòu)，因此不易推廣普及。 概述 計(jì)算機(jī)視覺研究 感覺是人的大腦與周圍世界聯(lián)系的窗口，它的任務(wù)是識別周圍的物體，并告訴人們這些物體之間的關(guān)系。對客觀世界與環(huán)境的認(rèn)識是人們的思維活動(dòng)基礎(chǔ)，而感覺則是外界客觀世界與人們對環(huán)境的認(rèn)識之間的橋梁，它使人們的思維與周圍世界建立某種對應(yīng)關(guān)系。在各種感覺中，視覺則是對人的智力產(chǎn)生影響的最重要的感覺，它是人的主要感覺來源，人類接受的 80%外界信息來自視覺。它是一種高度清晰的媒介，它提供關(guān)于外界世界中各種物體和事件的豐富信息。因此視覺是思維的一種最基本的工具。 計(jì)算機(jī)正在向智能化發(fā)展。讓機(jī)器像人一樣具有視覺是人類的一個(gè)夢想， 機(jī)器擁有視覺功能對世界產(chǎn)生的影響怎么估計(jì)大概都不為過?，F(xiàn)實(shí)世界中的物體都是三維的，而人眼所獲得的景物圖像是二維的，人類的視覺系統(tǒng)能從二維圖像中獲得三維信息，從而感知三維世界。但是讓機(jī)器擁有這樣的能力卻是一件很困難的事情。信號處理理論的發(fā)展和計(jì)算機(jī)的出現(xiàn)，似乎給人們提供了一條模擬人類視覺的可行之路：用攝像機(jī)獲取環(huán)境圖像并轉(zhuǎn)換成數(shù)字信號，用計(jì)算機(jī)通過數(shù)字圖像處理的方法模擬天類對視覺信息處理的全過程，一門新興的學(xué)科 — 計(jì)算機(jī)視覺由此而生。 計(jì)算機(jī)視覺既是工程領(lǐng)域，也是科學(xué)領(lǐng)域中的一個(gè)富有挑戰(zhàn)性的重要研究領(lǐng)域。計(jì)算機(jī) 視覺是一門綜合性的學(xué)科，它已經(jīng)吸引了來自各個(gè)學(xué)科的研究者參加到對它的研究之中。其中包括計(jì)算機(jī)科學(xué)和工程、信號處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)，神經(jīng)生理學(xué)和認(rèn)知科學(xué)等。 計(jì)算機(jī)視覺是各個(gè)應(yīng)用領(lǐng)域，如制造業(yè)、檢驗(yàn)、文檔分析、醫(yī)療診斷和軍事等領(lǐng)域中各種智能 /自主系統(tǒng)中不可分割的 — 部分。由于它的重要性，一些先進(jìn)國家，例如美國把對計(jì)算機(jī)視覺的研究列為對經(jīng)濟(jì)和科學(xué)有廣泛影響的科學(xué)之一，并把它作為工程中的重大基本問題，即所謂的重大挑戰(zhàn)。計(jì)算機(jī)視覺的挑戰(zhàn)是要為計(jì)算機(jī)和機(jī)器人開發(fā)具有與人類水平相當(dāng)?shù)囊曈X能力。計(jì)算機(jī)視覺需要圖像 信 8 號，紋理和顏色建模，幾何處理和推理，以及物體建模。一個(gè)有能力的視覺系統(tǒng)應(yīng)該把所有這些處理都緊密地集成在一起。作為一門學(xué)科，計(jì)算機(jī)視覺開始于60年代初，但在計(jì)算機(jī)視覺的基本研究中的許多重要進(jìn)展是在 80 年代取得的?，F(xiàn)在計(jì)算機(jī)視覺已成為一門不同于人工智能、圖像處理、模式識別等相關(guān)領(lǐng)域的成熟學(xué)科。計(jì)算機(jī)視覺與人類視覺密切相關(guān)，對人類視覺有一個(gè)正確的認(rèn)識將對計(jì)算機(jī)視覺的研究非常有益。 目標(biāo)跟蹤技術(shù)簡述 目標(biāo)跟蹤是計(jì)算機(jī)視覺中的經(jīng)典問題，是指計(jì)算機(jī)或其它儀器設(shè)備依據(jù)某種算法對目標(biāo)進(jìn)行跟蹤和定位，并根據(jù)目標(biāo)的位置和動(dòng)向采取相應(yīng)措施。其基本任務(wù)可簡述為在視頻序列中對感興趣的目標(biāo)或?qū)ο蟮奈恢玫冗\(yùn)動(dòng)特征進(jìn)行有效的確定和估計(jì)。 目標(biāo)跟蹤是一個(gè)應(yīng)用前景非常廣泛的技術(shù)。近幾年，目標(biāo)跟蹤廣泛應(yīng)用于監(jiān)控、視頻編碼以及軍工領(lǐng)域。 — 個(gè)普通的目標(biāo)跟蹤系統(tǒng)常常包括以下幾個(gè)環(huán)節(jié)：圖像采集、視頻圖像處理、數(shù)據(jù)通信、傳感控制和伺服系統(tǒng)等。圖像采集通過攝像機(jī)捕獲監(jiān)視場景的 光學(xué)圖像，采用視頻卡和視頻檢測技術(shù)，并通過 A/D轉(zhuǎn)換將視頻信號轉(zhuǎn)換成數(shù) 字圖像序列，為視頻圖像處理提供數(shù)據(jù)。傳感控制系統(tǒng)與伺服系統(tǒng)對傳感器進(jìn)行反饋控制，在主動(dòng)視覺系統(tǒng)中，驅(qū)動(dòng)云臺是使攝像機(jī)跟隨被跟蹤目標(biāo)運(yùn)動(dòng)。數(shù)據(jù)通信則是完成視頻圖像數(shù)據(jù)的傳輸和控制以及反饋信號的通信。 按不同標(biāo)準(zhǔn)可將目標(biāo)跟蹤問題分成很多類型：根據(jù)攝像機(jī)的數(shù)目可分為單攝像機(jī) 目標(biāo) 跟蹤和多攝像機(jī)目標(biāo)跟蹤，目前大多數(shù)研究都屬于單攝像機(jī)的跟蹤問題，但是，在實(shí)際的視頻監(jiān)視系統(tǒng)中，單攝像機(jī)所能監(jiān)視的區(qū)域很有限，因此，在一些大