【正文】 一壓縮編碼的技術(shù)難點(diǎn)在于如何在任意場(chǎng)景下實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的自動(dòng)提取與分割，而這些問(wèn)題也正是目標(biāo)檢測(cè)與跟蹤所要解決的關(guān)鍵 問(wèn)題。 4 智能交通系統(tǒng)是目前世界各國(guó)交通運(yùn)輸領(lǐng)域競(jìng)相研究和開(kāi)發(fā)的熱點(diǎn)。中國(guó)在北京申奧成功后，為解決北京市的交通狀況，政府也在智能交通的研究上加大了投入力度。車(chē)輛的實(shí)時(shí)檢測(cè)與跟蹤技術(shù)是智能交通系統(tǒng)的重要技術(shù)之一，計(jì)算機(jī)在不需要人的干預(yù)，或者只需要很少人干預(yù)的情況下，通過(guò)對(duì)攝像機(jī)拍錄的視頻序列進(jìn)行分析，實(shí)現(xiàn)車(chē)輛檢測(cè)與跟蹤，并在此基礎(chǔ)上分析和判斷車(chē)輛的行為，對(duì)車(chē)輛的行為給出語(yǔ)義描述，做到了既能完成日常管理，又能在發(fā)生異常情況時(shí)及時(shí)做出反應(yīng)，從而提供了一種更加先進(jìn)和可行的監(jiān)控方案。 目 前鍵盤(pán)和鼠標(biāo)是我們和計(jì)算機(jī)交互的接口方式，我們希望有更簡(jiǎn)潔的、智能化和人性化的人機(jī)交互方式。計(jì)算機(jī)無(wú)接觸式地收集人類(lèi)在計(jì)算機(jī)前的視頻信號(hào)，利用計(jì)算機(jī)視覺(jué)的相關(guān)理論分析視頻信號(hào)，做到分辨人類(lèi)的動(dòng)作，明白人類(lèi)的意圖，即我們希望計(jì)算機(jī)能盡可能地“理解”我們。近些年的工作主要集中在姿態(tài)分析，面部表情及其它的運(yùn)動(dòng) ，以便計(jì)算機(jī)能夠識(shí)別和理解這些動(dòng)作。這也是智能機(jī)器人研究的重點(diǎn)。 此外，目標(biāo)跟蹤在基于視覺(jué)的控制、農(nóng)業(yè)自動(dòng)化、醫(yī)學(xué)圖像、視覺(jué)重構(gòu)等領(lǐng)域均有應(yīng)用。而目標(biāo)跟蹤處于整個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)的底層，是各種后續(xù)高級(jí)處理如：目 標(biāo)分類(lèi)、行為理解等的基礎(chǔ)，因而目標(biāo)跟蹤具有非常重要的研究?jī)r(jià)值 [3]。 隨著科技的發(fā)展和社會(huì)的進(jìn)步，人們對(duì)信息的需求越來(lái)越多，要求也越來(lái)越高。據(jù)統(tǒng)計(jì)，普通人所感受的外界信息 80％以上來(lái)自視覺(jué)。普通人雙眼正常有效視角大約為水平 90 度、垂直 70 度，而全景技術(shù)則可以同時(shí)顯示比人眼視角范圍大得多的場(chǎng)景，因此，能提供更豐富的信息及感官刺激，具有普通視圖所無(wú)法比擬的研究和應(yīng)用價(jià)值。 全景作為一種方興未艾的技術(shù)，能擴(kuò)大視角、在同一時(shí)刻顯示大范圍場(chǎng)景信息，在衛(wèi)星航拍、視頻會(huì)議、場(chǎng)景監(jiān)控、交通導(dǎo)航、虛擬現(xiàn)實(shí)、攝影等多種科研、商 業(yè)及藝術(shù)領(lǐng)域具有廣泛的應(yīng)用前景。 目前，對(duì)于靜態(tài)全景圖像，除少數(shù)應(yīng)用中采用超廣角鏡頭或魚(yú)眼鏡頭直接拍攝外，主要采用圖像拼接及融合等軟件算法來(lái)實(shí)現(xiàn)。對(duì)于動(dòng)態(tài)視頻，則主要依靠特殊的硬件系統(tǒng)：一種方案是采用快球系統(tǒng)，另一種方案是采用配有全景鏡頭的專(zhuān)業(yè)攝像系統(tǒng)。 5 國(guó)內(nèi)外研究現(xiàn)狀 目標(biāo)跟蹤問(wèn)題是隨著計(jì)算機(jī)技術(shù)的發(fā)展而逐漸成為研究熱點(diǎn)的。二十世紀(jì)80年代以前，由于計(jì)算機(jī)技術(shù)的限制，對(duì)圖像的處理與分析主要以靜態(tài)圖像為主，在動(dòng)態(tài)圖像序列的分析中，對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤帶有很強(qiáng)的靜態(tài)圖像分析的特點(diǎn)。二十世紀(jì) 80年代初光流法 (Optical Flow)被提出之后，動(dòng)態(tài)圖像序列分析進(jìn)入了 — 個(gè) 研究的高潮，其中對(duì)光流法的研究熱潮從其產(chǎn)生一直持續(xù)到了二十世紀(jì)90年代中期 [4]。但是， 即使在現(xiàn)階段，光流法所需的運(yùn)算量對(duì)計(jì)算機(jī)而言也是很大的，很難滿足實(shí)時(shí)性要求，同時(shí)由于采用假設(shè)的局限性使得光流法對(duì)噪聲特別敏感， 很容易產(chǎn)生錯(cuò)誤的結(jié)果，這些缺點(diǎn)造成光流法與實(shí)際使用之間還存在著很大的距離。從二十世紀(jì) 80年代之后，還出現(xiàn)了其他眾多的目標(biāo)跟蹤算法。例如：1998 年， Michael Isare和 Andrew Black 提出的 Condensation 算法，首次將粒子濾波的思想應(yīng)用到視頻序列目標(biāo)跟蹤當(dāng)中； 2021 年 Comaniciu 等 提出的Meanshift 跟蹤框架，理論嚴(yán)謹(jǐn)，計(jì)算復(fù)雜度低， 因此 成為目標(biāo)跟蹤算法的研究熱點(diǎn)。 就研究現(xiàn)狀來(lái)看，國(guó)外對(duì)基于視頻的目標(biāo)檢測(cè)與跟蹤的理論研究及應(yīng)用研究起步較早，尤其在美國(guó)、英國(guó)等國(guó)家已經(jīng)開(kāi)展 了大量相關(guān)項(xiàng)目的研究，并取得了一定的成果。 1997 年美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立了以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視頻監(jiān)控重大項(xiàng)目 VSAM(Visual Surveillance and Monitoring)， VSAM 的目標(biāo)是為未來(lái)城市和市場(chǎng)監(jiān)控應(yīng)用開(kāi)發(fā)一種自動(dòng)視頻理解技術(shù)，用于實(shí)現(xiàn)未來(lái)戰(zhàn)爭(zhēng)只能夠人力監(jiān)控，費(fèi)用昂貴，非常危險(xiǎn)或者人力無(wú)法實(shí)現(xiàn)等場(chǎng)合下的監(jiān)控。 美國(guó)麻省理工學(xué)院在智能視頻監(jiān)控方面也進(jìn)行了深入的研究，開(kāi)發(fā)的監(jiān)控系統(tǒng)已成功實(shí)現(xiàn)了對(duì)車(chē)輛和行人的檢測(cè)和跟蹤。 美國(guó)國(guó)際商用機(jī)器公司 (IBM)與美國(guó)馬里蘭大學(xué)聯(lián)合開(kāi)發(fā)的 w4 (what， where，when， who)系統(tǒng)，主要用于對(duì)人體目標(biāo)的檢測(cè)和跟蹤，監(jiān)視目標(biāo)的活動(dòng)。不同于多數(shù)人體目標(biāo)跟蹤系統(tǒng)， M4 不采用顏色線索，而采用單目灰度或紅外攝像機(jī)作為視覺(jué)傳感器，以目標(biāo)形狀分析和跟蹤技術(shù)實(shí)現(xiàn)人體及其頭部、手部等定位，并對(duì)目標(biāo)外觀進(jìn)行建模，以便在目標(biāo)疊加或遮擋時(shí)依然能夠進(jìn) 行跟蹤 。 國(guó)內(nèi)這方面的研究較晚。為推動(dòng)我國(guó)在此國(guó)際前沿方向的研究，共同探討目 6 標(biāo)足艮蹤技術(shù)的發(fā)展動(dòng)態(tài)與趨勢(shì)，促進(jìn)我國(guó)科研人員在此領(lǐng)域的交流與合作，在中國(guó)科學(xué)院自動(dòng)化研究所、國(guó)家 863 計(jì)劃 計(jì)算機(jī)軟硬件技術(shù)主題、中國(guó)圖形圖像協(xié)會(huì)、國(guó)家自然科學(xué)基金委員會(huì)和中國(guó)自動(dòng)化協(xié)會(huì)的支持下，中科院自動(dòng)化研究所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室已分別于 2021 年 5月和 2021 年 12月在北京承辦了兩屆“全國(guó)智能視頻監(jiān)控學(xué)術(shù)會(huì)議 ，來(lái)自全國(guó)各地高校、研究所、企事業(yè)單位的研究人員、專(zhuān)家學(xué)者們參加了學(xué)術(shù)會(huì)議，期間報(bào)告人和與會(huì)人員之間就目標(biāo)跟蹤領(lǐng)域中的理論、算法和應(yīng)用實(shí)例等一系列問(wèn)題做了 廣泛 而深入的探討 [5]。 目前， 國(guó)內(nèi)的相關(guān)研究機(jī)構(gòu)中，中科院自動(dòng)化研究所下屬的模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn) 室成立的視頻監(jiān)控研究小組處于領(lǐng)先地位。該實(shí)驗(yàn) 室在交通場(chǎng)景的視頻監(jiān)控、入的運(yùn)動(dòng)視頻監(jiān)控和行為模式識(shí)別方面做了深入研究，并取得了一定的成果。模式識(shí)別實(shí)驗(yàn)室還與英國(guó)雷丁大學(xué)、法國(guó)波爾多第三大學(xué) EGID 研究所等多所國(guó)外研究機(jī)構(gòu)就相關(guān)項(xiàng)目的研究進(jìn)行交流與合作。除此之為，國(guó)內(nèi)一些高校，如：上海交通大學(xué)航空航天信息與控制研究所、華中科技大學(xué)圖像識(shí)別與人工智能研究所、西安電子科技大學(xué) ISN 國(guó)家重點(diǎn)實(shí)驗(yàn)室圖像傳輸與處理研究所等機(jī)構(gòu)都對(duì)該領(lǐng)域進(jìn)行了相關(guān)的研究。 基于計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)和圖像處理的全景技術(shù)興起于上世紀(jì)九十年代，最早是指單視點(diǎn)全景圖像，由一臺(tái)相機(jī)嚴(yán)格圍 繞光心旋轉(zhuǎn)所拍攝的圖像拼接而成。此后出現(xiàn)了條帶全景圖 (Strip Panorama)，由平移的相機(jī)連續(xù)拍攝普通窄視角圖像進(jìn)行拼接。例如，沿街拍攝一系列的水平圖像，處理后構(gòu)成類(lèi)似清明上河圖的長(zhǎng)街景觀，可應(yīng)用于網(wǎng)上虛擬旅游、數(shù)字地圖等場(chǎng)合。然而，這類(lèi)技術(shù)都是針對(duì)靜態(tài)全景圖像的，算法復(fù)雜度較高，無(wú)法實(shí)現(xiàn)實(shí)時(shí)處理；并且由于是連續(xù)拍攝，處理前所有原始圖像已按序排好，即拼接時(shí)無(wú)需考慮圖像的相對(duì)位置；同時(shí)，由于相機(jī)的運(yùn)動(dòng)軌跡簡(jiǎn)單，不同圖像間一般僅存在平移關(guān)系，故較容易進(jìn)行配準(zhǔn)。目前，這類(lèi)技術(shù)已應(yīng)用到高端數(shù)碼相機(jī)中，可對(duì)用 戶拍攝的存在簡(jiǎn)單平移關(guān)系的照片進(jìn)行自動(dòng)拼接。 對(duì)于實(shí)時(shí)視頻，則尚未有較好的全景合成技術(shù)。主要困難之一在于實(shí)時(shí)性的要求。眾所周知，正常視頻幀率一般為 25～ 30FPS，這意味著至少必須在 秒內(nèi)合成一幅全景幀，而現(xiàn)有的靜態(tài)全景圖像生成算法都無(wú)法做到這一點(diǎn)，因此無(wú)法直接應(yīng)用于視頻合成。而針對(duì)靜態(tài)全景圖像質(zhì)量的改進(jìn)算法也由于計(jì)算量太大無(wú)法用于處理視頻幀。所以，有些學(xué)者采用硬件方法來(lái)避免復(fù)雜的運(yùn)算。例如，A． Majumder 等人提出一種精心設(shè)計(jì)的攝像機(jī)組，各攝像機(jī)間保持虛擬的公共 7 投影中心，從而所有視頻幀可以通過(guò)簡(jiǎn)單算法進(jìn)行配準(zhǔn)；同時(shí)這種特制的結(jié)構(gòu)可以在一定程度上避免視差，無(wú)需額外的修正算法。但從另一個(gè)角度看，這類(lèi)技術(shù)極大地依賴于特制硬件結(jié)構(gòu)，因此不易推廣普及。 概述 計(jì)算機(jī)視覺(jué)研究 感覺(jué)是人的大腦與周?chē)澜缏?lián)系的窗口，它的任務(wù)是識(shí)別周?chē)奈矬w，并告訴人們這些物體之間的關(guān)系。對(duì)客觀世界與環(huán)境的認(rèn)識(shí)是人們的思維活動(dòng)基礎(chǔ)，而感覺(jué)則是外界客觀世界與人們對(duì)環(huán)境的認(rèn)識(shí)之間的橋梁，它使人們的思維與周?chē)澜缃⒛撤N對(duì)應(yīng)關(guān)系。在各種感覺(jué)中，視覺(jué)則是對(duì)人的智力產(chǎn)生影響的最重要的感覺(jué)，它是人的主要感覺(jué)來(lái)源，人類(lèi)接受的 80%外界信息來(lái)自視覺(jué)。它是一種高度清晰的媒介，它提供關(guān)于外界世界中各種物體和事件的豐富信息。因此視覺(jué)是思維的一種最基本的工具。 計(jì)算機(jī)正在向智能化發(fā)展。讓機(jī)器像人一樣具有視覺(jué)是人類(lèi)的一個(gè)夢(mèng)想， 機(jī)器擁有視覺(jué)功能對(duì)世界產(chǎn)生的影響怎么估計(jì)大概都不為過(guò)。現(xiàn)實(shí)世界中的物體都是三維的，而人眼所獲得的景物圖像是二維的，人類(lèi)的視覺(jué)系統(tǒng)能從二維圖像中獲得三維信息，從而感知三維世界。但是讓機(jī)器擁有這樣的能力卻是一件很困難的事情。信號(hào)處理理論的發(fā)展和計(jì)算機(jī)的出現(xiàn)，似乎給人們提供了一條模擬人類(lèi)視覺(jué)的可行之路：用攝像機(jī)獲取環(huán)境圖像并轉(zhuǎn)換成數(shù)字信號(hào)，用計(jì)算機(jī)通過(guò)數(shù)字圖像處理的方法模擬天類(lèi)對(duì)視覺(jué)信息處理的全過(guò)程，一門(mén)新興的學(xué)科 — 計(jì)算機(jī)視覺(jué)由此而生。 計(jì)算機(jī)視覺(jué)既是工程領(lǐng)域，也是科學(xué)領(lǐng)域中的一個(gè)富有挑戰(zhàn)性的重要研究領(lǐng)域。計(jì)算機(jī) 視覺(jué)是一門(mén)綜合性的學(xué)科，它已經(jīng)吸引了來(lái)自各個(gè)學(xué)科的研究者參加到對(duì)它的研究之中。其中包括計(jì)算機(jī)科學(xué)和工程、信號(hào)處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)，神經(jīng)生理學(xué)和認(rèn)知科學(xué)等。 計(jì)算機(jī)視覺(jué)是各個(gè)應(yīng)用領(lǐng)域，如制造業(yè)、檢驗(yàn)、文檔分析、醫(yī)療診斷和軍事等領(lǐng)域中各種智能 /自主系統(tǒng)中不可分割的 — 部分。由于它的重要性，一些先進(jìn)國(guó)家，例如美國(guó)把對(duì)計(jì)算機(jī)視覺(jué)的研究列為對(duì)經(jīng)濟(jì)和科學(xué)有廣泛影響的科學(xué)之一，并把它作為工程中的重大基本問(wèn)題，即所謂的重大挑戰(zhàn)。計(jì)算機(jī)視覺(jué)的挑戰(zhàn)是要為計(jì)算機(jī)和機(jī)器人開(kāi)發(fā)具有與人類(lèi)水平相當(dāng)?shù)囊曈X(jué)能力。計(jì)算機(jī)視覺(jué)需要圖像 信 8 號(hào)，紋理和顏色建模，幾何處理和推理，以及物體建模。一個(gè)有能力的視覺(jué)系統(tǒng)應(yīng)該把所有這些處理都緊密地集成在一起。作為一門(mén)學(xué)科，計(jì)算機(jī)視覺(jué)開(kāi)始于60年代初，但在計(jì)算機(jī)視覺(jué)的基本研究中的許多重要進(jìn)展是在 80 年代取得的。現(xiàn)在計(jì)算機(jī)視覺(jué)已成為一門(mén)不同于人工智能、圖像處理、模式識(shí)別等相關(guān)領(lǐng)域的成熟學(xué)科。計(jì)算機(jī)視覺(jué)與人類(lèi)視覺(jué)密切相關(guān)，對(duì)人類(lèi)視覺(jué)有一個(gè)正確的認(rèn)識(shí)將對(duì)計(jì)算機(jī)視覺(jué)的研究非常有益。 目標(biāo)跟蹤技術(shù)簡(jiǎn)述 目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中的經(jīng)典問(wèn)題，是指計(jì)算機(jī)或其它儀器設(shè)備依據(jù)某種算法對(duì)目標(biāo)進(jìn)行跟蹤和定位，并根據(jù)目標(biāo)的位置和動(dòng)向采取相應(yīng)措施。其基本任務(wù)可簡(jiǎn)述為在視頻序列中對(duì)感興趣的目標(biāo)或?qū)ο蟮奈恢玫冗\(yùn)動(dòng)特征進(jìn)行有效的確定和估計(jì)。 目標(biāo)跟蹤是一個(gè)應(yīng)用前景非常廣泛的技術(shù)。近幾年，目標(biāo)跟蹤廣泛應(yīng)用于監(jiān)控、視頻編碼以及軍工領(lǐng)域。 — 個(gè)普通的目標(biāo)跟蹤系統(tǒng)常常包括以下幾個(gè)環(huán)節(jié)：圖像采集、視頻圖像處理、數(shù)據(jù)通信、傳感控制和伺服系統(tǒng)等。圖像采集通過(guò)攝像機(jī)捕獲監(jiān)視場(chǎng)景的 光學(xué)圖像，采用視頻卡和視頻檢測(cè)技術(shù)，并通過(guò) A/D轉(zhuǎn)換將視頻信號(hào)轉(zhuǎn)換成數(shù) 字圖像序列，為視頻圖像處理提供數(shù)據(jù)。傳感控制系統(tǒng)與伺服系統(tǒng)對(duì)傳感器進(jìn)行反饋控制，在主動(dòng)視覺(jué)系統(tǒng)中，驅(qū)動(dòng)云臺(tái)是使攝像機(jī)跟隨被跟蹤目標(biāo)運(yùn)動(dòng)。數(shù)據(jù)通信則是完成視頻圖像數(shù)據(jù)的傳輸和控制以及反饋信號(hào)的通信。 按不同標(biāo)準(zhǔn)可將目標(biāo)跟蹤問(wèn)題分成很多類(lèi)型：根據(jù)攝像機(jī)的數(shù)目可分為單攝像機(jī) 目標(biāo) 跟蹤和多攝像機(jī)目標(biāo)跟蹤，目前大多數(shù)研究都屬于單攝像機(jī)的跟蹤問(wèn)題，但是，在實(shí)際的視頻監(jiān)視系統(tǒng)中，單攝像機(jī)所能監(jiān)視的區(qū)域很有限，因此，在一些大