【正文】 視頻監(jiān)控和智能輪椅視覺導(dǎo)航等領(lǐng)域取得了許多科研成果。為了促進(jìn)國內(nèi)智能視頻監(jiān)控的發(fā)展，中國科學(xué)院自動化研究所在 2021 年和 2021 年分別舉辦了第一屆和第二屆全國智能視覺監(jiān)控會議。《自動化學(xué)報》在 2021 年 5 月出版了一期視覺監(jiān)控?？！队嬎銠C(jī)學(xué)報》、《軟件學(xué)報》和 《控制與決策》等一些雜志也對智能監(jiān)控系統(tǒng)中一些關(guān)鍵技術(shù)進(jìn)行刊載。當(dāng)前的研究主要集中在多攝像機(jī)融合、攝像機(jī)標(biāo)定、目標(biāo)檢測、目標(biāo)跟蹤、行為識別與描述等關(guān)鍵技術(shù)方面。其中，運(yùn)動目標(biāo)的跟蹤識別是其中的 核心技術(shù)之一 ，它是后續(xù)的各種高級處理，如目標(biāo)行為分析、行為識別等的 礎(chǔ)， 也是視頻監(jiān)控技術(shù)自動化和實時應(yīng)用的關(guān)鍵。目標(biāo)跟蹤識別的實質(zhì)是通過對圖像傳感器拍攝到的視頻序列進(jìn)行分析，計算出目標(biāo)在每幀圖像中的位置、大小和運(yùn)動速度并識別其身份。其難點(diǎn)在于圖像是從三維空間 N維平面的投影，本身存在信息損失，而且運(yùn)動目標(biāo)本身并不是一 個確定不變的信號，它在跟蹤識別過程會發(fā)生旋轉(zhuǎn)、縮放、位移等各種復(fù)雜的變化。除此之外，圖像信息往往會受到各類噪聲、遮擋、光照等因素的影響。因此，開發(fā)出能夠從容應(yīng)對復(fù)雜環(huán)境的各種變化，精確、快速和穩(wěn)定地跟蹤識別運(yùn)動目標(biāo)的算法仍然是當(dāng)前急需解決的課題。 1． 3相關(guān)理論基礎(chǔ)與應(yīng)用領(lǐng)域 由以上章節(jié)可知當(dāng)前人臉方面的研究已經(jīng)呈現(xiàn)一片欣欣向榮之勢，對人臉的 研究涵蓋了模式識別、圖像處理、計算機(jī)視覺以及人工智能等各方面的知識內(nèi)容。 人臉跟蹤與識別技術(shù)的應(yīng)用領(lǐng)域也十分廣泛，主要包括視頻會議、智能監(jiān)控、圖 像與視頻檢索、人機(jī)交 互、門禁控制以及家庭娛樂等。 下面分別介紹人臉處理中的各種理論基礎(chǔ)和人臉研究成果的各類應(yīng)用。 1． 3． 1理論基礎(chǔ) 模式識別 模式識別，是通過計算機(jī)用數(shù)學(xué)方法來研究模式的自動處理。在人臉識別中， 如果是個體識別，則每個人是一個模式，預(yù)先存在數(shù)據(jù)庫里的圖像就是樣本；如果是性別識別、種族識別和年齡識別，則不同的性別、種族或年齡分別構(gòu)成一個模式：如果把圖像中的每個子圖都看作一個模式，則面部檢測也是一個模式識別的問題，要求正確地把每個子圖模式歸入到人臉區(qū)域類或非人臉區(qū)域類。 模式識別一般分為如下幾類：統(tǒng)計模式識別 ：如果模式類是幾何可分的，則用幾何分類法按照某種距離度量進(jìn)行分類；若是幾何不可分的，則用概率分類法，如貝葉斯決策理論。結(jié)構(gòu)模式識別：利用語法的遞歸性，用小而簡單的基元和語法規(guī)則來描述大而復(fù)雜的模式。模糊模式識別：將模糊技術(shù)引入到模式識別中，對特征和分類結(jié)果模糊化， 4基于 OpenCV的人臉跟蹤識別系統(tǒng)研究使得識別過程更能反映事物的本質(zhì)。 聚類分析：當(dāng)沒有樣本來訓(xùn)練分類器時，要求分類器能根據(jù)樣本間的相似程 度自動分類。 模式識別在人臉檢測算法中有著很重要的作用，有很多算法是基于模式分類 的技術(shù)來檢測人臉的，同 時在其它檢測技術(shù)中，膚色模型、人臉區(qū)域驗證等檢測環(huán)節(jié)也需要模式識別的相關(guān)技術(shù)。 圖像處理 這是一門用計算機(jī)對圖像數(shù)據(jù)進(jìn)行加工處理的學(xué)科，它主要有以下幾方面的 內(nèi)容：圖像的數(shù)字化、圖像分割、圖像描述、圖像增強(qiáng)、圖像復(fù)原、圖像的壓縮編碼以及運(yùn)動圖像的處理 f9】等。數(shù)字圖像的各項內(nèi)容滲透在人臉檢測與跟蹤識別的諸多環(huán)節(jié)中。 計算機(jī)視覺 視覺是人類獲取信息的主要來源，也是適應(yīng)復(fù)雜環(huán)境的感知基礎(chǔ)。使計算機(jī) 具有與人類相似的視覺處理能力，從而能更好的協(xié)助以至代替人的工作，這是人類長期追求的夢想。人類的視覺系統(tǒng)利用 投影到視網(wǎng)膜上的二維的像對物體進(jìn)行三維的理解。為此，計算機(jī)需要具有處理、分析和理解圖像的能力。計算機(jī)視覺【 9】 是一門用計算機(jī)來實現(xiàn)人的視覺功能，實現(xiàn)客觀三維世界的識別的學(xué)科。 人工智能 人工智能是研究使計算機(jī)來模擬人的某些思維過程和智能行為 (如學(xué)習(xí)、推 理、思考、規(guī)劃等 )的學(xué)科，主要包括計算機(jī)實現(xiàn)智能的原理、制造類似于人腦 智能的計算機(jī)，使計算機(jī)能實現(xiàn)更高層次的應(yīng)用。人工智能將涉及到計算機(jī)科學(xué)、 心理學(xué)、哲學(xué)和語言學(xué)等學(xué)科?？梢哉f幾乎是自然科學(xué)和社會科學(xué)的所有學(xué)科， 其范圍已遠(yuǎn)遠(yuǎn)超出了計算機(jī)科學(xué)的范疇 ，人工智能與思維科學(xué)的關(guān)系是實踐和理論的關(guān)系，人工智能是處于思維科學(xué)的技術(shù)應(yīng)用層次，是它的一個應(yīng)用分支。 1． 3． 2應(yīng)用領(lǐng)域 視頻會議：視頻會議【 1o】是利用通信網(wǎng)以及電視實況方式召開的會議。通過視頻會議系統(tǒng)，位于各地的與會者在開會時既可聽到對方的聲音，又可看到對方的影像、會議室的場景以及會議中展示的圖片、表格等。這樣可以大大節(jié)省會議差旅費(fèi)，提高辦事效率，節(jié)省時間。另外，視頻會議系統(tǒng)在遠(yuǎn)程教學(xué)、遠(yuǎn)程醫(yī)療等領(lǐng)域中也有著廣泛的應(yīng)用。人臉的跟蹤識別是視頻會議中的關(guān)鍵技術(shù)之一。 智能監(jiān)控：針對敏感場所 (如銀 行、商店、停車場、自動提款機(jī) )開發(fā)的 智能監(jiān)控? q2J 系統(tǒng)，能夠每天連續(xù) 24小時的實時監(jiān)視，并自動分析攝相機(jī)捕捉的圖像數(shù)據(jù)，當(dāng)搶劫、盜竊發(fā)生或發(fā)現(xiàn)具有異常行為的人時，系統(tǒng)能向保衛(wèi)人員準(zhǔn)確及時地發(fā)出警報，從而避免犯罪的發(fā)生。同時，人臉檢測與跟蹤技術(shù)在自動售貨機(jī)、 ATM機(jī)、交通管理、公共場所、行人的擁擠狀態(tài)分析及商店中消費(fèi)者流量統(tǒng)計等監(jiān)控方面也有著相應(yīng)的應(yīng)用。 圖像與視頻檢索：在 CBIR(ContentBased ImageRetrieval，基于內(nèi)容的圖 像檢索 )系統(tǒng)中，圖像中的人臉可以作為圖像檢索的條件 ，所以許多 CBIR 系統(tǒng)都將人臉檢測作為系統(tǒng)中的一個重要組成部分。例如芝加哥大學(xué)開發(fā)的用于在萬維網(wǎng)上搜索圖像的影像搜索引擎 Webseer，就使用了基于神經(jīng)網(wǎng)絡(luò)的人臉檢測作為搜索引擎的一部分。因特網(wǎng)上廣泛使用的數(shù)字圖書館中包含了大量的視頻及音頻信息，許多數(shù)字圖書館將人臉檢測作為系統(tǒng)搜索引擎的一個重要的組成部分。 人機(jī)交互：人機(jī)交互【 13． 141 是研究人、計算機(jī)以及他們之間相互交叉的技術(shù)。傳統(tǒng)的人機(jī)交互是通過計算機(jī)鼠標(biāo)和鍵盤進(jìn)行的。然而人們期望計算機(jī)智能化，能夠以自然的方式與人進(jìn)行交流。人機(jī)交互研究的最終目的 在于如何使所設(shè)計的計算機(jī)能幫助人們更安全、更有效地完成所需任務(wù)。實現(xiàn)人機(jī)交互這一目標(biāo)的可能方式之一是使計算機(jī)具有識別和理解人的姿勢、動作、手勢等能力，跟蹤識別 是完成這些任務(wù)的關(guān)鍵一步。 門禁控制：門禁控制【 15】是為了有效地控制人員的出入，并且記錄所有進(jìn)出的詳細(xì)情況，實現(xiàn)對出入口的安全管理。人臉門禁系統(tǒng)是一種基于人臉識別技術(shù)的新型訪問控制系統(tǒng)，將具有訪問權(quán)限的訪問者的人臉信息存放在人臉數(shù)據(jù)庫中，對人臉信息進(jìn)行學(xué)習(xí)訓(xùn)練。通過攝像機(jī)動態(tài)捕獲人臉，將人臉信息同數(shù)據(jù)庫中的人臉信息進(jìn)行檢索對比，只有圖像信息符合 的人才可以進(jìn)入，否則拒絕進(jìn)入，并對強(qiáng)行進(jìn)入者發(fā)出報警。人臉的檢測跟蹤也是門禁控制系統(tǒng)中的一個重要的技術(shù)。 家庭娛樂：家庭娛樂是指能夠識別主人身份的智能玩具，家政機(jī)器人，具 有真實面像的虛擬游戲玩家等。隨著電子技術(shù)水平的提高，家庭娛樂會得到廣泛的應(yīng)用，其中關(guān)鍵技術(shù)之一也是人臉的檢測跟蹤。 1． 4本文研究工作概述 本文旨在構(gòu)建一個基于 OpenCV庫的彩色視頻人臉跟蹤識別系統(tǒng)框架，使用 OpenCV 庫中的一些函數(shù)用于編程，使之可以應(yīng)用于安防監(jiān)控系統(tǒng)。本文的目標(biāo)是實現(xiàn)對視頻進(jìn)行實時的檢測并對檢測到的 人臉目標(biāo)進(jìn)行跟蹤，將跟蹤到的人臉目標(biāo)所在視頻幀通過 Socket 傳到服務(wù)器端，對其進(jìn)行人臉識別，達(dá)到獲取人臉目標(biāo)身份的目的。因此本文的研究工作分為客戶端與服務(wù)器兩部分，客戶端和服務(wù)器的劃分是按照 Socket 通信來劃分的?？蛻舳擞袛z像機(jī)，負(fù)責(zé)對進(jìn)入攝像機(jī)視野范的目標(biāo)進(jìn)行人臉檢測，如果有人臉目標(biāo)出現(xiàn)則對其進(jìn)行實時跟蹤；在這個過程 第二章人臉檢測識別方法 人臉檢測問題最初來源于人臉識別。人臉識別是生物識別領(lǐng)域最熱門的一個 方 向，它涵蓋了計算機(jī)視覺，圖像處理和模式識別等前沿技術(shù)，在人機(jī)交互，安防系統(tǒng)和身份認(rèn)證等方面有著廣闊的應(yīng)用價值。人臉檢測是指采用一定的方法對 給定的圖片或視頻進(jìn)行搜索，判斷其中是否存在人臉，如果存在則定位 每個人臉的位置以及大小。人臉識別的研究可以追溯到 20 世紀(jì) 60、 70 年代，經(jīng)過幾十年的發(fā)展已漸趨成熟，人臉檢測是人臉識別系統(tǒng)中的一個關(guān)鍵環(huán)節(jié)，但是早期的人臉識別研究主要針對簡單背景和人臉位置相對固定的情況，因此人臉檢測問題并未受到重視。但隨著開發(fā)實際系統(tǒng)需求的日漸提高，人們要求在復(fù)雜背景下實時地進(jìn)行人臉檢測，這種 假設(shè)下的研究不再能滿足需求，由此所面臨的一系列問題使得人臉檢測開始作為一個獨(dú)立的課題受到研究者的重視。本章著重介紹當(dāng)前人臉檢測和人臉識別的主要方法。 2． 1人臉檢測方法概述 人臉檢測【 16Ir7】的目的是要在 N圖像上快速準(zhǔn)確地將人臉部分分割定位出 來。人臉檢測的基本思想是用知識分析或