【正文】 視頻監(jiān)控和智能輪椅視覺(jué)導(dǎo)航等領(lǐng)域取得了許多科研成果。為了促進(jìn)國(guó)內(nèi)智能視頻監(jiān)控的發(fā)展，中國(guó)科學(xué)院自動(dòng)化研究所在 2021 年和 2021 年分別舉辦了第一屆和第二屆全國(guó)智能視覺(jué)監(jiān)控會(huì)議?！蹲詣?dòng)化學(xué)報(bào)》在 2021 年 5 月出版了一期視覺(jué)監(jiān)控專(zhuān)刊。《計(jì)算機(jī)學(xué)報(bào)》、《軟件學(xué)報(bào)》和 《控制與決策》等一些雜志也對(duì)智能監(jiān)控系統(tǒng)中一些關(guān)鍵技術(shù)進(jìn)行刊載。當(dāng)前的研究主要集中在多攝像機(jī)融合、攝像機(jī)標(biāo)定、目標(biāo)檢測(cè)、目標(biāo)跟蹤、行為識(shí)別與描述等關(guān)鍵技術(shù)方面。其中，運(yùn)動(dòng)目標(biāo)的跟蹤識(shí)別是其中的 核心技術(shù)之一 ，它是后續(xù)的各種高級(jí)處理，如目標(biāo)行為分析、行為識(shí)別等的 礎(chǔ)， 也是視頻監(jiān)控技術(shù)自動(dòng)化和實(shí)時(shí)應(yīng)用的關(guān)鍵。目標(biāo)跟蹤識(shí)別的實(shí)質(zhì)是通過(guò)對(duì)圖像傳感器拍攝到的視頻序列進(jìn)行分析，計(jì)算出目標(biāo)在每幀圖像中的位置、大小和運(yùn)動(dòng)速度并識(shí)別其身份。其難點(diǎn)在于圖像是從三維空間 N維平面的投影，本身存在信息損失，而且運(yùn)動(dòng)目標(biāo)本身并不是一 個(gè)確定不變的信號(hào)，它在跟蹤識(shí)別過(guò)程會(huì)發(fā)生旋轉(zhuǎn)、縮放、位移等各種復(fù)雜的變化。除此之外，圖像信息往往會(huì)受到各類(lèi)噪聲、遮擋、光照等因素的影響。因此，開(kāi)發(fā)出能夠從容應(yīng)對(duì)復(fù)雜環(huán)境的各種變化，精確、快速和穩(wěn)定地跟蹤識(shí)別運(yùn)動(dòng)目標(biāo)的算法仍然是當(dāng)前急需解決的課題。 1． 3相關(guān)理論基礎(chǔ)與應(yīng)用領(lǐng)域 由以上章節(jié)可知當(dāng)前人臉?lè)矫娴难芯恳呀?jīng)呈現(xiàn)一片欣欣向榮之勢(shì)，對(duì)人臉的 研究涵蓋了模式識(shí)別、圖像處理、計(jì)算機(jī)視覺(jué)以及人工智能等各方面的知識(shí)內(nèi)容。 人臉跟蹤與識(shí)別技術(shù)的應(yīng)用領(lǐng)域也十分廣泛，主要包括視頻會(huì)議、智能監(jiān)控、圖 像與視頻檢索、人機(jī)交 互、門(mén)禁控制以及家庭娛樂(lè)等。 下面分別介紹人臉處理中的各種理論基礎(chǔ)和人臉研究成果的各類(lèi)應(yīng)用。 1． 3． 1理論基礎(chǔ) 模式識(shí)別 模式識(shí)別，是通過(guò)計(jì)算機(jī)用數(shù)學(xué)方法來(lái)研究模式的自動(dòng)處理。在人臉識(shí)別中， 如果是個(gè)體識(shí)別，則每個(gè)人是一個(gè)模式，預(yù)先存在數(shù)據(jù)庫(kù)里的圖像就是樣本；如果是性別識(shí)別、種族識(shí)別和年齡識(shí)別，則不同的性別、種族或年齡分別構(gòu)成一個(gè)模式：如果把圖像中的每個(gè)子圖都看作一個(gè)模式，則面部檢測(cè)也是一個(gè)模式識(shí)別的問(wèn)題，要求正確地把每個(gè)子圖模式歸入到人臉區(qū)域類(lèi)或非人臉區(qū)域類(lèi)。 模式識(shí)別一般分為如下幾類(lèi)：統(tǒng)計(jì)模式識(shí)別 ：如果模式類(lèi)是幾何可分的，則用幾何分類(lèi)法按照某種距離度量進(jìn)行分類(lèi)；若是幾何不可分的，則用概率分類(lèi)法，如貝葉斯決策理論。結(jié)構(gòu)模式識(shí)別：利用語(yǔ)法的遞歸性，用小而簡(jiǎn)單的基元和語(yǔ)法規(guī)則來(lái)描述大而復(fù)雜的模式。模糊模式識(shí)別：將模糊技術(shù)引入到模式識(shí)別中，對(duì)特征和分類(lèi)結(jié)果模糊化， 4基于 OpenCV的人臉跟蹤識(shí)別系統(tǒng)研究使得識(shí)別過(guò)程更能反映事物的本質(zhì)。 聚類(lèi)分析：當(dāng)沒(méi)有樣本來(lái)訓(xùn)練分類(lèi)器時(shí)，要求分類(lèi)器能根據(jù)樣本間的相似程 度自動(dòng)分類(lèi)。 模式識(shí)別在人臉檢測(cè)算法中有著很重要的作用，有很多算法是基于模式分類(lèi) 的技術(shù)來(lái)檢測(cè)人臉的，同 時(shí)在其它檢測(cè)技術(shù)中，膚色模型、人臉區(qū)域驗(yàn)證等檢測(cè)環(huán)節(jié)也需要模式識(shí)別的相關(guān)技術(shù)。 圖像處理 這是一門(mén)用計(jì)算機(jī)對(duì)圖像數(shù)據(jù)進(jìn)行加工處理的學(xué)科，它主要有以下幾方面的 內(nèi)容：圖像的數(shù)字化、圖像分割、圖像描述、圖像增強(qiáng)、圖像復(fù)原、圖像的壓縮編碼以及運(yùn)動(dòng)圖像的處理 f9】等。數(shù)字圖像的各項(xiàng)內(nèi)容滲透在人臉檢測(cè)與跟蹤識(shí)別的諸多環(huán)節(jié)中。 計(jì)算機(jī)視覺(jué) 視覺(jué)是人類(lèi)獲取信息的主要來(lái)源，也是適應(yīng)復(fù)雜環(huán)境的感知基礎(chǔ)。使計(jì)算機(jī) 具有與人類(lèi)相似的視覺(jué)處理能力，從而能更好的協(xié)助以至代替人的工作，這是人類(lèi)長(zhǎng)期追求的夢(mèng)想。人類(lèi)的視覺(jué)系統(tǒng)利用 投影到視網(wǎng)膜上的二維的像對(duì)物體進(jìn)行三維的理解。為此，計(jì)算機(jī)需要具有處理、分析和理解圖像的能力。計(jì)算機(jī)視覺(jué)【 9】 是一門(mén)用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人的視覺(jué)功能，實(shí)現(xiàn)客觀(guān)三維世界的識(shí)別的學(xué)科。 人工智能 人工智能是研究使計(jì)算機(jī)來(lái)模擬人的某些思維過(guò)程和智能行為 (如學(xué)習(xí)、推 理、思考、規(guī)劃等 )的學(xué)科，主要包括計(jì)算機(jī)實(shí)現(xiàn)智能的原理、制造類(lèi)似于人腦 智能的計(jì)算機(jī)，使計(jì)算機(jī)能實(shí)現(xiàn)更高層次的應(yīng)用。人工智能將涉及到計(jì)算機(jī)科學(xué)、 心理學(xué)、哲學(xué)和語(yǔ)言學(xué)等學(xué)科?？梢哉f(shuō)幾乎是自然科學(xué)和社會(huì)科學(xué)的所有學(xué)科， 其范圍已遠(yuǎn)遠(yuǎn)超出了計(jì)算機(jī)科學(xué)的范疇 ，人工智能與思維科學(xué)的關(guān)系是實(shí)踐和理論的關(guān)系，人工智能是處于思維科學(xué)的技術(shù)應(yīng)用層次，是它的一個(gè)應(yīng)用分支。 1． 3． 2應(yīng)用領(lǐng)域 視頻會(huì)議：視頻會(huì)議【 1o】是利用通信網(wǎng)以及電視實(shí)況方式召開(kāi)的會(huì)議。通過(guò)視頻會(huì)議系統(tǒng)，位于各地的與會(huì)者在開(kāi)會(huì)時(shí)既可聽(tīng)到對(duì)方的聲音，又可看到對(duì)方的影像、會(huì)議室的場(chǎng)景以及會(huì)議中展示的圖片、表格等。這樣可以大大節(jié)省會(huì)議差旅費(fèi)，提高辦事效率，節(jié)省時(shí)間。另外，視頻會(huì)議系統(tǒng)在遠(yuǎn)程教學(xué)、遠(yuǎn)程醫(yī)療等領(lǐng)域中也有著廣泛的應(yīng)用。人臉的跟蹤識(shí)別是視頻會(huì)議中的關(guān)鍵技術(shù)之一。 智能監(jiān)控：針對(duì)敏感場(chǎng)所 (如銀 行、商店、停車(chē)場(chǎng)、自動(dòng)提款機(jī) )開(kāi)發(fā)的 智能監(jiān)控? q2J 系統(tǒng)，能夠每天連續(xù) 24小時(shí)的實(shí)時(shí)監(jiān)視，并自動(dòng)分析攝相機(jī)捕捉的圖像數(shù)據(jù)，當(dāng)搶劫、盜竊發(fā)生或發(fā)現(xiàn)具有異常行為的人時(shí)，系統(tǒng)能向保衛(wèi)人員準(zhǔn)確及時(shí)地發(fā)出警報(bào)，從而避免犯罪的發(fā)生。同時(shí)，人臉檢測(cè)與跟蹤技術(shù)在自動(dòng)售貨機(jī)、 ATM機(jī)、交通管理、公共場(chǎng)所、行人的擁擠狀態(tài)分析及商店中消費(fèi)者流量統(tǒng)計(jì)等監(jiān)控方面也有著相應(yīng)的應(yīng)用。 圖像與視頻檢索：在 CBIR(ContentBased ImageRetrieval，基于內(nèi)容的圖 像檢索 )系統(tǒng)中，圖像中的人臉可以作為圖像檢索的條件 ，所以許多 CBIR 系統(tǒng)都將人臉檢測(cè)作為系統(tǒng)中的一個(gè)重要組成部分。例如芝加哥大學(xué)開(kāi)發(fā)的用于在萬(wàn)維網(wǎng)上搜索圖像的影像搜索引擎 Webseer，就使用了基于神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)作為搜索引擎的一部分。因特網(wǎng)上廣泛使用的數(shù)字圖書(shū)館中包含了大量的視頻及音頻信息，許多數(shù)字圖書(shū)館將人臉檢測(cè)作為系統(tǒng)搜索引擎的一個(gè)重要的組成部分。 人機(jī)交互：人機(jī)交互【 13． 141 是研究人、計(jì)算機(jī)以及他們之間相互交叉的技術(shù)。傳統(tǒng)的人機(jī)交互是通過(guò)計(jì)算機(jī)鼠標(biāo)和鍵盤(pán)進(jìn)行的。然而人們期望計(jì)算機(jī)智能化，能夠以自然的方式與人進(jìn)行交流。人機(jī)交互研究的最終目的 在于如何使所設(shè)計(jì)的計(jì)算機(jī)能幫助人們更安全、更有效地完成所需任務(wù)。實(shí)現(xiàn)人機(jī)交互這一目標(biāo)的可能方式之一是使計(jì)算機(jī)具有識(shí)別和理解人的姿勢(shì)、動(dòng)作、手勢(shì)等能力，跟蹤識(shí)別 是完成這些任務(wù)的關(guān)鍵一步。 門(mén)禁控制：門(mén)禁控制【 15】是為了有效地控制人員的出入，并且記錄所有進(jìn)出的詳細(xì)情況，實(shí)現(xiàn)對(duì)出入口的安全管理。人臉門(mén)禁系統(tǒng)是一種基于人臉識(shí)別技術(shù)的新型訪(fǎng)問(wèn)控制系統(tǒng)，將具有訪(fǎng)問(wèn)權(quán)限的訪(fǎng)問(wèn)者的人臉信息存放在人臉數(shù)據(jù)庫(kù)中，對(duì)人臉信息進(jìn)行學(xué)習(xí)訓(xùn)練。通過(guò)攝像機(jī)動(dòng)態(tài)捕獲人臉，將人臉信息同數(shù)據(jù)庫(kù)中的人臉信息進(jìn)行檢索對(duì)比，只有圖像信息符合 的人才可以進(jìn)入，否則拒絕進(jìn)入，并對(duì)強(qiáng)行進(jìn)入者發(fā)出報(bào)警。人臉的檢測(cè)跟蹤也是門(mén)禁控制系統(tǒng)中的一個(gè)重要的技術(shù)。 家庭娛樂(lè)：家庭娛樂(lè)是指能夠識(shí)別主人身份的智能玩具，家政機(jī)器人，具 有真實(shí)面像的虛擬游戲玩家等。隨著電子技術(shù)水平的提高，家庭娛樂(lè)會(huì)得到廣泛的應(yīng)用，其中關(guān)鍵技術(shù)之一也是人臉的檢測(cè)跟蹤。 1． 4本文研究工作概述 本文旨在構(gòu)建一個(gè)基于 OpenCV庫(kù)的彩色視頻人臉跟蹤識(shí)別系統(tǒng)框架，使用 OpenCV 庫(kù)中的一些函數(shù)用于編程，使之可以應(yīng)用于安防監(jiān)控系統(tǒng)。本文的目標(biāo)是實(shí)現(xiàn)對(duì)視頻進(jìn)行實(shí)時(shí)的檢測(cè)并對(duì)檢測(cè)到的 人臉目標(biāo)進(jìn)行跟蹤，將跟蹤到的人臉目標(biāo)所在視頻幀通過(guò) Socket 傳到服務(wù)器端，對(duì)其進(jìn)行人臉識(shí)別，達(dá)到獲取人臉目標(biāo)身份的目的。因此本文的研究工作分為客戶(hù)端與服務(wù)器兩部分，客戶(hù)端和服務(wù)器的劃分是按照 Socket 通信來(lái)劃分的?？蛻?hù)端有攝像機(jī)，負(fù)責(zé)對(duì)進(jìn)入攝像機(jī)視野范的目標(biāo)進(jìn)行人臉檢測(cè)，如果有人臉目標(biāo)出現(xiàn)則對(duì)其進(jìn)行實(shí)時(shí)跟蹤；在這個(gè)過(guò)程 第二章人臉檢測(cè)識(shí)別方法 人臉檢測(cè)問(wèn)題最初來(lái)源于人臉識(shí)別。人臉識(shí)別是生物識(shí)別領(lǐng)域最熱門(mén)的一個(gè) 方 向，它涵蓋了計(jì)算機(jī)視覺(jué)，圖像處理和模式識(shí)別等前沿技術(shù)，在人機(jī)交互，安防系統(tǒng)和身份認(rèn)證等方面有著廣闊的應(yīng)用價(jià)值。人臉檢測(cè)是指采用一定的方法對(duì) 給定的圖片或視頻進(jìn)行搜索，判斷其中是否存在人臉，如果存在則定位 每個(gè)人臉的位置以及大小。人臉識(shí)別的研究可以追溯到 20 世紀(jì) 60、 70 年代，經(jīng)過(guò)幾十年的發(fā)展已漸趨成熟，人臉檢測(cè)是人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)，但是早期的人臉識(shí)別研究主要針對(duì)簡(jiǎn)單背景和人臉位置相對(duì)固定的情況，因此人臉檢測(cè)問(wèn)題并未受到重視。但隨著開(kāi)發(fā)實(shí)際系統(tǒng)需求的日漸提高，人們要求在復(fù)雜背景下實(shí)時(shí)地進(jìn)行人臉檢測(cè)，這種 假設(shè)下的研究不再能滿(mǎn)足需求，由此所面臨的一系列問(wèn)題使得人臉檢測(cè)開(kāi)始作為一個(gè)獨(dú)立的課題受到研究者的重視。本章著重介紹當(dāng)前人臉檢測(cè)和人臉識(shí)別的主要方法。 2． 1人臉檢測(cè)方法概述 人臉檢測(cè)【 16Ir7】的目的是要在 N圖像上快速準(zhǔn)確地將人臉部分分割定位出 來(lái)。人臉檢測(cè)的基本思想是用知識(shí)分析或