【文章內(nèi)容簡(jiǎn)介】 (11)圖像標(biāo)注（線、二次曲線、多邊形、畫(huà)文字）。 圖像預(yù)處理 由于一些外界條件的不同，例如用干采集圖像的設(shè)備的性能好壞、現(xiàn)場(chǎng)光照明暗程度不同等，圖像通常會(huì)存在噪聲、清晰度低等缺陷。此外，圖像中人臉的絕對(duì)坐標(biāo)及區(qū)域大小會(huì)隨著人離攝像頭的遠(yuǎn)近而改變。要想保證提取到的人臉特征不會(huì)受到上述這些因素的影響，則需要在提取特征 人臉之前，對(duì)圖像進(jìn)行預(yù)處理。 灰度圖像轉(zhuǎn)換 由于對(duì)彩色圖像數(shù)據(jù)的分析比黑白圖像要難得多，所以將彩色圖像轉(zhuǎn)換成灰度圖是圖像預(yù)處理的第一步。對(duì)圖像進(jìn)行灰度化處理是智能識(shí)別的基礎(chǔ)，一般采集的圖像都是三原色 (R, G. B 三個(gè)分量 )。為了提高檢測(cè)運(yùn)動(dòng)目標(biāo)的速度，需要在特征提取之前將人臉圖像進(jìn)行灰度化，這樣就只需要對(duì)像素點(diǎn)的灰度值進(jìn)行處理。 本文采用 OpenCV視覺(jué)庫(kù)的接口進(jìn)行灰度化處理，具體實(shí)現(xiàn)是通過(guò)使用 cvCvtColor()函數(shù)，使用 RGB2GRAY 參數(shù)，將 RGB 彩色圖轉(zhuǎn)換為灰度圖。 6 圖像噪聲消除 通常視頻可以理解為連續(xù)的圖像序列，在采集、保存、傳輸視頻圖像數(shù)據(jù)的過(guò)程中常會(huì)出現(xiàn)噪聲干擾現(xiàn)象，噪聲會(huì)使圖像失真，使圖像不像原木那樣均勻連續(xù)地變化，進(jìn)而會(huì)對(duì)圖像的后續(xù)處理產(chǎn)生影響。因此，對(duì)視頻圖像進(jìn)行檢測(cè)分析之前，應(yīng)對(duì)輸入的圖像進(jìn)行噪聲消除，盡最地消除圖像中的噪聲干擾，有助于準(zhǔn)確快速地獲取圖像的特征，從而也能更好地進(jìn)行模式識(shí)別等復(fù)雜處理，同時(shí)也能夠減少目標(biāo)檢測(cè)的計(jì)算量。 按影響圖像質(zhì)量的噪聲源可將圖像噪聲分為三類(lèi) ： 第一類(lèi)，阻性元件內(nèi)部電子自由熱運(yùn)動(dòng)產(chǎn)生的電子噪聲，常用零均值高斯白噪聲模 型來(lái)近似。第二類(lèi)，由于光電轉(zhuǎn)換引起的泊松噪聲 (椒鹽噪聲 )。第三類(lèi)，在感光過(guò)程中產(chǎn)生的顆粒噪聲。根據(jù)噪聲與信號(hào)之間的關(guān)系，噪聲也可分為加性噪聲和乘性噪聲。加性噪聲的來(lái)源主要有人為噪聲、自然噪聲、內(nèi)部噪聲，主要表現(xiàn)形式有脈沖噪聲和高斯噪聲。乘性噪聲往往具有隨機(jī)性，是圖像中最普通的噪聲，其中一個(gè)典型代表是光照變化。 OpenCV消除圖像噪聲的常用方法有 :均值濾波、中值濾波和高斯濾波。均值濾波對(duì)高斯噪聲有較好的抑制作用，中值濾波適用于處理椒鹽噪聲。下面簡(jiǎn)單介紹下這三種去噪方法。 圖像邊緣檢測(cè) 在對(duì)圖像 進(jìn)行目標(biāo)檢測(cè)時(shí)，圖像邊緣是重要的提取信息。根據(jù)人眼的直觀感受，目標(biāo)圖像的邊緣信息是最明顯的，圖像邊緣在整個(gè)圖像中變化差異最大。提取圖像邊緣的主要依據(jù)是目標(biāo)邊緣處像素點(diǎn)的灰度值變化比較劇烈。圖像邊緣往往處于前景物體與背景圖像的交界處，所以一般采用高通濾波器，保留高頻信號(hào)。 常用的邊緣檢測(cè)方法有 :梯度邊緣檢測(cè)、差分邊緣檢測(cè)、 Sobel 邊緣檢測(cè)算子、 Laplace邊緣檢測(cè)算子等 。 OpenCV中常用于邊緣檢的函數(shù)有 ： cvSobel(), cvLaplace(),cvCanny()。 7 第 3 章 人臉檢測(cè)原理與算法 人臉識(shí)別原理 人臉識(shí)別算法的原理：系統(tǒng)輸入一般是一張或者一系列含有未確定身份的人臉圖像，以及人臉數(shù)據(jù)庫(kù)中的若干已知身份的人臉圖象或者相應(yīng)的編碼，而其輸出則是一系列相似度得分，表明待識(shí)別的人臉的身份。 此方法是把人臉面部器官之間關(guān)系編碼并準(zhǔn)則化的人臉檢測(cè)方法。這是一種自頂而下的方法，根據(jù)人臉面部器官的對(duì)稱(chēng)性、灰度差異等先驗(yàn)知識(shí)，制定一系列的準(zhǔn)則。當(dāng)圖像中的待測(cè)區(qū)域符合準(zhǔn)則，即被檢測(cè)為人臉。 人臉及器官具有典型的邊沿和形狀特征，通常人們利用采用 Laplacian， Sobel和Canny等算子來(lái)提取邊沿 特征，將這些特征用于人臉的定位。邊沿和形狀對(duì)于光照條件的變化具有很好的魯棒性，灰度特征對(duì)光照比較敏感。 人臉檢測(cè)方法 現(xiàn)有的人臉檢測(cè)方法，人致分為三類(lèi) ： 基于人臉幾何特征的方法、基 于人臉膚色的方法和基于人臉統(tǒng)計(jì)理論的方法。 (1)基 于人臉幾何特征的方法 人臉的 幾 何特征即人臉的而部特征 (如眼睛、鼻戶(hù)、嘴巴、耳朵、膚色等 )，主要判別標(biāo)準(zhǔn)是人臉輪廓五官的對(duì)稱(chēng)性以及各個(gè)特征之間相對(duì)的位置。典型的基于人臉幾何特征的方法有 :基于先驗(yàn)知識(shí)的人臉檢測(cè)方法和 基 于模板的人臉檢側(cè)方法 . 基于先驗(yàn)知識(shí)的檢測(cè)方法，首先需要 確定人臉區(qū)域，然后通過(guò)前輩總結(jié)的先驗(yàn)知識(shí)來(lái)檢驗(yàn)是否存在人臉，例如人臉面部五官的對(duì)稱(chēng)性、灰度值的不同等 .人臉五官存在一些基本的規(guī)律，例如眼睛的形狀及對(duì)稱(chēng)性，眼睛、鼻子、眉毛和嘴巴處的像素灰度值要大于人臉其他部位，鼻和嘴巴的中心點(diǎn)的連線與兩只眼睛的連線是垂直的等 .可以將這些特征信息作為一個(gè)判別準(zhǔn)則 .若圖像符合這些準(zhǔn)則，則確定存在人臉。該算法的優(yōu)點(diǎn)為人臉特征比較直觀、檢測(cè)容易實(shí)現(xiàn)、計(jì)算量小。然而，該算法也存在不容忽視的缺點(diǎn)，檢測(cè)準(zhǔn)確率不高。如果人臉表發(fā)生變化或人臉偏向的角度不同，則人臉特征的判別準(zhǔn)則 8 也會(huì)產(chǎn)生很大的 變化。這種情況下，若只采用固定準(zhǔn)則去定義人臉 .則會(huì)產(chǎn)生人瞼的誤檢漏檢，檢測(cè)準(zhǔn)確率不高。 基于模板的人臉檢測(cè)方法，就是預(yù)先將包含人臉局部特征的標(biāo)準(zhǔn)臉部模型參數(shù)化。利用算法計(jì)算出圖像待檢測(cè)區(qū)域的特征與標(biāo)準(zhǔn)臉部模板的相似度，如果相似度的大小符合制定的準(zhǔn)則 (大干某個(gè) 閾值 )，就可以判斷檢測(cè)區(qū)域存在人臉。該方法雖然實(shí)現(xiàn)容易，但標(biāo)準(zhǔn)模板的設(shè)定固定單一，不能有效地解決人瞼姿態(tài)、大小以及形狀變化等問(wèn)題。為了提高該方法的魯棒性，人們又提出了基干彈性模板的人臉檢測(cè)方法。在該方法所建立的模型中，對(duì)應(yīng)面部器官 (人眼、鼻子等 )的尺寸、 位置、角度等信息的參數(shù)被設(shè)置為可變參數(shù)，這樣在檢測(cè)時(shí)能夠根據(jù)被測(cè)圖像的具體情況動(dòng)態(tài)地調(diào)整標(biāo)準(zhǔn)模板的參數(shù)，利用修正后的標(biāo)準(zhǔn)模板再進(jìn)行檢測(cè)，檢測(cè)的準(zhǔn)確度會(huì)提高很多，而且能夠減少外界環(huán)境 (光線、人臉表情變化等 )對(duì)檢測(cè)結(jié)果的影響。該算法缺點(diǎn)是耗時(shí)較長(zhǎng)，不利于實(shí)時(shí)性檢測(cè)。 (2)基于 人臉膚色的方法 膚色是人面部的重要特征，不依賴(lài)于面部其他器官的細(xì)節(jié)特征，相對(duì)穩(wěn)定性較強(qiáng)。人臉表情變化、人臉偏向角度變化等情況對(duì)確定膚色區(qū)域不會(huì)產(chǎn)生影響，并且其色彩信息能夠區(qū)別于大多數(shù)背景物體的顏色，從而可以很好地對(duì)人臉區(qū)域進(jìn)行分割。因此， 基于膚色的人臉檢測(cè)方法實(shí)用性較強(qiáng)。但是由于外界環(huán)境的變化，光照強(qiáng)度、光源顏色的變化，對(duì)利用膚色特征進(jìn)行人臉?lè)指顣?huì)產(chǎn)生很大的影響。因此，需要結(jié)合幾何形狀、運(yùn)動(dòng)分析算法，才能很好地在視頻中對(duì)人臉進(jìn)行定位。 面部膚色特征一般通過(guò)建立膚色模型來(lái)描述， Gauss模型、混合 Gauss模型以及直方圖模型都是常用的膚色模型。檢測(cè)時(shí)根據(jù)被測(cè)圖像像素與膚色模型的相似度，然后結(jié)合空間相關(guān)性將可能的人臉區(qū)域從背景中分割出來(lái)，再對(duì)分害」出的區(qū)域進(jìn)行幾何特征分析，確定其與人臉特征的相關(guān)值，從而排除非 “ 人臉 ” 的似膚色區(qū)域。 (3)基于人臉統(tǒng)計(jì)理論的方法 基于統(tǒng)計(jì)理論進(jìn)行人臉檢測(cè)的方法是目前人臉檢測(cè)領(lǐng)域的研究重心。其主要思想是將人臉檢測(cè)的問(wèn)題轉(zhuǎn)化為統(tǒng)計(jì)學(xué)上模式識(shí)別的問(wèn)題，即通過(guò)采用統(tǒng)計(jì)分析以及機(jī)器學(xué)習(xí)的方法，對(duì)人臉樣本以及非人臉樣本進(jìn)行訓(xùn)練，得到其各自的特征，從而構(gòu)建一個(gè)人臉?lè)诸?lèi)器。利用該分類(lèi)器可以完成對(duì)人臉的檢測(cè)，同時(shí)可以得到人臉的絕對(duì)坐標(biāo)和大小?，F(xiàn)有的主要方法包括有 :基于特征空間的方法、摹于人工神經(jīng)網(wǎng)絡(luò)的方法、基于支持向量機(jī)的方法、基于隱馬爾可夫模型的方法以及 Boosting方法。 9 改進(jìn)型雙重人臉檢測(cè) 總結(jié) :基于幾何特征的方法雖然容易實(shí)現(xiàn)，但易出現(xiàn)人臉的誤檢漏檢，檢測(cè)效果較差 ?；谌四樐w色的方法容易受到外界光線強(qiáng)度變化的影響，魯棒性差，檢測(cè)正確性低 :相比較而言，基于人臉統(tǒng)計(jì)理論的方法檢測(cè)正確率較高，應(yīng)用比較廣泛。其中 AdaBoost方法算法計(jì)算復(fù)雜度低，運(yùn)算速度快，本系統(tǒng)采用該方法作為人臉檢側(cè)的主要手段，并結(jié)合雙眼定位對(duì)原始檢測(cè)算法進(jìn)行改進(jìn)，得到一個(gè)雙重檢測(cè)方法，來(lái)實(shí)現(xiàn)人臉檢測(cè)功能。 傳統(tǒng)的 AdaBoost方法是基于統(tǒng)計(jì)理論的方法?；?AdaBoost的實(shí)時(shí)人臉檢測(cè)算法是將 人臉圖像用 Harrlike特征表示，并引入了 “ 積分圖 ” 對(duì)圖像進(jìn)行表達(dá)，減少了計(jì)算特征值所耗費(fèi)的時(shí)間。利用 AdaBoost思想，選擇若干最能代表人臉的弱特征，從而構(gòu)造成一個(gè)強(qiáng)分類(lèi)器。基于 Cascade 策略，將訓(xùn)練所得的強(qiáng)分類(lèi)器按照串聯(lián)方式連接起來(lái)，形成一個(gè)級(jí)聯(lián)分類(lèi)器。通過(guò)加載該級(jí)聯(lián)分類(lèi)器 .可以對(duì)待檢測(cè)圖像的分類(lèi)，從而實(shí)現(xiàn)人臉檢測(cè)。該算法能夠提高檢測(cè)人臉的速度，實(shí)時(shí)性好，檢測(cè)性能也較好。 Harrlike特征是一種簡(jiǎn)單的矩陣特征，人臉圖像的局部特征主要由相鄰矩形區(qū)域灰度值的變化來(lái)反映。 Haarlike特征可以分類(lèi)為 :邊緣特征、線性特征、中心特征，其具體的表現(xiàn)形式如圖 31所示。邊界特征包含四種 :線性特征包含八種 。中心特征包含兩種。 圖 31 Harrlike特征 引入積分圖 (Integral Image)這個(gè)概念，可以對(duì) Haarlike特征值進(jìn)行快速計(jì)算，減少訓(xùn)練樣本以及檢測(cè)人臉?biāo)馁M(fèi)的時(shí)間。積分圖的主要思想為 :構(gòu)造一個(gè)數(shù)組，其中的元素 10 表示從起點(diǎn)到各個(gè)點(diǎn)所組成的矩形區(qū)域中所有像素之和，并將該數(shù)組保存在內(nèi)存中，當(dāng)需要計(jì)算某個(gè)矩形區(qū)域中所有像素之和時(shí)，再不需要對(duì)整個(gè)區(qū)域進(jìn)行計(jì)算，而是可以直接對(duì)該數(shù)組 中的元素進(jìn)行索引，從而提高計(jì)算速度。 AdaBoost算法應(yīng)用于人臉檢測(cè)，主要是對(duì)賦予了不同權(quán)值的 “ 人臉 ” 與 “ 非人臉 ” 樣本進(jìn)行迭代學(xué)習(xí)，通過(guò)每一輪學(xué)習(xí)，都得到一個(gè)有最高檢測(cè)正確率的弱分類(lèi)器。 經(jīng)過(guò)N輪訓(xùn)練 。 選擇出正確率最高的 N個(gè)弱分類(lèi)器，并對(duì)其賦予一個(gè)與其正確率相應(yīng)的權(quán)值。然后由這 N個(gè)弱分類(lèi)器結(jié)合成為一個(gè)強(qiáng)分類(lèi)器。 最終，將得到的強(qiáng)分類(lèi)器串聯(lián)起來(lái)形成級(jí)聯(lián)分類(lèi)器一人臉檢測(cè)器。對(duì)每一級(jí)強(qiáng)分類(lèi)器都進(jìn)行閩值調(diào)整 ，使得每一級(jí)都能使大多數(shù)的人臉樣本通過(guò)，而將大部分的非人臉樣本剔除。此外，對(duì)強(qiáng)分類(lèi)器進(jìn)行串聯(lián)時(shí)，應(yīng)該將相對(duì)較重要的特征構(gòu)成且結(jié)構(gòu)也比較簡(jiǎn)單的強(qiáng)分類(lèi)器作為前而幾級(jí)，這樣能夠?qū)⒋罅康?“ 非人臉 ” 樣本首先剔除掉。這樣盡管隨著級(jí)數(shù)的增多，矩形特征數(shù)目越來(lái)越多，計(jì)算量會(huì)一直減少，人臉檢測(cè)的速度也會(huì)加快，就能符合系統(tǒng)對(duì)實(shí)時(shí)性的要求。 雙眼定位算 法 傳統(tǒng)的 AdaBoost人臉檢測(cè)算法，是通過(guò)加載訓(xùn)練好的人臉?lè)诸?lèi)器，提取人臉特征。對(duì)待測(cè)圖像進(jìn)行分析，并通過(guò)判斷得到結(jié)果。然而，選取不同的訓(xùn)練樣本，訓(xùn)練所得級(jí)聯(lián)分類(lèi)器的 檢測(cè)效果也有很大不同。同時(shí)，由于樣本的選取過(guò)程隨機(jī)性較大，不能包含所有人臉圖像，得到的分類(lèi)器也不能保證可以檢測(cè)到所有的人臉。而且，本系統(tǒng)需要的是一個(gè)正臉?lè)诸?lèi)器，這樣就要求訓(xùn)練集中所有正樣本為正面人臉，負(fù)樣本需要包含非正臉的所有情況。通過(guò)測(cè)試發(fā)現(xiàn)，如果訓(xùn)練樣本選取不當(dāng)，系統(tǒng)檢測(cè)算法就會(huì)嚴(yán)重失效，導(dǎo)致誤檢的情況，例如，在復(fù)雜背景下將 “ 非人臉 ” 檢測(cè)為 “ 人臉 ” 的情況 ： 將偏轉(zhuǎn)角度較大的人臉誤檢為正面人臉的情況。這些誤檢情況會(huì)對(duì)后續(xù)的人臉識(shí)別產(chǎn)生很大的影響，從而也影響了 系統(tǒng)最終結(jié)果的準(zhǔn)確性。所以，針對(duì)本系統(tǒng)的應(yīng)用需求，