【文章內(nèi)容簡介】 符顯示的基礎(chǔ)上開發(fā)字符串顯示程序。18第四章 人臉檢測與人臉圖像預(yù)處理 概述人臉檢測與人臉圖像預(yù)處理是人臉識別中的一個(gè)重要的環(huán)節(jié)，是特征提取和分類識別的基礎(chǔ)，準(zhǔn)確的人臉檢測和合理的人臉圖像預(yù)處理能夠提高識別率，反之將會(huì)降低識別率。人臉檢測與定位是指在輸入圖像中確定所有人臉（如果存在）的位置與大小。人臉檢測系統(tǒng)的輸入是可能包含人臉的圖像，輸出是關(guān)于圖像中是否存在人臉以及人臉的數(shù)目、位置、尺度、位姿等信息的參數(shù)化描述。輸入圖像由于圖像采集環(huán)境的不同，如光照明暗程度以及設(shè)備性能的優(yōu)劣等，往往存在有噪聲，對比度不夠等缺陷。另外，距離遠(yuǎn)近，焦距大小等又使得人臉在整幅圖像中的位置和大小不確定。由于圖像的質(zhì)量、背景、光照以及圖像中人臉的平移和旋轉(zhuǎn)等都會(huì)影響人臉識別的準(zhǔn)確性，為了保證人臉圖像中人臉位置、大小和人臉圖像質(zhì)量的一致性，必須對人臉圖像進(jìn)行預(yù)處理。人臉圖像預(yù)處理包括人臉圖像的灰度化處理、人臉圖像的尺度歸一化和人臉圖像的灰度均衡化。 人臉檢測與定位 人臉檢測的主要研究方法人臉檢測與定位是指在任意圖像中確定是否包含人臉，如果包含人臉，則需要確定每個(gè)臉部所在的位置和尺寸。作為人臉信息處理中的一項(xiàng)關(guān)鍵技術(shù)，人臉檢測與定位的應(yīng)用背景已經(jīng)遠(yuǎn)遠(yuǎn)超出了人臉識別系統(tǒng)的范疇，在身份驗(yàn)證、基于內(nèi)容的圖像檢索、數(shù)字視頻處理、視覺監(jiān)測等方面都有著重要的應(yīng)用價(jià)值。人臉檢測與定位的過程實(shí)際上就是對人臉模式特征的綜合判斷過程，包括多種方法 [22]。（1）膚色模型與人臉驗(yàn)證的方法對于彩色圖像，在確定膚色模型之后，首先可以進(jìn)行膚色檢測。在檢測出膚色像素后，需要根據(jù)它們在色度上的相似性和空間上的相關(guān)性分割出可能的人臉區(qū)域，同時(shí)利用區(qū)域的幾何特征或灰度特征進(jìn)行是否是人臉的驗(yàn)證，以排除其它色彩類似膚色的物體。（2）基于啟發(fā)式模型的方法19基于啟發(fā)式模型的方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗(yàn)它們是否符合人臉的先驗(yàn)知識。Yang 等提出了基于鑲嵌圖 (mosaic image,又稱為馬賽克圖)的人臉檢測方法。Yang 等將人臉的五官區(qū)域分別劃分為 44 個(gè)和88 個(gè)馬賽克塊，使用一組規(guī)則進(jìn)行檢驗(yàn)，并且利用邊緣特征進(jìn)一步驗(yàn)證。盧春雨 [26]等對鑲嵌圖方法進(jìn)行了改進(jìn)，按照人臉器官的分布將人臉劃分為 33 個(gè)馬賽克塊，在檢測中自適應(yīng)地調(diào)整各塊的大小，使用一組基于各塊灰度和梯度統(tǒng)計(jì)特征的知識規(guī)則檢驗(yàn)該區(qū)域是否為人臉，取得了較好的實(shí)驗(yàn)結(jié)果。（3）基于特征空間的方法由于人臉圖像的復(fù)雜性，顯式地描述人臉特征具有一定困難，因此另一類方法——統(tǒng)計(jì)模型的方法越來越受到重視。此類方法將人臉區(qū)域看作一類模式，即模板特征，使用大量的“人臉” 與“非人臉”樣本訓(xùn)練、構(gòu)造分類器，通過判別圖像中所有可能區(qū)域?qū)儆谀念惸Ｊ降姆椒▽?shí)現(xiàn)人臉的檢測。（4）基于人工神經(jīng)網(wǎng)絡(luò)的方法人工神經(jīng)網(wǎng)絡(luò)(ANN) 方法是把模式的統(tǒng)計(jì)特性隱含在 ANN 的結(jié)構(gòu)和參數(shù)之中，對于人臉這類復(fù)雜的、難以顯式描述的模式，基于 ANN 的方法具有獨(dú)特的優(yōu)勢。（5）基于概率模型的方法基于概率模型方法的一種思路是計(jì)算輸入圖像區(qū)域 region 屬于人臉模式 object 的后驗(yàn)概率 p(object| region)，據(jù)此對所有可能的圖像窗口進(jìn)行判別。（6）基于支持向量機(jī)的方法支持向量機(jī)(Support Vector Machines, SVM)是 Vapnik 等提出的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理(Structural Risk Minimization Principle, SRM)的統(tǒng)計(jì)學(xué)習(xí)理論用于分類與回歸問題。SRM 使 VC(Vapnik Cherovnenkis)維數(shù)的上限最小化，這使得 SVM 方法比基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(Empirical Risk Minimization Principle,ERM)的人工神經(jīng)網(wǎng)絡(luò)方法具有更好的泛化能力。 膚色模型顏色是區(qū)別物體的重要特征之一。對于同一種族的人來說，其膚色具有較強(qiáng)的共性，并且人的皮膚顏色分布與其它物體的顏色分布一般不同，不同物體的顏色除了受光照的影響較大外，與物體的大小﹑伸縮及姿態(tài)基本上無關(guān)。利用這一點(diǎn)，可以快速地大致框出人臉可能存在的區(qū)域。與其它檢測方法相比，利用顏色知識框出的人臉區(qū)域定位可能不夠精確，但如果在整個(gè)系統(tǒng)實(shí)現(xiàn)中作為人臉檢測的粗定位環(huán)節(jié)，它具有直觀﹑實(shí)現(xiàn)簡單﹑快速等特點(diǎn)，可以為后面的進(jìn)一20步精確定位創(chuàng)造良好的條件，已達(dá)到最優(yōu)的系統(tǒng)性能。所謂膚色模型，也和其他的數(shù)學(xué)建模一樣，即用一種代數(shù)的（解析的）或查找表等形式來表達(dá)哪些象素的色彩屬于膚色，或者表征出某一象素的色彩與膚色的相似程度。從方法論的角度，膚色模型的獲得又可以進(jìn)一步的進(jìn)行劃分。1）色彩空間中的聚類模型這種模型主要通過色彩格式的變換，使得膚色在某一色彩或變形的色彩空間中呈良好的聚類特性，然后將這一聚類在色彩空間中的分布區(qū)域用一種簡便的代數(shù)解析式加以表達(dá)。2）高斯模型和高斯混合模型這種方法主要是利用了統(tǒng)計(jì)學(xué)的原理，認(rèn)為像膚色這樣的符合正態(tài)分布的隨機(jī)樣本在特征空間中的分布應(yīng)該符合高斯分布，而高斯分布的數(shù)學(xué)表達(dá)形式簡單、直觀，又是統(tǒng)計(jì)學(xué)中研究得比較深入的一種正態(tài)模型，所以對其加以利用具有一定的優(yōu)越性。利用高斯模型來建立通用的膚色模型又可以大致分為兩種做法?？梢岳枚鄠€(gè)人臉樣本建立起一個(gè)單純的膚色高斯模型；也可以對每一個(gè)單個(gè)的人臉樣本分別建立膚色高斯模型，然后再疊加成為一個(gè)高斯混合模型。膚色是帶有人物的彩色圖像中數(shù)據(jù)量相對集中且穩(wěn)定的區(qū)域，比檢測眼睛等面部器官具有更高的可靠性。若用膚色能定位臉，則這種檢測方法具有姿態(tài)不變性、簡便易行的特點(diǎn)。鑒于膚色在圖像中的這些特點(diǎn)，利用膚色來檢測圖像中人這一類目標(biāo)，如果提取的特征是穩(wěn)定的話，該思路是能夠被大家認(rèn)可的。類似地，唇色也具有這種特點(diǎn)，尤其在口型識別、表情識別等系統(tǒng)中唇部是最感興趣的區(qū)域，對它準(zhǔn)確、快速地定位和捕捉，其意義不亞于識別本身。我 們 在 人 臉 檢 測 算 法 中 加 入 對 膚 色 信 息 的 應(yīng) 用 ， 其 目 的 是 希 望 通 過 在 圖 像 中進(jìn) 行 是 否 是 膚 色 的 預(yù) 先 判 斷 或 后 期 驗(yàn) 證 ， 從 而 排 除 掉 非 膚 色 、 即 不 可 能 存 在 人 臉的 區(qū) 域 ； 以 達(dá) 到 減 小 搜 索 空 間 、 提 高 人 臉 檢 測 算 法 的 時(shí) 間 效 率 、 降 低 誤 報(bào) 率 的 作用 。人們經(jīng)過研究發(fā)現(xiàn)，人的皮膚顏色具有下面三個(gè)特點(diǎn)：1）聚類性 人的皮膚顏色分布在色彩空間中很小的一個(gè)范圍內(nèi)。2）亮度相關(guān)，色度無關(guān) 不同人種的膚色區(qū)別主要受亮度影響，受色度影響較小，通過彩色的亮度歸一化或色彩空間的轉(zhuǎn)換，不同人之間的膚色和唇色的差異能得到明顯的減弱。3）在一定的光照條件下，人的皮膚顏色在歸一化 RGB 顏色空間符合高斯分布，即歸一化后的三種顏色分量分別為 a=R/I, b=G/I, c=B/I, 且I=R+G+B，a, b 分別為一高斯分量。我們知道，彩色圖像在 RGB 空間的 [R,G,B]值不僅代表色彩同時(shí)也表示亮度，RGB 三體之間存在著很大的相關(guān)性，因此， RGB 彩色空間不適于表征物體21的顏色特征。膚色建模選擇 YUV 色彩空間。我們注意到 YUV 色彩空間具有如下一些優(yōu)點(diǎn)：（1）YUV 色彩格式具有與人類視覺感知過程相類似的構(gòu)成原理。（2）YUV 色彩格式被廣泛的應(yīng)用在電視顯示等領(lǐng)域中，也是許多視頻壓縮編碼，如 MPEG、JPEG 等標(biāo)準(zhǔn)中普遍采用的顏色表示格式。（3）YUV 色彩格式具有與 HSI 等其他一些色彩格式相類似的將色彩中的亮度分量分離出來的優(yōu)點(diǎn)。（4）相比 HSI 等其他一些色彩格式，YUV 色彩格式的計(jì)算過程和空間坐標(biāo)表示形式比較簡單。（5）實(shí)驗(yàn)結(jié)果表明在 YUV 色彩空間中膚色的聚類特性比較好。由 RGB 空間向 YUV 空間轉(zhuǎn)換的公式如下： （4—1）??????????????? ...Y 分量表示顏色的亮度信息，兩個(gè)色差信號 U 和 V 分量相互正交，稱為色度信號。我們看到的彩色信號可以看成是由亮度信號和色度信號兩部分復(fù)合而成。色度信號 U 和 V 在二維平面空間中形成一個(gè)二維矢量，其模值 Ch 代表彩色的色飽和度，體現(xiàn)了 R，G，B 的大??；而相位角 φ 代表色調(diào)，體現(xiàn)了R，G， B 三者的比例。其中模值 Ch 和相位角 φ 定義如下： （4—2VCh??)(1UVtg???2）圖 直觀地反映了彩色信息在 UV 平面上的分布。22圖 彩色信息的 UV 空間矢量圖進(jìn)一步研究發(fā)現(xiàn)，我們企圖尋找不因人的改變而改變的膚色空間、唇色空間，實(shí)際上，就是要在色度的 UV 平面上尋找一個(gè)適當(dāng)?shù)南辔唤?Φ,使得膚色值或唇色值能夠相對集中地體現(xiàn)在某個(gè)軸上，即用這樣的坐標(biāo)軸 (空間)來表現(xiàn)數(shù)據(jù)，能得到膚色或唇色的最強(qiáng)體現(xiàn)。為了使我們的方法不僅適合不同膚色的人臉檢測，而且也適合于其他特定的目標(biāo)檢測，因此要對待檢測的人臉圖像進(jìn)行實(shí)時(shí)學(xué)習(xí)，選取不同角度視頻捕捉的人臉圖像作為學(xué)習(xí)樣本，交互標(biāo)注出人臉范圍，從而建立起實(shí)時(shí)膚色模型。由于皮膚顏色具有空間聚類性，相對于整個(gè)色彩空間而言僅是一個(gè)小的區(qū)域，利用顏色直方圖的方法，根據(jù)聚類分布特點(diǎn)，可知二維直方圖呈明顯單峰，據(jù)此可建立人臉膚色模型。算法如下：統(tǒng)計(jì)采集到的多幅彩色圖像中指定區(qū)域各像素點(diǎn)的（R，G，B ）值，利用 RGB 彩色空間與 YUV 彩色空間的轉(zhuǎn)換關(guān)系，得到像素點(diǎn)在 YUV 空間的對應(yīng)像素值(Y，U，V)，在平面二維 UV 坐標(biāo)系中統(tǒng)計(jì)所得的數(shù)據(jù)，并將 U，V 值轉(zhuǎn)換為相位角 Φ，為了忽略邊緣不連續(xù)區(qū)域，我們考慮不同相位角 Φ 所對應(yīng)的像素點(diǎn)的個(gè)數(shù)，以個(gè)數(shù)最多的相位角 Φ 為基準(zhǔn)，保留 Φ 概率分布在最大值的 ～ 范圍內(nèi)的坐標(biāo)點(diǎn)，就可以得到膚色在二維坐標(biāo)系中的聚類區(qū)域，最后對多幅圖像求模型的平均值，就建立了這些圖像所對應(yīng)的人臉膚色的 Φ 模型。在后繼的實(shí)驗(yàn)中我們發(fā)現(xiàn)，用同樣方法加入膚色 Cb模型后，人臉分割的準(zhǔn)確性提高了，所以為了提高檢測速度和效率，根據(jù)相同的原理，我們再建立膚色在 YCbCr 色彩空間的 Cb 模型。由 RGB 空間向 YCbCr 空間轉(zhuǎn)換的公式如下： （4—3）??????????????? ..29.例如，對于如下采集到的多幅彩色圖像，建立框出區(qū)域的膚色模型。 圖 采集到的彩色圖片對于以上這組圖像建立的膚色模型為： amp。amp。 Cb]165,20[???]80,4[?23為了驗(yàn)證該算法的正確性，我們選用標(biāo)準(zhǔn)人臉庫中的圖片進(jìn)行實(shí)驗(yàn)。例如，對于下面這組標(biāo)準(zhǔn)人臉庫中的圖片，用上述的方法可以得到它們的膚色模型。 圖 Inter 上下載的圖片得到的膚色模型為： amp。amp。 Cb ，這個(gè)結(jié)果與高文等]150,4[???]10,3[?人的膚色模型完全相符，所以我們提出的建模方法是可信的。需要說明的是：由于光照條件和采集設(shè)備的原因，對不同的圖像來說，其膚色相位角 Φ 和 Cb 分量的分布會(huì)隨之而改變，這從我們上面給出的兩個(gè)實(shí)例可以看出。在實(shí)驗(yàn)室燈光下，用我們采集到一組圖像建立的膚色 Φ 模型為： amp。amp。 Cb 。它更適合于后繼的人臉檢測，因?yàn)樵谖覀冄衇16520[?，??]80,4[?究的實(shí)時(shí)視頻人臉檢測中，膚色建模與檢測是兩個(gè)連續(xù)過程，兩者是在同一環(huán)境下進(jìn)行的，即我們的建模過程也是實(shí)時(shí)的，因此采用我們的實(shí)時(shí)建立膚色模型并進(jìn)行人臉檢測的方法魯棒性好。 基于二維投影的快速人臉分割算法在膚色模型確定的情況下，人臉區(qū)域分割的算法在膚色分割預(yù)處理中起到核心性的作用。人臉區(qū)域分割將彩色圖像中的膚色區(qū)域從原圖像中分割出來，我們稱其為膚色候選區(qū)域。之后人臉區(qū)域的檢測確認(rèn)就是在選出的候選區(qū)域中進(jìn)行的，這樣不用在整幅圖像中搜索，大大降低的時(shí)間和空間復(fù)雜度，提高了效率。對于一個(gè)好的分割算法有如下要求：24（1）分割得到的一系列矩形應(yīng)該盡可能地包含待檢測圖像中的所有人臉。對于距離較近或者是有與其他膚色接觸的多個(gè)人臉，分割后得到的膚色區(qū)域自然區(qū)域較大或者是連在一起，這時(shí)可以用一個(gè)矩形區(qū)域覆蓋它們。根據(jù)前面對膚色分割預(yù)處理的分析可知，不漏檢、不降低正確率是整個(gè)膚色分割預(yù)處理的前提，也是人臉區(qū)域分割算法的首要前提。再加上前面對膚色模型的分析，無論什么樣的膚色模型都存在著判斷失誤的現(xiàn)象，所以這第一點(diǎn)要求（即算法輸出的一系列矩形應(yīng)該盡量包含所有的人臉區(qū)域）便顯得尤為重要。（2）分割得到的一系列矩形應(yīng)該少包含非膚色區(qū)域，也即相對原來的整幅圖像，經(jīng)過膚色分割預(yù)處理后的這一系列矩形的大小要明顯小于原來的整幅圖像。這也正是膚色分割預(yù)處理能夠提高人臉檢測算法的時(shí)間效率的原因；也是膚色分割預(yù)處理能夠降低誤檢率的關(guān)鍵。根據(jù)對膚色區(qū)域分割算法結(jié)果的要求，也就是對于算法本身的要求，為此，我們這里提出了一種新穎、快捷、魯棒的人臉區(qū)域分割算法。采用了將基于象素點(diǎn)的方法和基于區(qū)域的方法相結(jié)合的算法：基于象素點(diǎn)的方法主要用于前期初始矩形序列的產(chǎn)生，爭取快速的得到包含人臉區(qū)域的外接矩形；然后用基于區(qū)域的方法，全局考慮，對初始矩形序列進(jìn)行區(qū)域歸并，得到最終的輸出矩形。對于算法的整體流程，我們用圖 來表示。圖 分割算法流程首先，根據(jù)建立的膚色模型，將輸入的彩色圖像用膚色分割成黑白二值圖像。由于光照、采集設(shè)備等的影響，二值圖中會(huì)存在部分噪聲。為了