【文章內容簡介】 符顯示的基礎上開發(fā)字符串顯示程序。18第四章 人臉檢測與人臉圖像預處理 概述人臉檢測與人臉圖像預處理是人臉識別中的一個重要的環(huán)節(jié)，是特征提取和分類識別的基礎，準確的人臉檢測和合理的人臉圖像預處理能夠提高識別率，反之將會降低識別率。人臉檢測與定位是指在輸入圖像中確定所有人臉（如果存在）的位置與大小。人臉檢測系統(tǒng)的輸入是可能包含人臉的圖像，輸出是關于圖像中是否存在人臉以及人臉的數(shù)目、位置、尺度、位姿等信息的參數(shù)化描述。輸入圖像由于圖像采集環(huán)境的不同，如光照明暗程度以及設備性能的優(yōu)劣等，往往存在有噪聲，對比度不夠等缺陷。另外，距離遠近，焦距大小等又使得人臉在整幅圖像中的位置和大小不確定。由于圖像的質量、背景、光照以及圖像中人臉的平移和旋轉等都會影響人臉識別的準確性，為了保證人臉圖像中人臉位置、大小和人臉圖像質量的一致性，必須對人臉圖像進行預處理。人臉圖像預處理包括人臉圖像的灰度化處理、人臉圖像的尺度歸一化和人臉圖像的灰度均衡化。 人臉檢測與定位 人臉檢測的主要研究方法人臉檢測與定位是指在任意圖像中確定是否包含人臉，如果包含人臉，則需要確定每個臉部所在的位置和尺寸。作為人臉信息處理中的一項關鍵技術，人臉檢測與定位的應用背景已經(jīng)遠遠超出了人臉識別系統(tǒng)的范疇，在身份驗證、基于內容的圖像檢索、數(shù)字視頻處理、視覺監(jiān)測等方面都有著重要的應用價值。人臉檢測與定位的過程實際上就是對人臉模式特征的綜合判斷過程，包括多種方法 [22]。（1）膚色模型與人臉驗證的方法對于彩色圖像，在確定膚色模型之后，首先可以進行膚色檢測。在檢測出膚色像素后，需要根據(jù)它們在色度上的相似性和空間上的相關性分割出可能的人臉區(qū)域，同時利用區(qū)域的幾何特征或灰度特征進行是否是人臉的驗證，以排除其它色彩類似膚色的物體。（2）基于啟發(fā)式模型的方法19基于啟發(fā)式模型的方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗它們是否符合人臉的先驗知識。Yang 等提出了基于鑲嵌圖 (mosaic image,又稱為馬賽克圖)的人臉檢測方法。Yang 等將人臉的五官區(qū)域分別劃分為 44 個和88 個馬賽克塊，使用一組規(guī)則進行檢驗，并且利用邊緣特征進一步驗證。盧春雨 [26]等對鑲嵌圖方法進行了改進，按照人臉器官的分布將人臉劃分為 33 個馬賽克塊，在檢測中自適應地調整各塊的大小，使用一組基于各塊灰度和梯度統(tǒng)計特征的知識規(guī)則檢驗該區(qū)域是否為人臉，取得了較好的實驗結果。（3）基于特征空間的方法由于人臉圖像的復雜性，顯式地描述人臉特征具有一定困難，因此另一類方法——統(tǒng)計模型的方法越來越受到重視。此類方法將人臉區(qū)域看作一類模式，即模板特征，使用大量的“人臉” 與“非人臉”樣本訓練、構造分類器，通過判別圖像中所有可能區(qū)域屬于哪類模式的方法實現(xiàn)人臉的檢測。（4）基于人工神經(jīng)網(wǎng)絡的方法人工神經(jīng)網(wǎng)絡(ANN) 方法是把模式的統(tǒng)計特性隱含在 ANN 的結構和參數(shù)之中，對于人臉這類復雜的、難以顯式描述的模式，基于 ANN 的方法具有獨特的優(yōu)勢。（5）基于概率模型的方法基于概率模型方法的一種思路是計算輸入圖像區(qū)域 region 屬于人臉模式 object 的后驗概率 p(object| region)，據(jù)此對所有可能的圖像窗口進行判別。（6）基于支持向量機的方法支持向量機(Support Vector Machines, SVM)是 Vapnik 等提出的基于結構風險最小化原理(Structural Risk Minimization Principle, SRM)的統(tǒng)計學習理論用于分類與回歸問題。SRM 使 VC(Vapnik Cherovnenkis)維數(shù)的上限最小化，這使得 SVM 方法比基于經(jīng)驗風險最小化(Empirical Risk Minimization Principle,ERM)的人工神經(jīng)網(wǎng)絡方法具有更好的泛化能力。 膚色模型顏色是區(qū)別物體的重要特征之一。對于同一種族的人來說，其膚色具有較強的共性，并且人的皮膚顏色分布與其它物體的顏色分布一般不同，不同物體的顏色除了受光照的影響較大外，與物體的大小﹑伸縮及姿態(tài)基本上無關。利用這一點，可以快速地大致框出人臉可能存在的區(qū)域。與其它檢測方法相比，利用顏色知識框出的人臉區(qū)域定位可能不夠精確，但如果在整個系統(tǒng)實現(xiàn)中作為人臉檢測的粗定位環(huán)節(jié)，它具有直觀﹑實現(xiàn)簡單﹑快速等特點，可以為后面的進一20步精確定位創(chuàng)造良好的條件，已達到最優(yōu)的系統(tǒng)性能。所謂膚色模型，也和其他的數(shù)學建模一樣，即用一種代數(shù)的（解析的）或查找表等形式來表達哪些象素的色彩屬于膚色，或者表征出某一象素的色彩與膚色的相似程度。從方法論的角度，膚色模型的獲得又可以進一步的進行劃分。1）色彩空間中的聚類模型這種模型主要通過色彩格式的變換，使得膚色在某一色彩或變形的色彩空間中呈良好的聚類特性，然后將這一聚類在色彩空間中的分布區(qū)域用一種簡便的代數(shù)解析式加以表達。2）高斯模型和高斯混合模型這種方法主要是利用了統(tǒng)計學的原理，認為像膚色這樣的符合正態(tài)分布的隨機樣本在特征空間中的分布應該符合高斯分布，而高斯分布的數(shù)學表達形式簡單、直觀，又是統(tǒng)計學中研究得比較深入的一種正態(tài)模型，所以對其加以利用具有一定的優(yōu)越性。利用高斯模型來建立通用的膚色模型又可以大致分為兩種做法?？梢岳枚鄠€人臉樣本建立起一個單純的膚色高斯模型；也可以對每一個單個的人臉樣本分別建立膚色高斯模型，然后再疊加成為一個高斯混合模型。膚色是帶有人物的彩色圖像中數(shù)據(jù)量相對集中且穩(wěn)定的區(qū)域，比檢測眼睛等面部器官具有更高的可靠性。若用膚色能定位臉，則這種檢測方法具有姿態(tài)不變性、簡便易行的特點。鑒于膚色在圖像中的這些特點，利用膚色來檢測圖像中人這一類目標，如果提取的特征是穩(wěn)定的話，該思路是能夠被大家認可的。類似地，唇色也具有這種特點，尤其在口型識別、表情識別等系統(tǒng)中唇部是最感興趣的區(qū)域，對它準確、快速地定位和捕捉，其意義不亞于識別本身。我 們 在 人 臉 檢 測 算 法 中 加 入 對 膚 色 信 息 的 應 用 ， 其 目 的 是 希 望 通 過 在 圖 像 中進 行 是 否 是 膚 色 的 預 先 判 斷 或 后 期 驗 證 ， 從 而 排 除 掉 非 膚 色 、 即 不 可 能 存 在 人 臉的 區(qū) 域 ； 以 達 到 減 小 搜 索 空 間 、 提 高 人 臉 檢 測 算 法 的 時 間 效 率 、 降 低 誤 報 率 的 作用 。人們經(jīng)過研究發(fā)現(xiàn)，人的皮膚顏色具有下面三個特點：1）聚類性 人的皮膚顏色分布在色彩空間中很小的一個范圍內。2）亮度相關，色度無關 不同人種的膚色區(qū)別主要受亮度影響，受色度影響較小，通過彩色的亮度歸一化或色彩空間的轉換，不同人之間的膚色和唇色的差異能得到明顯的減弱。3）在一定的光照條件下，人的皮膚顏色在歸一化 RGB 顏色空間符合高斯分布，即歸一化后的三種顏色分量分別為 a=R/I, b=G/I, c=B/I, 且I=R+G+B，a, b 分別為一高斯分量。我們知道，彩色圖像在 RGB 空間的 [R,G,B]值不僅代表色彩同時也表示亮度，RGB 三體之間存在著很大的相關性，因此， RGB 彩色空間不適于表征物體21的顏色特征。膚色建模選擇 YUV 色彩空間。我們注意到 YUV 色彩空間具有如下一些優(yōu)點：（1）YUV 色彩格式具有與人類視覺感知過程相類似的構成原理。（2）YUV 色彩格式被廣泛的應用在電視顯示等領域中，也是許多視頻壓縮編碼，如 MPEG、JPEG 等標準中普遍采用的顏色表示格式。（3）YUV 色彩格式具有與 HSI 等其他一些色彩格式相類似的將色彩中的亮度分量分離出來的優(yōu)點。（4）相比 HSI 等其他一些色彩格式，YUV 色彩格式的計算過程和空間坐標表示形式比較簡單。（5）實驗結果表明在 YUV 色彩空間中膚色的聚類特性比較好。由 RGB 空間向 YUV 空間轉換的公式如下： （4—1）??????????????? ...Y 分量表示顏色的亮度信息，兩個色差信號 U 和 V 分量相互正交，稱為色度信號。我們看到的彩色信號可以看成是由亮度信號和色度信號兩部分復合而成。色度信號 U 和 V 在二維平面空間中形成一個二維矢量，其模值 Ch 代表彩色的色飽和度，體現(xiàn)了 R，G，B 的大??；而相位角 φ 代表色調，體現(xiàn)了R，G， B 三者的比例。其中模值 Ch 和相位角 φ 定義如下： （4—2VCh??)(1UVtg???2）圖 直觀地反映了彩色信息在 UV 平面上的分布。22圖 彩色信息的 UV 空間矢量圖進一步研究發(fā)現(xiàn)，我們企圖尋找不因人的改變而改變的膚色空間、唇色空間，實際上，就是要在色度的 UV 平面上尋找一個適當?shù)南辔唤?Φ,使得膚色值或唇色值能夠相對集中地體現(xiàn)在某個軸上，即用這樣的坐標軸 (空間)來表現(xiàn)數(shù)據(jù)，能得到膚色或唇色的最強體現(xiàn)。為了使我們的方法不僅適合不同膚色的人臉檢測，而且也適合于其他特定的目標檢測，因此要對待檢測的人臉圖像進行實時學習，選取不同角度視頻捕捉的人臉圖像作為學習樣本，交互標注出人臉范圍，從而建立起實時膚色模型。由于皮膚顏色具有空間聚類性，相對于整個色彩空間而言僅是一個小的區(qū)域，利用顏色直方圖的方法，根據(jù)聚類分布特點，可知二維直方圖呈明顯單峰，據(jù)此可建立人臉膚色模型。算法如下：統(tǒng)計采集到的多幅彩色圖像中指定區(qū)域各像素點的（R，G，B ）值，利用 RGB 彩色空間與 YUV 彩色空間的轉換關系，得到像素點在 YUV 空間的對應像素值(Y，U，V)，在平面二維 UV 坐標系中統(tǒng)計所得的數(shù)據(jù)，并將 U，V 值轉換為相位角 Φ，為了忽略邊緣不連續(xù)區(qū)域，我們考慮不同相位角 Φ 所對應的像素點的個數(shù)，以個數(shù)最多的相位角 Φ 為基準，保留 Φ 概率分布在最大值的 ～ 范圍內的坐標點，就可以得到膚色在二維坐標系中的聚類區(qū)域，最后對多幅圖像求模型的平均值，就建立了這些圖像所對應的人臉膚色的 Φ 模型。在后繼的實驗中我們發(fā)現(xiàn)，用同樣方法加入膚色 Cb模型后，人臉分割的準確性提高了，所以為了提高檢測速度和效率，根據(jù)相同的原理，我們再建立膚色在 YCbCr 色彩空間的 Cb 模型。由 RGB 空間向 YCbCr 空間轉換的公式如下： （4—3）??????????????? ..29.例如，對于如下采集到的多幅彩色圖像，建立框出區(qū)域的膚色模型。 圖 采集到的彩色圖片對于以上這組圖像建立的膚色模型為： amp。amp。 Cb]165,20[???]80,4[?23為了驗證該算法的正確性，我們選用標準人臉庫中的圖片進行實驗。例如，對于下面這組標準人臉庫中的圖片，用上述的方法可以得到它們的膚色模型。 圖 Inter 上下載的圖片得到的膚色模型為： amp。amp。 Cb ，這個結果與高文等]150,4[???]10,3[?人的膚色模型完全相符，所以我們提出的建模方法是可信的。需要說明的是：由于光照條件和采集設備的原因，對不同的圖像來說，其膚色相位角 Φ 和 Cb 分量的分布會隨之而改變，這從我們上面給出的兩個實例可以看出。在實驗室燈光下，用我們采集到一組圖像建立的膚色 Φ 模型為： amp。amp。 Cb 。它更適合于后繼的人臉檢測，因為在我們研]16520[?，??]80,4[?究的實時視頻人臉檢測中，膚色建模與檢測是兩個連續(xù)過程，兩者是在同一環(huán)境下進行的，即我們的建模過程也是實時的，因此采用我們的實時建立膚色模型并進行人臉檢測的方法魯棒性好。 基于二維投影的快速人臉分割算法在膚色模型確定的情況下，人臉區(qū)域分割的算法在膚色分割預處理中起到核心性的作用。人臉區(qū)域分割將彩色圖像中的膚色區(qū)域從原圖像中分割出來，我們稱其為膚色候選區(qū)域。之后人臉區(qū)域的檢測確認就是在選出的候選區(qū)域中進行的，這樣不用在整幅圖像中搜索，大大降低的時間和空間復雜度，提高了效率。對于一個好的分割算法有如下要求：24（1）分割得到的一系列矩形應該盡可能地包含待檢測圖像中的所有人臉。對于距離較近或者是有與其他膚色接觸的多個人臉，分割后得到的膚色區(qū)域自然區(qū)域較大或者是連在一起，這時可以用一個矩形區(qū)域覆蓋它們。根據(jù)前面對膚色分割預處理的分析可知，不漏檢、不降低正確率是整個膚色分割預處理的前提，也是人臉區(qū)域分割算法的首要前提。再加上前面對膚色模型的分析，無論什么樣的膚色模型都存在著判斷失誤的現(xiàn)象，所以這第一點要求（即算法輸出的一系列矩形應該盡量包含所有的人臉區(qū)域）便顯得尤為重要。（2）分割得到的一系列矩形應該少包含非膚色區(qū)域，也即相對原來的整幅圖像，經(jīng)過膚色分割預處理后的這一系列矩形的大小要明顯小于原來的整幅圖像。這也正是膚色分割預處理能夠提高人臉檢測算法的時間效率的原因；也是膚色分割預處理能夠降低誤檢率的關鍵。根據(jù)對膚色區(qū)域分割算法結果的要求，也就是對于算法本身的要求，為此，我們這里提出了一種新穎、快捷、魯棒的人臉區(qū)域分割算法。采用了將基于象素點的方法和基于區(qū)域的方法相結合的算法：基于象素點的方法主要用于前期初始矩形序列的產(chǎn)生，爭取快速的得到包含人臉區(qū)域的外接矩形；然后用基于區(qū)域的方法，全局考慮，對初始矩形序列進行區(qū)域歸并，得到最終的輸出矩形。對于算法的整體流程，我們用圖 來表示。圖 分割算法流程首先，根據(jù)建立的膚色模型，將輸入的彩色圖像用膚色分割成黑白二值圖像。由于光照、采集設備等的影響，二值圖中會存在部分噪聲。為了