【文章內(nèi)容簡(jiǎn)介】 and Pattern Recognition)等重要國(guó)際會(huì)議上每年都有大量關(guān)于人臉檢測(cè)的論文，占有關(guān)人臉研究論文的近 1/3之多。 本文研究的主要內(nèi)容 本課題致力于完成 Visual C++ 平臺(tái)下的人臉檢測(cè)與定位系統(tǒng)，人臉檢測(cè)定位的算法限制于基于膚色相似度算法。要完成的工作包括相似度的計(jì)算，圖像的二值化，垂直直方圖和水平直方圖的獲取，人臉特征（眼睛、嘴和鼻子）的提取。本課題著重于膚色模型相似度在人臉檢測(cè)與定位中的應(yīng)用，對(duì)增加人臉檢測(cè)與定位的準(zhǔn)確率的研究有一定的指導(dǎo)意義。 基于膚色相似度的人臉檢測(cè)與定位 4 第 2 章 基于膚色模型的人臉檢測(cè) 人臉檢測(cè)方法 人臉檢測(cè)傳統(tǒng)的方法多是在亮度空間進(jìn)行，僅有灰度信息的變化 ,沒(méi)有任何區(qū)域或比例的限制，所以 必須做多尺度空間的全搜索，計(jì)算量非常大，而利用色度信息則可大大降低搜索區(qū)域，其中膚色信息是最為直接有效的。而且在人臉區(qū)域中，膚色一定是占主導(dǎo)地位的像素色彩值。膚色雖然因人而異 ,但很多研究表明膚色在色彩空間中的一定范圍內(nèi)還是呈聚類特性的，特別是在排除了光照亮度和在經(jīng)過(guò)變換的色彩空間中。所以利用膚色這一線索可以排除掉在灰度圖像中很像人臉而對(duì)應(yīng)到彩色圖像中根本不是膚色的區(qū)域，這在人臉檢測(cè)中會(huì)起到積極的作用。 目前人臉檢測(cè)方法主要可以分為以下 4 類： 1) 基于知識(shí)的方法： 利用人臉的幾何形狀以及臉部器官的比例對(duì)稱關(guān)系來(lái)定位 人臉； 2) 基于特征的方法：直接利用人臉信息如膚色特征、輪廓特征、紋理特征等； 3) 基于模板的方法：使用模板在待測(cè)圖像中逐點(diǎn)掃描計(jì)算匹配度，根據(jù)匹配度來(lái)判斷有無(wú)人臉； 4) 基于外觀的方法：如神經(jīng)網(wǎng)絡(luò)法、支持向量機(jī)法、特征臉?lè)ǖ取? 上述的各種方法都存在自身的優(yōu)缺點(diǎn)和適用領(lǐng)域，很多學(xué)者在各自所面臨的問(wèn)題范圍內(nèi)不斷探索，也發(fā)明了許多卓有成效的檢測(cè)算法。但各種檢測(cè)算法都存在效率與性能上的矛盾，也即在正確率、魯棒性能方面更好的算法往往會(huì)花費(fèi)更多的時(shí)間及系統(tǒng)消耗。 在本文的設(shè)計(jì)中提出了一種基于膚色相似度的人臉檢測(cè)與定位的方法， 采用 了臉部皮膚之間相似度的方法以及二值化方法 ， 使用了基于邊界方法和基于區(qū)域方法相結(jié)合的算法 ， 提取了眼睛、嘴和鼻子等關(guān)鍵特征 ， 最終較好地實(shí)現(xiàn)了人臉的檢測(cè)與定位 。下面就介紹這種方法。 基于膚色的人臉檢測(cè) 色彩空間的選擇 根據(jù)計(jì)算機(jī)色彩理論，對(duì)一種顏色而言，在計(jì)算機(jī)中有不同的表達(dá)式，這樣就形成了各種不同的色彩空間，當(dāng)然各種色彩空間只不過(guò)是顏色在計(jì)算機(jī)內(nèi)的不同的表達(dá)形式而已， 在具體的色彩空間中通過(guò)實(shí)踐找到膚色區(qū)間 ,建立起可操作性的膚色模型 ,這樣就讓膚色信息成為了人臉檢測(cè)的核心方法。不同膚色模型的建立 基于不同的顏色空間 ,且為顏色空間的一個(gè)子空間。主要的彩色空間有以下幾種： RGB 格式（紅、綠、藍(lán)三基色模型）、 HIS 格式（色度、飽和度、亮度模型）和 YCbCr(YUV)格式。 對(duì)于彩色空間來(lái)說(shuō)， RGB 是最常用的顏色表示系統(tǒng)，但是人臉膚色在這一系統(tǒng)中的分布非常廣泛，因此不適合表示人臉區(qū)域，往往需要轉(zhuǎn)換到其他的彩色空間。 在該文的設(shè)計(jì)中采用了 YCbCr(YUV)格式。這種色彩空間是以演播室質(zhì)量標(biāo)準(zhǔn)為目標(biāo)的CCIR601 編碼方案中采用的彩色表示模型，被廣泛地應(yīng)用在電視的色彩顯示等領(lǐng)域中。安徽工程科技學(xué)院畢業(yè)設(shè)計(jì)（論文） 5 其優(yōu)點(diǎn)將在下一節(jié)介紹。 通過(guò)下面的轉(zhuǎn)換公式，可以將像素由 RGB 空間轉(zhuǎn)換到 YCbCr空間。 Y=++ Cb=++128 （ 21） Cr=+128 我們將統(tǒng)計(jì)采集到的多幅圖像人臉區(qū)域像素 RGB值，按上式進(jìn)行轉(zhuǎn)換，統(tǒng)計(jì)在 CbCr空間的分布概率，保留概率大于 ，得到膚色分布區(qū)域。最終，我們得到的膚色范圍是： Cb∈ [90， 125]， Cr∈ [135， 165]。將膚色范圍內(nèi)的像素 置 1， 其余置 0，得到分割后的二值圖像，實(shí)現(xiàn)人臉的初步定位。 膚色模型 膚色是人臉一個(gè)重要而明顯的特征，利用膚色模型可以快速排除非膚色區(qū)域，大大減小搜索空間，提高人臉檢測(cè)的效率。 考慮到膚色等色彩信息經(jīng)常受到光源顏色、圖像采集設(shè)備的色彩的偏差等因素的影響，而在整體上偏離本質(zhì)色彩而向某一方向移動(dòng)，即我們通常所說(shuō)的色彩偏冷、偏暖，照片偏黃、偏藍(lán)等等，這種現(xiàn)象在藝術(shù)照片中更為常見(jiàn)。 為了抵消這種整個(gè)圖像中存在著的色彩偏差 ,我們將整個(gè)圖像中所有像素的亮度 (是經(jīng)過(guò)了非線性 Y校正后的亮度 )從高到低進(jìn)行排列，取前 5％ 的像素，如果這些像素的數(shù)目足夠多 (例如，大于 100)，我們就將它們的亮度作為“參考白” (Reference White)，也即將它們的色彩的 R、 G、 B 分量值都調(diào)整為最大的 255。整幅圖像的其他像素點(diǎn)的色彩值也都按這一調(diào)整尺度進(jìn)行變換。 這是構(gòu)成我們實(shí)際利用膚色模型的主要部分。這一非線性分段色彩變換得到的膚色模型屬于色彩空間中的聚類模型，這一類膚色模型的建立首先要選取一種合適的色彩空間，我們注意到 YCbCr 色彩空間具有如下優(yōu)點(diǎn)： 1) YCbCr 色 彩格式具有人類視覺(jué)感知過(guò)程相類似的構(gòu)成原理； 2) CbCr 色彩格式被廣泛的應(yīng)用在電視顯示等領(lǐng)域中，也是許多視頻壓縮解碼，如MPEG,JPEG 等標(biāo)準(zhǔn)中普遍采用的顏色表示格式； 3) YCbCr 色彩格式具有與 HIS 等其他一些顏色格式相類似的將色彩中的亮度分量分離出來(lái)的優(yōu)點(diǎn)； 4) 相比 HIS 等其他一些色彩格式， YCbCr 色彩格式的計(jì)算過(guò)程和空間坐標(biāo)表示形式比較簡(jiǎn)單； 5) 實(shí)驗(yàn)結(jié)果表明在 YCbCr 色彩空間中膚色的聚類特性比較好。 在 YCbCr 色彩空間中，膚色聚類事兩頭尖的紡錘形狀，也就是在 Y 值較大和較小的部分，膚色聚類區(qū)域也隨之縮減 。由此可見(jiàn)，在值較大和較小的部分，膚色聚類區(qū)域也隨之縮減。由此可見(jiàn)，在 Y 值不同的地方，我們 對(duì) CbCr 子平面 進(jìn)行 投影，得到的結(jié)果是不同的，由此得到結(jié)論，簡(jiǎn)單地排除 Y 分類，按照傳統(tǒng)地做法在三維的 CbCr 子平面中尋求膚色的聚類區(qū)域是不可行的，我們必須考慮 Y 值不同造成的影響，從而對(duì)YCbCr 色彩格式進(jìn)行非線性分段色彩變換。 首先應(yīng)用膚色模型進(jìn)行人臉的初定位，接著提出了一種基于膚色區(qū)域分割方法得到包含人臉區(qū)域在內(nèi)的一系列矩形區(qū)域，從而進(jìn)行了定位。 基于膚色相似度的人臉檢測(cè)與定位 6 人臉 膚色 相似度 的 計(jì)算 該文設(shè)計(jì)的是基于人臉膚色模型 , 利 用相似度方法 , 對(duì)人臉區(qū)域進(jìn)行了檢測(cè)和定位。 我們定義 r=R/(R+G+B),b=B/(R+G+B),這樣把三維的 RGB 降為二維。而在這個(gè)二維平面上，膚色區(qū)域服從高斯分布。我們可以采用訓(xùn)練的方法來(lái)計(jì)算得到一個(gè)分布中心，此過(guò)程主要生成可用于識(shí)別的參數(shù)。通常，在已有的樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判定規(guī)則，使得按此規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或者結(jié)果期望最大。開(kāi)始訓(xùn)練命令，打開(kāi) bmp 格式的圖像后計(jì)算每幅圖像的像素?cái)?shù) CrList 和 CbList，然后查詢總的圖像數(shù) count 用于將當(dāng)前數(shù)據(jù)庫(kù)內(nèi)的所有用戶圖片 進(jìn)行訓(xùn)練， 最后對(duì)每幅圖像求訓(xùn)練平均，得到可供識(shí)別比對(duì)的訓(xùn)練基。訓(xùn)練的過(guò)程如圖所示： N Y N Y 圖 21 訓(xùn)練流程圖 這樣訓(xùn)練以后，得到了 Cb 和 Cr 的均值為 和 ，落在膚色范圍內(nèi) ,驗(yàn)證了理論的正確性。同樣也得到了膚色 信息的均值 M 和方差 C， 為下一步計(jì)算相似度做了準(zhǔn)備。 然后根據(jù)所考察的像素離中心遠(yuǎn)近得到膚色的相似度，得到與原圖相似的分布圖，均值 M 和方差 C 如下： M=E(x),C=E((xM)(xM)T)，其中 x=[r,b]T 相似度計(jì)算公式為： P(r,b)=exp[(xm)TC1(xm)] （ 22） 關(guān)于相似度軟件的實(shí)現(xiàn)純粹是公式的實(shí)現(xiàn)，在這就不做說(shuō)明了。 再按照一定的規(guī)則對(duì)該圖二值化， 通過(guò)設(shè)置合適的閾值（關(guān)于最佳閾值的設(shè)置將在下一章中介紹），可將圖像變成只有 0 和 1 的二值圖像，這樣做的目的是為了減小計(jì)算量，加快處理速度，同時(shí)，還可將目標(biāo)從背景中分離出來(lái)，有效的突出了目標(biāo) 。 訓(xùn)練開(kāi)始 讀取用戶數(shù)量以及對(duì)應(yīng)的圖像數(shù) 讀取下一個(gè)用戶的信息 讀取下一幅圖像 轉(zhuǎn)成灰階形式 全部圖 對(duì)每個(gè)人求 訓(xùn)練平均 保存訓(xùn)練基 全部用戶 安徽工程科技學(xué)院畢業(yè)設(shè)計(jì)（論文） 7 二值化流程如下： 圖 22 二值化流程圖 按這種方法就可以對(duì)輸入的 bmp 圖像 23 進(jìn)行處理， 圖 23 原圖 其相似度計(jì)算結(jié)果如圖 24 示： N N Y 找到第一個(gè)像素的位置 其灰度值 閾 值 灰度值＝ ０ 灰度值＝ １ 查找下個(gè)像素 結(jié)束 基于膚色相似度的人臉檢測(cè)與定位 8 圖 24 相似度圖 可以給出二值化圖 25 示： 圖 25 二值化圖 以及垂直直方圖 26 示： 圖 26 垂直直方圖 水平直方圖 27 示： 安徽工程科技學(xué)院畢業(yè)設(shè)計(jì)（論文） 9 圖 27 水平直方圖 至此完成了相似度的計(jì)算和圖像的二值化，以及兩種直方圖的提取，那么下一章節(jié)將在此基礎(chǔ)之上進(jìn)行人臉區(qū)域的標(biāo)記和人臉特征（眼睛、鼻子、嘴巴）的提取。 基于膚色相似度的人臉檢測(cè)與定位 10 第 3 章 相似度 基礎(chǔ)上的人臉特征定位 在 上一章 得到的人臉區(qū)域基礎(chǔ)上，對(duì)原圖像進(jìn)行灰度計(jì)算，將可能的眼睛區(qū)域分割成小圖像塊標(biāo)定人眼中心，從而在眼睛確定的情況下把鼻子和嘴巴提取出來(lái)。 總體流程如下： 圖 31 人臉檢測(cè)與定位的總體流程 下面將介紹人臉標(biāo)記和眼睛、鼻子、嘴巴定位的算法及其流程。 人臉檢測(cè)與定位算法 人臉區(qū)域分割算法 人臉區(qū)域分割的系統(tǒng)結(jié)構(gòu)如圖 32 所示： 圖 32 人臉區(qū)域分割系統(tǒng) 在圖 32 中， 輸出的一系列矩形將取代原來(lái)的整幅圖像作為人臉檢測(cè)算法的輸入。這些矩形應(yīng)該滿足以下條件： 1) 矩形系列中應(yīng)該盡可能地包含待檢測(cè)圖像中的全部人臉對(duì)于距離較近或者是有接觸的多個(gè)人臉，分割后得到的膚色區(qū)域自然距離較近或者是連在一起，這時(shí)可以用一個(gè)矩形區(qū)域覆蓋它們。不漏檢、不降低正確率是膚色分割處理的前提，也是人臉區(qū)域分割算法的首要前提 。 據(jù)前面對(duì)膚色模型的分析，無(wú)論什么樣的膚色模型都存在判斷失誤，所以算法輸出的一系列矩形應(yīng)該盡量包含所有 的人臉區(qū)域。 2) 矩形系列應(yīng)該少包含非膚色區(qū)域相對(duì)整幅圖像，經(jīng)過(guò)膚色分割預(yù)處理后的這一系列矩形的大小要明顯小于原來(lái)的整幅圖像，這是膚色分割預(yù)處理能夠提高人臉檢測(cè)算圖像中的膚色和非膚色象素點(diǎn) 包含人臉區(qū)域在內(nèi)的一系列矩形區(qū) 人臉區(qū)域分割算法 打開(kāi)位圖 圖像灰度化 計(jì)算相似度 圖像二值化 標(biāo)記人臉 眼睛 定位 安徽工程科技學(xué)院畢業(yè)設(shè)計(jì)（論文） 11 法時(shí)間效率的主要原因， 也是膚色分割預(yù)處理能夠降低誤報(bào)率的關(guān)鍵。對(duì)于可能的人臉區(qū)域來(lái)說(shuō)， 其相對(duì)于水平方向的旋轉(zhuǎn)角度在 45176。到 13