【文章內(nèi)容簡(jiǎn)介】 第二章 圖像預(yù)處理預(yù)處理是模式識(shí)別過(guò)程的第一步。預(yù)處理是將模式識(shí)別的樣本從一定的環(huán)境中抽取出不受更多干擾因素影響的待識(shí)別樣本。一般說(shuō)來(lái)，預(yù)處理的功能包括消除或者減少模式采集中的噪聲及其他干擾，以便提高信噪比、消除或減少數(shù)據(jù)圖像模糊（特別是運(yùn)動(dòng)模糊）及幾何失真，提高清晰度、改變模式的結(jié)構(gòu)，例如將非線性的模式轉(zhuǎn)變成線性的模式、圖像的鋁箔、變換、編碼、標(biāo)準(zhǔn)化等都可以歸類于預(yù)處理工作。在一些采集過(guò)程中，采集到的是一些模擬量，這一過(guò)程特別在工業(yè)控制中經(jīng)常出現(xiàn)，計(jì)算機(jī)卻只能處理數(shù)字量，這就要求模數(shù)轉(zhuǎn)換過(guò)程。對(duì)于模數(shù)轉(zhuǎn)換一般要考慮兩個(gè)量：采樣時(shí)間間隔和量化級(jí)。采樣和量化對(duì)于模數(shù)轉(zhuǎn)換的效果影響特別大。特別指出的是，沒(méi)有一個(gè)通用的標(biāo)準(zhǔn)來(lái)規(guī)定圖像模式量化過(guò)程和預(yù)處理的效果而是根據(jù)客觀觀察決定的?？傊?，預(yù)處理工作是進(jìn)行下一步工作關(guān)鍵部分，本章介紹了實(shí)驗(yàn)所使用的人臉庫(kù)以及所作的預(yù)處理工作。 人臉庫(kù)描述 在現(xiàn)實(shí)當(dāng)中缺乏合適的人臉庫(kù)在一定程度上限制了年齡變化問(wèn)題的研究。現(xiàn)有人臉庫(kù)中的圖像大多是在約束條件下拍攝的，根據(jù)放寬的要求不同，就形成了人臉表情庫(kù)、姿態(tài)庫(kù)、光照庫(kù)等，但是由于年齡變化需要在一段時(shí)間內(nèi)對(duì)待測(cè)對(duì)象進(jìn)行跟蹤采集，難度很大。此外，因特網(wǎng)上雖然圖片很多，但是缺乏準(zhǔn)確的年齡信息并且涉及到肖像權(quán)的問(wèn)題，也不是很可取。 通過(guò)與塞浦路斯大學(xué)Lanitis教授的聯(lián)系，我們的研究得到了他的支持與幫助，他所提供的FGNET年齡人臉庫(kù)[19]收集了82個(gè)對(duì)象不同年齡的人臉圖像（主要來(lái)自舊照片的掃描）以及詳細(xì)的年齡信息，免費(fèi)供科學(xué)研究之用。本文選取了該庫(kù)中的部分圖片，作為本文實(shí)驗(yàn)的基本數(shù)據(jù)庫(kù)的一部分。我們?nèi)∧挲g在080之間的人臉圖像，其中男性653幅，女性347幅。另外，我們?cè)谌四槑?kù)中還加入了部分自己的圖片，圖片數(shù)目為500幅。 人臉圖像的預(yù)處理 人臉圖像預(yù)處理是一個(gè)非常重要的環(huán)節(jié)，我同通常所用到的圖像采集手段所采集到的人臉圖像也是光照變化明顯，質(zhì)量各不相同，差異巨大，如：圖像包含不同程度的噪聲，不同圖像呈現(xiàn)不同的明暗差異等等，此外，圖像還會(huì)有一定程度的旋轉(zhuǎn)及縮放變形。所使用預(yù)處理方法，目的是改善圖像的質(zhì)量，盡量減弱除年齡外其他因素的影響。 人臉圖像的幾何特性歸一化圖像幾何特性的歸一化處理是為了使圖像歸一化到相同的位置、角度和大小。由于兩眼之間的距離對(duì)于大多數(shù)來(lái)說(shuō)都是基本相同的，因此，兩只眼睛的位置常常被用來(lái)做人臉圖像幾何歸一化的依據(jù)（見(jiàn)書(shū)[20]所述）。假設(shè)分割得到人臉圖像中兩只眼睛的位置分別是和（如圖21所示），則通過(guò)下述步驟，可以實(shí)現(xiàn)人臉圖像的幾何歸一化：（1）進(jìn)行圖像旋轉(zhuǎn)，以使和的連線保持水平。這保證了人臉?lè)较虻囊恢滦?，體現(xiàn)了人臉在圖像平面內(nèi)的旋轉(zhuǎn)不變性。圖21 人臉旋轉(zhuǎn)示意圖設(shè)兩眼的瞳孔坐標(biāo)分別為(x1, y1)和(x2, y2)，則θ的求取公式如21所示： （21）設(shè)圖像中任意點(diǎn)的坐標(biāo)為(x, y)，旋轉(zhuǎn)后該點(diǎn)的坐標(biāo)為(x39。, y39。)，如22所示： （22）這樣將圖像中的每一個(gè)像素點(diǎn)進(jìn)行相同的處理后就的到了新的旋轉(zhuǎn)后的矯正圖片如圖2所示。圖22 人臉旋轉(zhuǎn)實(shí)例圖（2）尺度歸一化的思想是將尺寸各不相同的人臉圖像調(diào)整為統(tǒng)一的標(biāo)準(zhǔn)尺寸圖像以便于人臉特征的提取。本文選用了效果較好、速度較快的基于線性插值的重采樣方法。在線性插值法中，非網(wǎng)格點(diǎn)的灰度值用其周圍4個(gè)網(wǎng)格點(diǎn)的灰度值按式()計(jì)算： (23)其中，（[ ]是高斯符號(hào)）。該方法精度好，但速度較慢。尺度歸一化中，標(biāo)準(zhǔn)尺寸的選擇對(duì)后續(xù)的圖像重建以及特征提取都有很大影響，過(guò)大的尺寸使得計(jì)算量急劇增加，而過(guò)小的尺寸可能會(huì)丟失一些重要的特征信息。仿照國(guó)際上標(biāo)準(zhǔn)的人臉庫(kù)尺寸，并進(jìn)一步去除發(fā)型的影響，本文選取的尺寸為110*110個(gè)像素，實(shí)驗(yàn)表明，該尺寸包含了足夠的細(xì)節(jié)特征信息，能夠滿足實(shí)時(shí)性要求。 人臉圖像的光學(xué)特性歸一化 光照變化是影響人像處理的非常關(guān)鍵的因素，對(duì)該文題的解決程度關(guān)系著人像處理實(shí)用化進(jìn)程的成敗。光照變化在很多情況下對(duì)拍攝的圖像有著十分巨大的影響，它一直是人像處理研究中的一個(gè)非常重要而且難以解決的問(wèn)題。理論上已經(jīng)證明了，對(duì)于光照不變性的函數(shù)是不存在的。光照變化的補(bǔ)償不僅需要人腦的低級(jí)視覺(jué)皮層，還需要高級(jí)視覺(jué)區(qū)域的配合。光照補(bǔ)償想法的提出主要是考慮到人臉膚色等色彩信息經(jīng)常受到光源顏色、圖像采集設(shè)備的色彩偏差等因素的影響，而在整體上偏離本質(zhì)色彩而向某一方向移動(dòng)，即我們通常所說(shuō)的色彩偏冷、偏暖，照片偏黃、偏藍(lán)等等。這種現(xiàn)象在藝術(shù)照片中更為常見(jiàn)。當(dāng)光照條件發(fā)生變化時(shí)，人臉顏色也會(huì)發(fā)生一定的變化。實(shí)驗(yàn)表明，當(dāng)待處理圖像的亮度高于訓(xùn)練圖像的亮度時(shí)，即光線較強(qiáng)時(shí)，人臉大部分區(qū)域的顏色不會(huì)超出正常光照條件下人臉顏色的變化范圍。為了解決這一問(wèn)題，有必要對(duì)待處理的圖像進(jìn)行光亮補(bǔ)償。本文采用如下一種簡(jiǎn)單而又行之有效的自適應(yīng)亮度補(bǔ)償算法：（1）選擇光照均勻的標(biāo)準(zhǔn)圖像，并計(jì)算圖像中個(gè)像素點(diǎn)的R，G，B分量的平均值，方差和亮度的平均值。（2）計(jì)算待處理圖像中個(gè)像素點(diǎn)的亮度平均值；（3）若則進(jìn)行亮度補(bǔ)償，并計(jì)算待處理圖像中各像素點(diǎn)的R，G，B分量的平均值，方差。（4）對(duì)待處理圖像中的每一像素點(diǎn)A，令分別表示像素點(diǎn)A補(bǔ)償前的R，G，B值，分別表示補(bǔ)償后的R，G，B值，有：這里進(jìn)行的亮度補(bǔ)償是全局性的。采用上述算法進(jìn)行光照補(bǔ)償，效果如圖23所示，圖（a）是標(biāo)準(zhǔn)圖像，圖（b）是光照補(bǔ)償前的原圖像，圖（c）是經(jīng)過(guò)光照補(bǔ)償后得到的圖像，從圖中可以很明顯的看出光照補(bǔ)償效果。(a) (b) (c)圖23 光照補(bǔ)償效果圖 實(shí)際上，對(duì)圖像進(jìn)行光照補(bǔ)償處理是一種圖像增強(qiáng)處理，而圖像增強(qiáng)沒(méi)有通用的理論。對(duì)它的評(píng)價(jià)有高度的主觀性，只能針對(duì)特定的應(yīng)用領(lǐng)域。它是為了某種應(yīng)用目的而去改善圖像質(zhì)量的，處理的結(jié)果使圖像更適合人的視覺(jué)特性。應(yīng)明確指出的是增強(qiáng)處理并不能增強(qiáng)原圖的信息，其結(jié)果只能增強(qiáng)對(duì)某種信息的辨別能力。 本章小結(jié) 本章敘述了本文研究?jī)?nèi)容所具備的圖像庫(kù)條件，并講敘了如何對(duì)圖像庫(kù)中的圖像進(jìn)行標(biāo)準(zhǔn)化，這一步驟極大的提高了實(shí)現(xiàn)本文研究方法的準(zhǔn)確性，其中包括人臉圖像的姿態(tài)、大小等幾何特性的歸一化，還有人臉圖像的光學(xué)特性歸一化，即對(duì)光照不足的圖像進(jìn)行了光照補(bǔ)償，所以本文實(shí)驗(yàn)?zāi)軌蜻m應(yīng)不同的光照情況，提高了方法的適應(yīng)度。第三章 人臉的年齡特征提取 概述人的老化是一個(gè)不可避免的過(guò)程，也是引起人臉外觀變化的主要因素，雖然人類年齡是一個(gè)與時(shí)間相關(guān)的客觀概念，但是即使相同年齡的人所呈現(xiàn)的外貌特征也會(huì)因個(gè)人生存環(huán)境、生活習(xí)慣等各種因素的影響存在很大的差異，因此我們很難從一幅人臉圖像判斷出一個(gè)人的準(zhǔn)確年齡。對(duì)于計(jì)算機(jī)而言，辨別年齡則更是一個(gè)困難的問(wèn)題。而另一方面，對(duì)于兩幅人臉圖像，我們卻可以容易地辨認(rèn)出誰(shuí)更年輕或誰(shuí)更年老，而且可以描述出人類年輕與衰老時(shí)的基本特征，例如皮膚的光滑程度，皺紋與斑點(diǎn)的多少，骨骼的形狀，肌肉的松弛程度等。利用圖像處理技術(shù)實(shí)現(xiàn)人臉圖像的衰老化與年輕化變換是人像處理領(lǐng)域的前沿課題，這種技術(shù)極大地依賴于生理學(xué)、認(rèn)知學(xué)、心理學(xué)等學(xué)科間的理論支持與相互融合。當(dāng)前是實(shí)現(xiàn)人像衰老變換的主要理論依據(jù)有：1. 平均臉與年輕化，平均臉是人臉共性特征的集合，在人臉空間中通常作為坐標(biāo)原點(diǎn)，在圖像表達(dá)中是五官信息的平均分布?！捌骄词敲馈?Averageness is attractiveness)理論說(shuō)明了一類人群中所謂最美的人臉圖像的基本特征，即平均化。這一假說(shuō)通過(guò)實(shí)驗(yàn)被證明，即從一組人臉圖像樣本中得到平均臉是最美的。求取平均臉型的操作，可以平滑特定人臉的皺紋與疤痕信息，使整個(gè)臉部的皮膚看起來(lái)更有年輕的感覺(jué)。2. 人臉的差異性、典型性與可辨識(shí)性。人臉差異性（distinctiveness）描述的是特定人臉與平均臉的區(qū)別程度。人臉可辨識(shí)性（recognizability）描述的是人類觀察者對(duì)于特定人臉的可辨識(shí)程度。差異性越大的人臉越容易被人所識(shí)別，而越典型的人臉則越容易在識(shí)別時(shí)混淆。人臉的差異性增加的同時(shí)會(huì)使人像產(chǎn)生衰老的效果。3. 根據(jù)認(rèn)知學(xué)對(duì)人像年齡變化的研究，得出人臉?biāo)ダ吓c年輕化圖像細(xì)節(jié)規(guī)律。少年時(shí)期，人臉臉型特征主要為小臉、短圓、小下巴、皮膚光滑有彈性；青年時(shí)期，人臉臉型特征表現(xiàn)為豎向拉長(zhǎng)，下巴稍尖，柔和感消失，邊沿變硬，皮膚較光滑，伴隨青春痘等皮膚紋理變換；中年時(shí)期，人臉臉型特征為邊沿棱角跟清晰，顴骨突出兩頰有下凹，肌肉出現(xiàn)松垂，下須稍前凸，皮膚光澤度降低，顏色變深，有皺紋出現(xiàn)；老年時(shí)期，人臉臉型特征表現(xiàn)為兩頰下凹明顯，面部肌肉松垂加重，胖人雙下巴及下須前凸明顯，皮膚光澤度更低，皺紋多，伴隨老年斑等皮膚紋理變化。 如上所述，近年來(lái)在人臉年齡估計(jì)及人臉老化仿真方面所作的工作有許多，但存在一個(gè)缺陷就是實(shí)用性不高，受圖像庫(kù)影響很大，本論文研究的課題，在收集大量的人臉年齡圖片的基礎(chǔ)上，基于人臉形狀和紋理兩種主要的特征，提高人臉年齡估計(jì)及人臉老化仿真的實(shí)用性與可靠性，[21]AAM的基礎(chǔ)上提出了一種基于局部紋理約束的魯棒AAM擬合算法LTCRAAM配準(zhǔn)算法，針對(duì)原有算法收斂速度慢，在背景干擾情況下定位不理想，細(xì)節(jié)部位定位不精確的確定，本文所提出的方法在一定程度上解決了收斂速度慢的問(wèn)題，主要增強(qiáng)了細(xì)節(jié)部分定位的準(zhǔn)確性，并且實(shí)現(xiàn)了對(duì)背景干擾的魯棒，想比原有的算法具有更快、更準(zhǔn)確的性能。 主動(dòng)表觀模型（AAM） AAM模型的建立AAM(Active Appearance Model)[21]模型是對(duì)象的動(dòng)態(tài)表觀模型，表觀是形狀和紋理的組合，表觀模型是在形狀模型的基礎(chǔ)上結(jié)合對(duì)象的紋理而建立的，AAM模型實(shí)例就是將AAM的表觀模型通過(guò)仿射變換的形式映射到對(duì)應(yīng)的形狀實(shí)例中去，得到描述當(dāng)前對(duì)象的當(dāng)前模型。動(dòng)態(tài)就體現(xiàn)在AAM通過(guò)相應(yīng)的擬合算法不斷調(diào)整生成新的AAM模型實(shí)例與待定位的對(duì)象進(jìn)行匹配，直到生成的模型實(shí)例能和該對(duì)象真正吻合，可見(jiàn)生成AAM模型實(shí)例是AAM中比較重要的一個(gè)部分。一、形狀建模統(tǒng)計(jì)模型的建立需要分三個(gè)步驟，首先是獲取樣本圖像中的信息；其次是樣本圖像集的歸一化處理。然后是對(duì)歸一化處理的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，建立統(tǒng)計(jì)模型。因此不論AAM對(duì)形狀還是對(duì)表觀建模都是遵循統(tǒng)計(jì)模型建立的基本步驟。要實(shí)現(xiàn)AAM對(duì)形狀建模，首先要選擇一組合適的訓(xùn)練集，所選擇的訓(xùn)練集就決定了需要進(jìn)行AAM建模的對(duì)象特征的基本屬性。然后對(duì)所選擇的訓(xùn)練圖像進(jìn)行特征點(diǎn)標(biāo)記，一般是手動(dòng)標(biāo)記，訓(xùn)練圖像中能充分說(shuō)明圖像屬性特征的各個(gè)點(diǎn)的坐標(biāo)位置就是所選擇進(jìn)行標(biāo)一記的特征點(diǎn)的位置(x，y)，標(biāo)記好的v個(gè)特征點(diǎn)位置的集合就構(gòu)成了形狀S,；再對(duì)形狀進(jìn)行歸一化，歸一化是指以某個(gè)形狀為基準(zhǔn)，再對(duì)其它的形狀進(jìn)行旋轉(zhuǎn)、縮放和平移使得其盡可能的與基準(zhǔn)形狀的整體位置相接近。接著采用主成分分析的方法（PCA）對(duì)形狀歸一化后的數(shù)據(jù)進(jìn)行處理，得到對(duì)應(yīng)圖像的平均形狀S0和按特征值大小排序后的前n個(gè)形狀特征向量Si。因?yàn)锳AM模型中形狀S可以用線性方程進(jìn)行表達(dá)： ，那么在給定任意一組形狀參數(shù)p后，就能得到一個(gè)S，這就是AAM的形狀模型實(shí)例，因此當(dāng)我們得到根據(jù)訓(xùn)練圖像的形狀訓(xùn)練出來(lái)的平均形狀S。和形狀特征向量S1后，就完成了對(duì)形狀的建模。二、表觀建模 AAM的表觀A (x)是訓(xùn)練集中已經(jīng)標(biāo)記好的形狀區(qū)域內(nèi)的對(duì)象紋理信息，它是對(duì)象形狀和紋理的組合。獲取表觀的方法是，利用計(jì)算機(jī)圖形學(xué)中紋理映射的方法，對(duì)每個(gè)表觀樣本通過(guò)己經(jīng)標(biāo)記好的形狀外形來(lái)獲得其紋理的有效區(qū)域，建立一個(gè)可逆的映射方程式，然后將這個(gè)表觀區(qū)域映射到一個(gè)已設(shè)定的基準(zhǔn)形狀網(wǎng)格，在該形狀網(wǎng)格內(nèi)進(jìn)行一致的參數(shù)采樣，再將它們映射回各自的紋理區(qū)域，這樣就可以獲得歸一化的紋理樣本，再對(duì)歸一化后的紋理進(jìn)行PCA即得到了所需要的表觀模型的參數(shù)，實(shí)現(xiàn)了表觀建模。具體的實(shí)現(xiàn)過(guò)程是，當(dāng)完成對(duì)形狀建模后，得到了對(duì)應(yīng)的AAM的形狀特征向量Si和平均形狀S0，選擇由S0經(jīng)過(guò)Delaunay三角化后得到的形狀網(wǎng)格為進(jìn)行表觀映射時(shí)的基準(zhǔn)網(wǎng)格。將訓(xùn)練集中的圖像，根據(jù)對(duì)應(yīng)標(biāo)記的形狀特征點(diǎn)位置進(jìn)行Delaunay三角化，三角化后的形狀網(wǎng)格內(nèi)的象素值就是需要采樣的表觀信息，然后通過(guò)分段線性仿射的方法將其映射到設(shè)定的基準(zhǔn)網(wǎng)格中去，實(shí)現(xiàn)對(duì)表觀的歸一化采樣，再對(duì)歸一化后的表觀信息進(jìn)行PCA得到平均表觀A0和按特征值大小排序后的前m個(gè)表觀特征向量Ai。表觀與AAM的形狀非常相似，也可以用線性表達(dá)式表達(dá)： ，因此在任意設(shè)置一組表觀參數(shù)后，通過(guò)上面的線性表達(dá)式就能得到一個(gè)表觀模型實(shí)例，所以當(dāng)?shù)玫接?xùn)練圖像的平均表觀A0和按特征值大小排序后的前m個(gè)表觀特征向量A1后，就完成了AAM對(duì)表觀的建模。下面補(bǔ)充說(shuō)明如何進(jìn)行分段線性仿射。在二維圖像中，利用經(jīng)典的Delaunay三角化方法分別將需要采樣的樣本和選定的基準(zhǔn)形狀的形狀控制點(diǎn)三角化，得到各自的二角化網(wǎng)格的頂點(diǎn)集合。采樣表觀時(shí)，通過(guò)分段線性仿射進(jìn)行映射變換的目的是要將需要采樣的樣本的三角化網(wǎng)格中的象素映射到基準(zhǔn)形狀的三角化網(wǎng)格中對(duì)應(yīng)位置的象素，如圖31所不，假設(shè)是采樣網(wǎng)格中某個(gè)二角網(wǎng)格的三個(gè)頂點(diǎn)，那么該網(wǎng)格內(nèi)的象素p都可以用式(31)來(lái)進(jìn)行表達(dá)。其中,因?yàn)閜在三角形內(nèi)部，所以有。那么對(duì)應(yīng)的在基準(zhǔn)三分段仿射圖31 分段線性仿射示意圖 （31）角網(wǎng)格內(nèi)的象素也可以用類似的方式進(jìn)行表達(dá)，如式32。是對(duì)應(yīng)