【文章內容簡介】 第二章 圖像預處理預處理是模式識別過程的第一步。預處理是將模式識別的樣本從一定的環(huán)境中抽取出不受更多干擾因素影響的待識別樣本。一般說來，預處理的功能包括消除或者減少模式采集中的噪聲及其他干擾，以便提高信噪比、消除或減少數(shù)據圖像模糊（特別是運動模糊）及幾何失真，提高清晰度、改變模式的結構，例如將非線性的模式轉變成線性的模式、圖像的鋁箔、變換、編碼、標準化等都可以歸類于預處理工作。在一些采集過程中，采集到的是一些模擬量，這一過程特別在工業(yè)控制中經常出現(xiàn)，計算機卻只能處理數(shù)字量，這就要求模數(shù)轉換過程。對于模數(shù)轉換一般要考慮兩個量：采樣時間間隔和量化級。采樣和量化對于模數(shù)轉換的效果影響特別大。特別指出的是，沒有一個通用的標準來規(guī)定圖像模式量化過程和預處理的效果而是根據客觀觀察決定的。總之，預處理工作是進行下一步工作關鍵部分，本章介紹了實驗所使用的人臉庫以及所作的預處理工作。 人臉庫描述 在現(xiàn)實當中缺乏合適的人臉庫在一定程度上限制了年齡變化問題的研究?，F(xiàn)有人臉庫中的圖像大多是在約束條件下拍攝的，根據放寬的要求不同，就形成了人臉表情庫、姿態(tài)庫、光照庫等，但是由于年齡變化需要在一段時間內對待測對象進行跟蹤采集，難度很大。此外，因特網上雖然圖片很多，但是缺乏準確的年齡信息并且涉及到肖像權的問題，也不是很可取。 通過與塞浦路斯大學Lanitis教授的聯(lián)系，我們的研究得到了他的支持與幫助，他所提供的FGNET年齡人臉庫[19]收集了82個對象不同年齡的人臉圖像（主要來自舊照片的掃描）以及詳細的年齡信息，免費供科學研究之用。本文選取了該庫中的部分圖片，作為本文實驗的基本數(shù)據庫的一部分。我們取年齡在080之間的人臉圖像，其中男性653幅，女性347幅。另外，我們在人臉庫中還加入了部分自己的圖片，圖片數(shù)目為500幅。 人臉圖像的預處理 人臉圖像預處理是一個非常重要的環(huán)節(jié)，我同通常所用到的圖像采集手段所采集到的人臉圖像也是光照變化明顯，質量各不相同，差異巨大，如：圖像包含不同程度的噪聲，不同圖像呈現(xiàn)不同的明暗差異等等，此外，圖像還會有一定程度的旋轉及縮放變形。所使用預處理方法，目的是改善圖像的質量，盡量減弱除年齡外其他因素的影響。 人臉圖像的幾何特性歸一化圖像幾何特性的歸一化處理是為了使圖像歸一化到相同的位置、角度和大小。由于兩眼之間的距離對于大多數(shù)來說都是基本相同的，因此，兩只眼睛的位置常常被用來做人臉圖像幾何歸一化的依據（見書[20]所述）。假設分割得到人臉圖像中兩只眼睛的位置分別是和（如圖21所示），則通過下述步驟，可以實現(xiàn)人臉圖像的幾何歸一化：（1）進行圖像旋轉，以使和的連線保持水平。這保證了人臉方向的一致性，體現(xiàn)了人臉在圖像平面內的旋轉不變性。圖21 人臉旋轉示意圖設兩眼的瞳孔坐標分別為(x1, y1)和(x2, y2)，則θ的求取公式如21所示： （21）設圖像中任意點的坐標為(x, y)，旋轉后該點的坐標為(x39。, y39。)，如22所示： （22）這樣將圖像中的每一個像素點進行相同的處理后就的到了新的旋轉后的矯正圖片如圖2所示。圖22 人臉旋轉實例圖（2）尺度歸一化的思想是將尺寸各不相同的人臉圖像調整為統(tǒng)一的標準尺寸圖像以便于人臉特征的提取。本文選用了效果較好、速度較快的基于線性插值的重采樣方法。在線性插值法中，非網格點的灰度值用其周圍4個網格點的灰度值按式()計算： (23)其中，（[ ]是高斯符號）。該方法精度好，但速度較慢。尺度歸一化中，標準尺寸的選擇對后續(xù)的圖像重建以及特征提取都有很大影響，過大的尺寸使得計算量急劇增加，而過小的尺寸可能會丟失一些重要的特征信息。仿照國際上標準的人臉庫尺寸，并進一步去除發(fā)型的影響，本文選取的尺寸為110*110個像素，實驗表明，該尺寸包含了足夠的細節(jié)特征信息，能夠滿足實時性要求。 人臉圖像的光學特性歸一化 光照變化是影響人像處理的非常關鍵的因素，對該文題的解決程度關系著人像處理實用化進程的成敗。光照變化在很多情況下對拍攝的圖像有著十分巨大的影響，它一直是人像處理研究中的一個非常重要而且難以解決的問題。理論上已經證明了，對于光照不變性的函數(shù)是不存在的。光照變化的補償不僅需要人腦的低級視覺皮層，還需要高級視覺區(qū)域的配合。光照補償想法的提出主要是考慮到人臉膚色等色彩信息經常受到光源顏色、圖像采集設備的色彩偏差等因素的影響，而在整體上偏離本質色彩而向某一方向移動，即我們通常所說的色彩偏冷、偏暖，照片偏黃、偏藍等等。這種現(xiàn)象在藝術照片中更為常見。當光照條件發(fā)生變化時，人臉顏色也會發(fā)生一定的變化。實驗表明，當待處理圖像的亮度高于訓練圖像的亮度時，即光線較強時，人臉大部分區(qū)域的顏色不會超出正常光照條件下人臉顏色的變化范圍。為了解決這一問題，有必要對待處理的圖像進行光亮補償。本文采用如下一種簡單而又行之有效的自適應亮度補償算法：（1）選擇光照均勻的標準圖像，并計算圖像中個像素點的R，G，B分量的平均值，方差和亮度的平均值。（2）計算待處理圖像中個像素點的亮度平均值；（3）若則進行亮度補償，并計算待處理圖像中各像素點的R，G，B分量的平均值，方差。（4）對待處理圖像中的每一像素點A，令分別表示像素點A補償前的R，G，B值，分別表示補償后的R，G，B值，有：這里進行的亮度補償是全局性的。采用上述算法進行光照補償，效果如圖23所示，圖（a）是標準圖像，圖（b）是光照補償前的原圖像，圖（c）是經過光照補償后得到的圖像，從圖中可以很明顯的看出光照補償效果。(a) (b) (c)圖23 光照補償效果圖 實際上，對圖像進行光照補償處理是一種圖像增強處理，而圖像增強沒有通用的理論。對它的評價有高度的主觀性，只能針對特定的應用領域。它是為了某種應用目的而去改善圖像質量的，處理的結果使圖像更適合人的視覺特性。應明確指出的是增強處理并不能增強原圖的信息，其結果只能增強對某種信息的辨別能力。 本章小結 本章敘述了本文研究內容所具備的圖像庫條件，并講敘了如何對圖像庫中的圖像進行標準化，這一步驟極大的提高了實現(xiàn)本文研究方法的準確性，其中包括人臉圖像的姿態(tài)、大小等幾何特性的歸一化，還有人臉圖像的光學特性歸一化，即對光照不足的圖像進行了光照補償，所以本文實驗能夠適應不同的光照情況，提高了方法的適應度。第三章 人臉的年齡特征提取 概述人的老化是一個不可避免的過程，也是引起人臉外觀變化的主要因素，雖然人類年齡是一個與時間相關的客觀概念，但是即使相同年齡的人所呈現(xiàn)的外貌特征也會因個人生存環(huán)境、生活習慣等各種因素的影響存在很大的差異，因此我們很難從一幅人臉圖像判斷出一個人的準確年齡。對于計算機而言，辨別年齡則更是一個困難的問題。而另一方面，對于兩幅人臉圖像，我們卻可以容易地辨認出誰更年輕或誰更年老，而且可以描述出人類年輕與衰老時的基本特征，例如皮膚的光滑程度，皺紋與斑點的多少，骨骼的形狀，肌肉的松弛程度等。利用圖像處理技術實現(xiàn)人臉圖像的衰老化與年輕化變換是人像處理領域的前沿課題，這種技術極大地依賴于生理學、認知學、心理學等學科間的理論支持與相互融合。當前是實現(xiàn)人像衰老變換的主要理論依據有：1. 平均臉與年輕化，平均臉是人臉共性特征的集合，在人臉空間中通常作為坐標原點，在圖像表達中是五官信息的平均分布?！捌骄词敲馈?Averageness is attractiveness)理論說明了一類人群中所謂最美的人臉圖像的基本特征，即平均化。這一假說通過實驗被證明，即從一組人臉圖像樣本中得到平均臉是最美的。求取平均臉型的操作，可以平滑特定人臉的皺紋與疤痕信息，使整個臉部的皮膚看起來更有年輕的感覺。2. 人臉的差異性、典型性與可辨識性。人臉差異性（distinctiveness）描述的是特定人臉與平均臉的區(qū)別程度。人臉可辨識性（recognizability）描述的是人類觀察者對于特定人臉的可辨識程度。差異性越大的人臉越容易被人所識別，而越典型的人臉則越容易在識別時混淆。人臉的差異性增加的同時會使人像產生衰老的效果。3. 根據認知學對人像年齡變化的研究，得出人臉衰老與年輕化圖像細節(jié)規(guī)律。少年時期，人臉臉型特征主要為小臉、短圓、小下巴、皮膚光滑有彈性；青年時期，人臉臉型特征表現(xiàn)為豎向拉長，下巴稍尖，柔和感消失，邊沿變硬，皮膚較光滑，伴隨青春痘等皮膚紋理變換；中年時期，人臉臉型特征為邊沿棱角跟清晰，顴骨突出兩頰有下凹，肌肉出現(xiàn)松垂，下須稍前凸，皮膚光澤度降低，顏色變深，有皺紋出現(xiàn)；老年時期，人臉臉型特征表現(xiàn)為兩頰下凹明顯，面部肌肉松垂加重，胖人雙下巴及下須前凸明顯，皮膚光澤度更低，皺紋多，伴隨老年斑等皮膚紋理變化。 如上所述，近年來在人臉年齡估計及人臉老化仿真方面所作的工作有許多，但存在一個缺陷就是實用性不高，受圖像庫影響很大，本論文研究的課題，在收集大量的人臉年齡圖片的基礎上，基于人臉形狀和紋理兩種主要的特征，提高人臉年齡估計及人臉老化仿真的實用性與可靠性，[21]AAM的基礎上提出了一種基于局部紋理約束的魯棒AAM擬合算法LTCRAAM配準算法，針對原有算法收斂速度慢，在背景干擾情況下定位不理想，細節(jié)部位定位不精確的確定，本文所提出的方法在一定程度上解決了收斂速度慢的問題，主要增強了細節(jié)部分定位的準確性，并且實現(xiàn)了對背景干擾的魯棒，想比原有的算法具有更快、更準確的性能。 主動表觀模型（AAM） AAM模型的建立AAM(Active Appearance Model)[21]模型是對象的動態(tài)表觀模型，表觀是形狀和紋理的組合，表觀模型是在形狀模型的基礎上結合對象的紋理而建立的，AAM模型實例就是將AAM的表觀模型通過仿射變換的形式映射到對應的形狀實例中去，得到描述當前對象的當前模型。動態(tài)就體現(xiàn)在AAM通過相應的擬合算法不斷調整生成新的AAM模型實例與待定位的對象進行匹配，直到生成的模型實例能和該對象真正吻合，可見生成AAM模型實例是AAM中比較重要的一個部分。一、形狀建模統(tǒng)計模型的建立需要分三個步驟，首先是獲取樣本圖像中的信息；其次是樣本圖像集的歸一化處理。然后是對歸一化處理的數(shù)據進行統(tǒng)計分析，建立統(tǒng)計模型。因此不論AAM對形狀還是對表觀建模都是遵循統(tǒng)計模型建立的基本步驟。要實現(xiàn)AAM對形狀建模，首先要選擇一組合適的訓練集，所選擇的訓練集就決定了需要進行AAM建模的對象特征的基本屬性。然后對所選擇的訓練圖像進行特征點標記，一般是手動標記，訓練圖像中能充分說明圖像屬性特征的各個點的坐標位置就是所選擇進行標一記的特征點的位置(x，y)，標記好的v個特征點位置的集合就構成了形狀S,；再對形狀進行歸一化，歸一化是指以某個形狀為基準，再對其它的形狀進行旋轉、縮放和平移使得其盡可能的與基準形狀的整體位置相接近。接著采用主成分分析的方法（PCA）對形狀歸一化后的數(shù)據進行處理，得到對應圖像的平均形狀S0和按特征值大小排序后的前n個形狀特征向量Si。因為AAM模型中形狀S可以用線性方程進行表達： ，那么在給定任意一組形狀參數(shù)p后，就能得到一個S，這就是AAM的形狀模型實例，因此當我們得到根據訓練圖像的形狀訓練出來的平均形狀S。和形狀特征向量S1后，就完成了對形狀的建模。二、表觀建模 AAM的表觀A (x)是訓練集中已經標記好的形狀區(qū)域內的對象紋理信息，它是對象形狀和紋理的組合。獲取表觀的方法是，利用計算機圖形學中紋理映射的方法，對每個表觀樣本通過己經標記好的形狀外形來獲得其紋理的有效區(qū)域，建立一個可逆的映射方程式，然后將這個表觀區(qū)域映射到一個已設定的基準形狀網格，在該形狀網格內進行一致的參數(shù)采樣，再將它們映射回各自的紋理區(qū)域，這樣就可以獲得歸一化的紋理樣本，再對歸一化后的紋理進行PCA即得到了所需要的表觀模型的參數(shù)，實現(xiàn)了表觀建模。具體的實現(xiàn)過程是，當完成對形狀建模后，得到了對應的AAM的形狀特征向量Si和平均形狀S0，選擇由S0經過Delaunay三角化后得到的形狀網格為進行表觀映射時的基準網格。將訓練集中的圖像，根據對應標記的形狀特征點位置進行Delaunay三角化，三角化后的形狀網格內的象素值就是需要采樣的表觀信息，然后通過分段線性仿射的方法將其映射到設定的基準網格中去，實現(xiàn)對表觀的歸一化采樣，再對歸一化后的表觀信息進行PCA得到平均表觀A0和按特征值大小排序后的前m個表觀特征向量Ai。表觀與AAM的形狀非常相似，也可以用線性表達式表達： ，因此在任意設置一組表觀參數(shù)后，通過上面的線性表達式就能得到一個表觀模型實例，所以當?shù)玫接柧殘D像的平均表觀A0和按特征值大小排序后的前m個表觀特征向量A1后，就完成了AAM對表觀的建模。下面補充說明如何進行分段線性仿射。在二維圖像中，利用經典的Delaunay三角化方法分別將需要采樣的樣本和選定的基準形狀的形狀控制點三角化，得到各自的二角化網格的頂點集合。采樣表觀時，通過分段線性仿射進行映射變換的目的是要將需要采樣的樣本的三角化網格中的象素映射到基準形狀的三角化網格中對應位置的象素，如圖31所不，假設是采樣網格中某個二角網格的三個頂點，那么該網格內的象素p都可以用式(31)來進行表達。其中,因為p在三角形內部，所以有。那么對應的在基準三分段仿射圖31 分段線性仿射示意圖 （31）角網格內的象素也可以用類似的方式進行表達，如式32。是對應