【正文】 圖31 一般網格模型正面圖像 圖32 一般網格模型側面圖像 基于MPEG4的人臉特征點定義MPEG4是由國際標準化組織（ISO）的運動圖像專家組開發(fā)的，它是為技術的進步和演化提供標準，而不是為一個詳細的應用提供標準。MPEG4不僅建立了一個聲音圖像場景模型，以此來表示具有具體行為和特征的聲音圖像對象，而且也是第一個聲音圖像表示方法標準。這種表示方法還可以在同一幅場景里面同時表示合成數據和自然數據[[] Gong X, Wang G. Automatic 3D face segmentation based on facial feature extraction[C]. In: Proc. of the IEEE Conf. on Industrial Technology. Mumbai: IEEE Computer Society, 2006. 1154?1159.]。 MPEG4標準下的FDP參數MPEG4用FAP，FDP來描述人臉的表情和紋理以及幾何結構，這些參數對人臉的表示和動畫進行具體的定義。FAP(Facial Animation parameter)是MPEG一4標準中定義的一組人臉動畫參數，它提供一些人臉動畫的特征。FDP（Facial Definition Parameters）描述人臉的幾何結構和紋理信息，它提供人臉各個器官的特征點信息。FAP建立在人臉的微小表情動作的基礎上，并且非常接近于臉部的運動。MPEG4標準中人臉特征點表示如圖33所示。根據FDP標準[[] Gabriel Antunes Abrantes, Fernando Pereira, MPEG4 Facial Animation Technology: Survey,Implementation and Results[C].IEEE Transactions on Circuits and Systems for Video Technology,1999,9(2):290305.]，為了能夠為構建三維人臉模型提供參考空間，利用通用人臉模型標定63個特征點，FDP參數是用來表示為人頭上的一些特征點的三維空間坐標。FDP為特征點的選取提供了很好的參考依據，這些特征點都是研究者經過大量的實驗分析驗證得到的，具有一定的參考價值。圖33 MPEG4的特征點選擇圖 本文選定的人臉特征點人臉具有極其復雜的幾何結構，要想構建一個精確的人臉模型，則應選取具有代表性的特征點，這些特征點能夠唯一標識該對象，且具有不受其它因素影響的穩(wěn)定性。由于目前還沒有有效的自動標定人臉特征點的方法，自動提取實現也有一定的難度，因此，本文采用手工交互的方式在人臉的正、側面照片上標注所定義的特征點。由于MPEG4中定義的人臉特征點參考標準主要是為人臉動畫的實現提供參考依據，而在人臉建模時一些特征點是無關緊要的，當使用MPEG4中定義的全部特征點時，點的分布不均，反而使得最終建模的結果不理想，同時也加大了計算量。為了避免發(fā)生這種現象，而且又盡量做到符合FDP特征點選擇標準，本文選取的人臉特征點如圖34，35所示。同時，在通用三維人臉網格模型上選擇對應的特征點，并且保存網格模型上特征點的空間坐標位置，以后對任何對象進行三維人臉建模時，都可將該通用人臉模型和選取的特征點作為參考標準。因而，網格模型特征點的選擇具有長遠的意義。由于人臉兩側基本是對稱的，正是因為這種對稱性的存在，方便了我們的實際操作，在統(tǒng)計特征點的坐標時，只需得出中央特征點和一側特征點的坐標即可，另一側的坐標可由空間對稱性直接得到。我們認為左右兩側的特征點的個數和位置大致相同，其中眼睛上有4個，鼻子上有8個，眉毛上有3個，嘴巴上有5個，臉的外部輪廓上有16個，耳朵上有3個，后腦側邊緣輪廓有6個，面部有8個，共63個特征點。 圖34 正面特征點定義 圖35 側面特征點定義 本章小結本章詳細描述了通用三維人臉網格模型從Poser ，對導出的文件結構格式進行分析，對適用于實驗的數據信息進行提取、記錄和保存，為后面的實驗做準備。然后簡單介紹了MPEG4中FDP特征點定義標準，根據人臉特征分布特點和構建特定三維人臉模型的過程為依據，在通用三維人臉網格模型上標定了63個更利于模型變換的人臉特征點，并把通用模型和特征數據保存下來；隨后在照片上找到與通用人臉模型相對應的特征點，對照片中的特征點進行手工交互式提取。在分析MPEG4的基礎上，本文在提取的人臉正、側面照片上手工標出了63個特征點，這些特征點能基本反映人臉幾何形狀和結構特點，為后面?zhèn)€性化人臉模型的構建奠定了基礎。第四章 個性化三維人臉建模有許多可行的方法可以構造出具有真實感的虛擬人臉，最經典的方法是用特定人臉的各個器官信息來修改一個一般模型。目前有不少方法是根據一個結構化的三維中性人臉模型，從二維照片中獲取面部數據信息，據此合成三維信息修改中性模型得到個性化三維人臉。在整個過程中，個性化人臉信息的提取是非常重要的。同時，整個過程的關鍵核心技術是中性人臉模型到個性化人臉模型的變形，其直接影響著個性化人臉的最終結果。本章的目的是利用人臉正側面照片來構建具有真實感的三維人臉模型。在獲取了三維通用人臉模型及人臉正側面照片之后，就要通過提取照片上的深度及特征點信息變換三維通用人臉模型來獲得對應的個性化人臉模型。二維人臉照片是在自然環(huán)境中通過相機拍攝的人臉圖像，它只能反映人的面部器官在某個角度的二維分布信息，但我們想得到的是三維模型，所以個性化人臉模型的構建過程就是:首先提取二維人臉圖像及通用人臉模型的特征點信息，并從二維照片中獲取三維人臉信息，然后通過一種基于徑向基函數插值處理變形使通用人臉模型與之匹配，最后用二次插值來局部平滑個性人臉模型，從而得到比較逼真的個性化人臉模型。 照片的預處理由于各種因素的影響，在自然狀態(tài)下獲得原始圖像，都存在一定程度的噪聲干擾。噪聲嚴重影響圖像的質量，降低圖像的清晰度，甚至掩蓋了圖像的本質特征，這些都對圖像處理起到一定的干擾作用，所以在進行圖像處理之前最重要的一個操作就是圖像預處理。 人臉圖像的規(guī)范化調整 彩色人臉圖像包含諸如背景顏色，頭發(fā)顏色等較多的色彩信息內容，不容易進行人臉定位，將其轉換為灰度圖像，可以有效區(qū)分皮膚區(qū)域和非皮膚區(qū)域，為下一步操作奠定堅實的基礎。經過灰度化的人臉正側面圖像分別如圖41,42所示。 圖41 正面灰度圖像 圖42 側面灰度圖像在實踐中，由于各種因素的影響，很難保證在拍攝時相機和被拍攝者都處在自然的地位水平，因此容易造成面部照片有一定的傾斜。因此，對照片進行處理之前，需要對其進行規(guī)范化調整，使兩張照片頭部處于自然水平狀態(tài)，以確保正側面照片上的同一特征點位于同一水平線上，從而可以得到統(tǒng)一的坐標。對正面人臉圖像可以分別取兩眼內角點的坐標，對側面圖像可以分別取右眼外眼角點和右耳上邊緣點的坐標，然后分別求取正側面圖像兩點連線的斜率，根據斜率可以求得這兩條線與水平直線的夾角，最后依據夾角把正側面人臉圖像調整到水平位置。經過調整后的正側面圖像分別如圖43，44所示。 圖43 調整后的正面圖像 圖44 調整后的側面圖像 人臉圖像的歸一化處理用于實驗的人臉圖像是通過數碼相機獲取的。對于給定人臉的正側面照片，往往難以確保拍攝距離的一致性，往往會導致面部及各面部器官大小不一的現象發(fā)生，因而，在二維人臉圖像的特征點提取之前需要對圖像進行歸一化處理，從而可以確保坐標的協調統(tǒng)一。對于給定照片的歸一化處理步驟如下：（1）剪切圖像，去除和處理對象無關的信息，以減少圖像的噪聲干擾，盡可能使預處理后圖像只包括頭部信息。（2）縮放圖像，使兩幅圖像中的人頭高度相同。在獲取人臉圖像時，圖像中人臉和各個面部器官的大小會隨著拍攝距離的變化變化近似按比例縮放。所以，可以通過在正側面二維人臉圖像中選取相同位置作為基準對正側面人臉圖像進行按比例縮放，從而可以達到統(tǒng)一圖像大小的目的。如圖45，46所示，由于眼睛和嘴巴的中心線無論在正面還是在側面圖像中都很容易進行定位，并且不易受到其他因素的干擾，因此我們把眼睛中點和嘴巴中點的距離作為基準，對大小不一的正側面人臉圖像進行歸一化處理。設在正面照片中從眼睛中點到嘴巴中點的垂直距離為Hf，在側面照片中的對應距離為Hs。兩者之間的比例關系為 K=Hf/Hs，根據該比例因子來調整側面人臉圖像，使其與正面人臉圖像具有統(tǒng)一大小，從而完成圖像的歸一化操作。hshf 圖45 正面照片的垂直距離 圖46 側面照片的垂直距離 從正側面照片中恢復特征點的空間坐標經過規(guī)范化，歸一化調整后的兩幅人臉圖像具有相同的幾何高度，在正面圖像中取兩眼連線的中點為基準點，可以得到面部特征點的x，y兩個方向的寬度信息和高度信息，在側面圖像中取正面原點到后腦勺連線的中點為基準點，可以得到面部特征點的z，y兩個方向的深度信息和高度信息。正側面人臉照片得到統(tǒng)一尺度上的特征點的X、Y、Z坐標。然后將特征點投影到正面和側面照片上，可以計算出特征點準確的空間位置。記三維人臉模型上一個特征點的坐標為（X，Y，Z），與之對應的正面和側面圖象上特征點的二維坐標分別為（xf,yf）與（zs,ys），通過下式實現從二維坐標三維坐標的重建。X=xfY=(yf+ys)/2Z=zs (41)即X,Y,Z=(xf，(yf+ys)/2，zs) 。由于在兩個方向上都會出現y坐標，yf和ys可能不一樣，故取其平均值。 特定人臉模型的構建一個特定人臉的建模過程是對一般人臉模型的修改過程。從一般人臉模型到特定人臉模型的變換分兩個步驟，第一步是整體變換，對一般人臉模型進行整體輪廓的調整，使其與特定人臉高度，寬度和深度上相一致，且使臉部的五官位置相對應，實現模型的形似。第二步是局部變換，根據特定人臉的五官位置和形狀對模型進行進一步的細致調整，使其與特定人臉在具體的人臉五官的形狀和位置也相同，實現模型的神似。 一般人臉模型的整體變換一般人臉模型的整體變換實際上是對模型按一定比例進行簡單的坐標伸縮變換，使變換后的通用模式初步適用于特定人臉，是通過對一般人臉模型上的每一點分別在X，Y，Z三個方向的拉伸變換來實現的，X，Y，Z三個方向分別規(guī)定為：從正面觀看人臉時，從左至右為X方向，從下往上為Y方向，從后往前為Z方向。據規(guī)范化后的圖像分別計算出高，寬，深度之比，以相應的比例對網格模型進行整體縮放。記原模型的高寬比為Tyx，高深比為Tyz；人臉圖像的高寬比為tyx，高深比為tyz，模型所在坐標系原點為O（Ox, Oy, Oz），設人臉中心O為兩眼中點與后腦勺中點所在直線與兩眼中點所在直線的交點，對于每一個網格點V(Vx, Vy, Vz)，記其變換后的新位置為V(Vx39。， Vy39。，Vz39。)，則有Vx39。=Vx*tyx/TyxVy39。=VyVz39。=Vz*tyz/Tyz (42)整體變換后的一般人臉模型正側面圖像分別如圖47，48所示。 圖47 整體變換后的通用模型正面 圖48 整體變換后的通用模型側面模型的整體變換將為后續(xù)的幾何適配奠定了良好的基礎。 幾種常見的空間插值技術整體變換后，一般人臉模型的輪廓形狀和面部器官的位置與特定人臉模型的形狀和位置基本相一致。由于人臉各部分器官有著各自獨特的輪廓和特點，因此要完成從一般人臉模型到具體人臉模型的變換還必須以人臉面部各局部器官的特征為依據對它們進行局部變換，以便更好的描述模型的各種各樣的細節(jié)。由于本文的方法是基于一個一般模型的修改方法，為了控制和操作的可行性，試驗中只從照片上得到了模型上特征點的空間坐標。 因而基本問題是： 如何通過特征點的運動來控制模型上非特征點的變化，即空間變形問題。 現有變形方法的實現主要有二種方式： 一個是自由變形技術FFD ，它的基本思想是： 首先構建一個由三維控制點形成的長方體控制框架，將要變形的對象嵌入控制框架中，并且假設對象和控制框架是由同樣材料做成的，通過控制點的移動來控制框架的變形，對象也是隨之變形[[] 劉國榮，林金花，劉曉東，[J].微電子學與計算機，2008，25（7）：160165.]。 FFD使用長方形局部坐標系，因此控制框架一定也是長方形，從而就限制了可以實際應用的領域。 另外一種是散亂數據插值方法，即在三維通用人臉模型和特定人臉模型之間建立一個映射關系函數。根據該函數可以求出任意位置的函數值。插值算法的好壞直接關系到圖像的失真程度，插值函數的設計是插值算法的核心問題。下面介紹幾類常見的空間插值技術：（1）最近鄰點插值法 最近鄰點插值法(Nearest Neighbor)又被稱為泰森多邊形方法，它是一種最簡單的插值方法，該算法的基本原理是：每一個插值輸出像素的值就是在輸入圖像中與其最臨近的采樣點的值[[] Knothe R, Romdhani S, Vetter T. Combining PCA and LFA for surface reconstruction from a sparse set of control points[C]. In: Proc. of the IEEE Conf. on Automatic Face and Gesture Recognition. Southampton: IEEE Computer Society, 2006. 637644]。其具體的數學表達式為：Ve=Vi ，其中Ve 表示待輸出點的變量值。最鄰近點插值法的簡單示意圖如圖49所示，由于