【正文】 和主動(dòng)外觀模型。 這個(gè)階段所提出的算法在理想圖像采集條件，人員配合，中小規(guī)模正面 人臉 數(shù)據(jù)庫(kù) 上達(dá)到了非常 好的性能。 主要針對(duì)的是主流的人臉識(shí)別技術(shù)在采集條件不理想和用戶不配合下 魯棒性差的問(wèn)題。 Shashua 等人基于上圖像的人臉圖像識(shí)別與繪制技術(shù) [6,7]。在后來(lái)很多的人臉識(shí)別技術(shù)，我們或多或少都會(huì)發(fā)現(xiàn)它的影子。 第二節(jié) 人臉識(shí)別 的發(fā)展 趨勢(shì) 人臉識(shí)別至今雖然取得了豐碩的研究成果， 但是還有很多問(wèn)題需要解決。如 何使用數(shù)據(jù)融合理論，將不同的方法綜合起來(lái)，相互補(bǔ)充，來(lái)取得較好的人臉識(shí)別效果，便成為人們的研究熱點(diǎn)之一。它被認(rèn)為是傅里葉分析的突破性的發(fā)展 。 四 、 三維人臉識(shí)別 目前許多人臉識(shí)別成果是建立在二維人臉基礎(chǔ)上的，而實(shí)際的人臉是三維的。在復(fù)雜背景下快速有效檢測(cè)和分割人臉技術(shù)還需進(jìn)一步的研究。 5 第 三 節(jié) 人臉識(shí)別技術(shù)的主要難點(diǎn) 目前的人臉識(shí)別技術(shù)在人員配合，較理想采集條件下可以取得比較滿意的結(jié)果。 復(fù)雜條件下的人臉檢測(cè)與關(guān)鍵點(diǎn)定位是目前人臉識(shí)別急需解決的問(wèn)題之一。 當(dāng)人 臉姿態(tài)俯仰或左右比較大時(shí)，人臉識(shí)別的識(shí)別率驟降。 面部表情的變化為面部特征點(diǎn)的運(yùn)動(dòng)。以上這些決定計(jì)算機(jī)很難用統(tǒng)一的標(biāo)準(zhǔn)來(lái)識(shí)別人的面部表情。本文的實(shí)驗(yàn)是在人臉圖像正面姿態(tài)，光照正常，表情正常，部分面部圖像有小范圍 遮擋的情況下進(jìn)行的。在采集人臉圖像時(shí)，要注意用戶人臉姿態(tài)，臉部有無(wú)遮擋 ， 周?chē)庹帐欠駶M足要求 及設(shè)備采集圖像的質(zhì)量是否能滿足要求。他們一般以人臉圖像在圖像結(jié)構(gòu)和人臉信號(hào)分布的先驗(yàn)知識(shí)為依據(jù)。 特征主要包括三種類(lèi)型：物理特征，結(jié)構(gòu)特征和數(shù)學(xué)特征。在樣本數(shù)不是很多的情況下，可以利用這些特征進(jìn)行分類(lèi)器的設(shè)計(jì)，但是在大多數(shù)情況下，由于測(cè)量空間的維數(shù)很高，不能直接進(jìn)行分類(lèi)器的設(shè)計(jì)。通過(guò)上面方法獲得特征被稱為原始特征。映射后的特征稱為二次特 征，它們是原始特征的某種組合，通常是線性組合。 特征提取和特征選擇在有些情況下并不是截然分開(kāi)的，因?yàn)閺囊欢ㄒ饬x上來(lái)講，二者都是要達(dá)到對(duì) 數(shù)據(jù) 進(jìn)行降維的目的，只是實(shí)現(xiàn)的途徑不同。 四 、 特征匹配 8 特征匹配 是計(jì)算兩個(gè)人臉圖像特征樣本的特征模塊間的 相似 度 即將采集到的人臉圖像的特征模版與系統(tǒng)中已存儲(chǔ)的特征模版進(jìn)行比對(duì)， 并輸出最佳匹配對(duì)象。 在人臉識(shí)別的發(fā)展趨勢(shì) 小節(jié) 主要講解人臉識(shí)別技術(shù)未來(lái)的走向 。常用的采集設(shè)備有數(shù)碼相機(jī) ，數(shù)碼攝影機(jī)等。人臉圖像的采集形式主要有兩種：一為靜態(tài)人臉圖像，二位動(dòng)態(tài)人臉圖像。但同時(shí)也帶了問(wèn)題， 動(dòng)態(tài)人臉圖像序列里的某一幅圖像可能會(huì)產(chǎn)生瞬間模糊，這將會(huì)影響其識(shí)別率。在實(shí)際中，要采用何種人臉采集形式要取決于應(yīng)用的需求和場(chǎng)合。 第二 節(jié) 人臉?lè)指? 人臉識(shí)別是通過(guò)對(duì)人臉進(jìn)行精確定位，并從圖像中提取人臉區(qū)域。數(shù)據(jù)驅(qū)動(dòng)方法直接對(duì)圖像進(jìn)行處理，不依賴于先驗(yàn)知識(shí)。采集到圖像中人 臉區(qū)域顏色和紋理變化較大，因此如果要實(shí)現(xiàn)精確分割，只利用圖像的數(shù)據(jù)信息是不夠的，所以實(shí)際中基于模型的方法使用的比較多。 基于閥值的方法是使用采集到圖像的灰度直方圖計(jì)算出分割閥值，又可以分為全局閥值方法和局部閥值方法。此方法只考慮了圖像的灰度信息，拋棄了圖像的其他信息。在每個(gè)子區(qū)域中，對(duì)經(jīng)過(guò)適當(dāng)定義能反映一個(gè)物體內(nèi)成員隸屬度的性質(zhì)進(jìn)行計(jì)算，每個(gè)子區(qū)域會(huì)用一組參數(shù)來(lái)表示該區(qū)域。該方法當(dāng)前研究的區(qū)別在于區(qū)域性質(zhì)差異上。目標(biāo)分割與識(shí)別通過(guò)將 目標(biāo)集合和統(tǒng)計(jì)信息表示為模型，是其成為目標(biāo)的搜索匹配或監(jiān)督分類(lèi)。設(shè)計(jì)一個(gè)在所有變化情況下都能正確識(shí)別的系統(tǒng)是非常困難的，而且也沒(méi)有必要。 FERET 人臉數(shù)據(jù)庫(kù)是人臉識(shí)別中最常用的數(shù)據(jù)庫(kù)，包含多姿態(tài)和多光照的人臉灰度圖像，但其多為西方人臉圖像，每個(gè)人的人臉圖像變化較少。T 實(shí)驗(yàn)室建立 由 40 位志愿者的 400 幅圖像組成，其中部分志愿者 的圖像還有姿態(tài)，表情和光照的變化。 Essex 人臉數(shù)據(jù)庫(kù) 是英國(guó) 埃塞克斯大學(xué) 的人臉數(shù)據(jù)庫(kù)。這樣做的目的是為了增加 難度 。我們?cè)诒疚牟捎玫氖撬膄ace94 數(shù)據(jù)庫(kù)。有輕微的姿態(tài)變換，無(wú)光照變換 。這 7 種 變化因素為姿態(tài)，表情，飾物，光照，背景，距離和時(shí)間跨度，其中以姿態(tài)，表情，飾物和 光照 為主， 故稱為 PEAL（ pose，expression， accessory 和 lighting 的簡(jiǎn)寫(xiě)）。在人臉圖像獲取和人臉?lè)指顑蓚€(gè)小節(jié)中主要介紹常用的人臉獲取方法及獲取人臉原始圖像后如何分割出我們需要部分的方法 ，也為后面人臉圖像數(shù)據(jù)庫(kù)打下了基礎(chǔ)。圖像的文件格式很多，本節(jié)只介紹本文常用的幾種圖像格式。 JPEG 使用有損壓縮方法去除冗余圖像和彩色數(shù)據(jù)，獲得了較高的壓縮率，同時(shí)還可以給人豐富生動(dòng)的視覺(jué)感受，即可以使用最小的磁盤(pán)存儲(chǔ)較好的圖像質(zhì)量。 二 、 JPEG2021格式 JPEG2021 是基于小波變換的圖像壓縮標(biāo)準(zhǔn)，同樣由 聯(lián)合照片專家組（ Joint Photographic Experts Group）開(kāi)發(fā)和維護(hù)。 JPEG2021 格 式有一個(gè)極其重要的特征在于它能實(shí)現(xiàn)漸進(jìn)傳輸，即先傳輸圖像的輪廓，然后逐步傳輸數(shù)據(jù)，不斷提高圖像質(zhì)量，讓圖像由朦朧到清晰顯示。而接收方隨著觀察，常常會(huì)有新的要求，可能對(duì)新的區(qū)域感興趣，也可能希望某一區(qū)域更清晰 13 些。Windows 以后的 BMP 圖象文件與顯示設(shè)備無(wú)關(guān)，因此把這種 BMP 圖象文件格式稱為設(shè)備無(wú)關(guān)位圖 DIB(deviceindependent bitmap） 格式 。 BMP 格式的特點(diǎn)是包含的圖像信息較豐富，幾乎不進(jìn)行壓縮，由此導(dǎo)致了它的缺 點(diǎn) — 占用磁盤(pán)空間過(guò)大。目前幾乎所有相關(guān)軟件都支持它，公共領(lǐng)域有大量的軟件在使用 GIF 圖像文件。然而令很多軟件開(kāi)發(fā)商感到意外的是， GIF 文件所采用的壓縮算法忽然成了 Unisys 公司的專利。 PNG（ Portable Network Graphics，便攜網(wǎng)絡(luò)圖形）標(biāo)準(zhǔn)就在這個(gè)背景下應(yīng)運(yùn)而生了。盡管如此， PNG 文件格式憑著其技術(shù)上的優(yōu)勢(shì)，已然躋身于網(wǎng)絡(luò)上第三廣泛應(yīng)用格式。 14 五 、 PNG 格式 PNG，圖像文件存儲(chǔ)格式，其目的是替代 GIF 和 TIFF 文件格式，同時(shí)增加一些 GIF 文件格式所不具備的特性。PNG 使用從 LZ77 派生的無(wú)損數(shù)據(jù)壓縮算法。 PNG 同樣支持透明圖像的制作。這樣才有利于穩(wěn)定的進(jìn)行特征提取。利用彩色圖像進(jìn)行人臉識(shí)別存在較多缺陷，而灰度圖像為一種最簡(jiǎn)單有效的對(duì)比增強(qiáng)方法。39。( , ) ( ( , ) )bag i j a f i j aba?? ? ?? （ ） 分段線性變換：假設(shè)圖像為 (, )f i j 灰度變化范圍為 [0, ]fM，變換后的圖像為 (, )gi j ，目標(biāo)的 灰度變化范圍為 [ , ]ab ，想使灰度變化到 [ , ]cd ，則 對(duì)應(yīng)關(guān)系為 15 ( / ) ( , ) 0 ( , )( , ) [ ( ) / ( ) ] [ ( , ) ] + c ( , )[ ( ) / [ ] ] ( , )g f fc a f x y f x y ag x y d c b a f x y a a f x y bM d M b d b f x y M? ???? ? ? ? ? ??? ? ? ? ? ?? （ ） 非線性 變換：使用非線性函數(shù)作為映射函數(shù)如對(duì)數(shù)函數(shù)，進(jìn)行灰度變換。對(duì)數(shù)變換可以使圖像灰度分布相匹配于人的視覺(jué)特性。常用的圖像二值化選擇方法如下： 整體閥值法：在二值化時(shí)候只使用一個(gè)全局閥值 t。局部閥值法可以處理比較復(fù)雜的情況，但有些情況會(huì)發(fā)生失真。其主要在于根據(jù)圖像灰度分布和實(shí)際的需求選擇合適的映射函數(shù)。 四 、 圖像濾波 現(xiàn)在消除噪聲的方法有全局處理和局部算子兩類(lèi)。 1. 均值濾波器 均值濾波是對(duì)信號(hào)進(jìn)行局部平均，以平均值來(lái)代表該像素點(diǎn) 來(lái)代表該像素點(diǎn)的灰度值，即每個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換： ( , )1h [i,j] = [ , ]k l N f k lM ?? （ ） 其中， M 是鄰域內(nèi)像素點(diǎn)總數(shù)。線性平滑濾波器去除了高頻成分和圖像中的銳化細(xì)節(jié) 。二維零均值離散高斯函數(shù)為： 222()2[ , ] ijg i j e ???? （ ） 一般而言，一幅圖像的邊緣方向是事先無(wú)法知道的，因此，在濾波前是無(wú)法確定一個(gè)方向是否比另一個(gè)方向需要更多的平滑。 高斯函數(shù)的傅里葉變換的頻譜是單瓣的。通過(guò)調(diào)節(jié) ? ，可在圖像特征過(guò)分模糊（過(guò)平滑）與平滑圖像中過(guò)多突變量（欠平滑）間取得折中。 3. 中值濾波器 中值濾波是一種非線性濾波方法。中值濾波器在處理連續(xù)圖像窗函數(shù)時(shí)與線性濾波器的工作方式類(lèi)似 ，但濾波過(guò)程不再是加權(quán)運(yùn)算。 4. 邊緣保持濾波器 均值濾波的平滑功能會(huì)使圖像邊緣模糊，而中值濾波在去除脈沖噪聲的同時(shí)也將圖像中的細(xì)條細(xì)節(jié)濾除掉。基于像素加權(quán)運(yùn)算的濾波器屬于線性濾波器，均值濾波器和高斯濾波器都屬于線性濾波器，而中值濾波器為非線性濾波器。在實(shí)際中，一般先濾除噪 聲后在進(jìn)行圖像銳化處理。若 k 過(guò)小會(huì)導(dǎo)致銳化效果不明顯。具體操作為： 200200( ( , ) ) ( , )( , )( ( , ) )V A R I i j MM I i j MVARG i jV A R I i j MM e l seVAR? ?????? ??? ??? （ ） 其中 0M 和 0VAR 分別為理想的均值和方差，一般 0=100M ， 0=100VAR ， M 和 VAR 為輸入人臉圖像實(shí)際的均值和方差。旋轉(zhuǎn)是為了 使兩眼保持在水平位置。39。變換式為 39。( , )( , )xyx G x yy G x y? ??? ??? （ ） 其中 ,xyGG為間接變換函數(shù)。 20 第 四 章 人臉 識(shí)別 第一節(jié) 主成分分析基本理論 一 、 什么是 主成分分析 ？ 主成分分析為 Principle ponent analysis[10,11,12]的中文翻譯，其英文簡(jiǎn)寫(xiě)為 PCA。 因此應(yīng)用極其廣泛，從神經(jīng)科學(xué)到計(jì)算機(jī)圖形學(xué)都有 它的身影 。隨后將揭示 PCA 與 SVD(Singular Value Deposition)之間的聯(lián)系以及如何將之應(yīng)用于真實(shí)世界。如何對(duì)數(shù)據(jù)進(jìn)行分析，取得隱藏在數(shù)據(jù)背后 變量 間的本質(zhì)關(guān)系，是一個(gè)很困難的問(wèn)題。如圖表 所示 ， 這是一個(gè)理想彈簧運(yùn)動(dòng)規(guī)律的測(cè)定實(shí)驗(yàn)。但是，在 實(shí)際 中，對(duì)于第一次 做這個(gè) 實(shí)驗(yàn)的 實(shí)驗(yàn) 者來(lái)說(shuō)（這也是實(shí)驗(yàn)科學(xué)中最常遇到的一種情況），是 無(wú)法 進(jìn)行這樣的假設(shè)的 。事實(shí)上，在真實(shí)世界中也并沒(méi)有所謂的 x,y,z 軸，每個(gè)攝像機(jī)記錄下的都是一幅二維的圖像，有其自己的空間坐標(biāo)系，球的空間位置是由一組二維坐標(biāo)記錄的： [(xA,yA)(xB,yB)(xC,yC)]。噪音使數(shù)據(jù)變得混亂，掩蓋了變量間的 真實(shí)關(guān)系。下文將結(jié)合以上的例子提出解決 方法 ，逐步敘述 PCA 方法的思想和求解過(guò)程 。這個(gè)維度即最重要的 “ 主元 ” 。 抽象一點(diǎn)來(lái)說(shuō)，每一個(gè)采樣點(diǎn)數(shù)據(jù) X 都是在 m 維向量空間（此例 m=6）內(nèi)的一個(gè)向量，這里的 m 是 涉及到的 變量個(gè)數(shù)。那為什么不取 2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???或是其他任意的基呢？原因是，這樣的標(biāo)準(zhǔn)正交基反映了數(shù)據(jù)的采集方式。 在線形代數(shù)中，這組基表示為行列向 量線形無(wú)關(guān)的單位矩陣。(在 2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???基下） ， 因?yàn)橐话愕挠^測(cè)者都是習(xí)慣于取攝像機(jī)的屏幕坐標(biāo)，即向上和向右的方向作為觀測(cè)的基準(zhǔn)。最普通的一組正交基是標(biāo)準(zhǔn)正交基，實(shí)驗(yàn)采樣的結(jié)果通常可以看作是在標(biāo)準(zhǔn)正交基下表示的。 22 1. 標(biāo)準(zhǔn)正交基 為了 更有利于 推導(dǎo)， 將 對(duì)上述例子 的數(shù)據(jù) 作出定義為： 在實(shí)驗(yàn)過(guò)程中，在每一個(gè)采樣時(shí)間點(diǎn)上， 每個(gè)攝像機(jī)記錄 一組二維坐標(biāo) 為 (x,y)，綜合三臺(tái)攝像機(jī)數(shù)據(jù)，在每一個(gè)時(shí)間點(diǎn)上得到的位置數(shù)據(jù)對(duì)應(yīng)于一個(gè)六維列向量。而新的基要能盡量揭示原有的數(shù)據(jù)間的關(guān)系。 上面提出的兩個(gè)問(wèn)題就是 PCA 方法 要解決 的目標(biāo)。 怎樣從這些數(shù)據(jù)中得 到球是沿著某個(gè) x 軸運(yùn)動(dòng)的規(guī)律呢？怎樣將實(shí)驗(yàn)數(shù)據(jù)中的冗余變量剔除，化歸到這個(gè)潛在的 x 軸上呢？ 在 真實(shí)的實(shí)驗(yàn)場(chǎng)景 中 ，數(shù)據(jù)的噪音是必須面對(duì)的因素。 這一點(diǎn)可以通過(guò)在不同角度放置三個(gè)攝像機(jī)實(shí)現(xiàn)（如圖 所示） ，假設(shè)以 200Hz 的頻率拍攝畫(huà)面 就可以得到球在空間中的運(yùn)動(dòng)序列。 21 圖 對(duì)于一個(gè)具有先驗(yàn)知識(shí)的實(shí)驗(yàn)者來(lái)說(shuō)，這個(gè)實(shí)驗(yàn)是非常容易的。 下面的 例子 取自一個(gè) 我們都非常熟悉的 物理學(xué)中的實(shí)驗(yàn)。 二 、 例子 在實(shí)驗(yàn)科學(xué)中 常 常遇到的情況是， 使用大量的變量代表可能變化