【文章內(nèi)容簡介】 7] 做了表情分析。 Essa 于 1997 年提出了基于視頻的動態(tài)表情描述方式 FACS+, 它把時間和空間的變化特性考慮進去 ,這樣就克服了 FACS 對動態(tài)表情特性描述 的不足。 2020 年由中科大的研究人員所提出的基于三維數(shù)據(jù)的人臉表情識別方 [8] [9] 法 也得到了一定的應(yīng)用。趙力莊 把用于人臉識別的特征臉應(yīng)用到表情識別 [10] 中 ,把表情投影到不同的空間域 ,用距離來判定表情的類別。葉敬福 周艷平 3 中南民族大學(xué)碩 士學(xué)位論文 [11] 等人提出利用 Gabor 濾波器提取人臉表情特征 ,構(gòu)造彈性圖 ,用于人臉識別。 [12] 劉偉鋒 提出了基于人臉臉型分類的人臉表情識別算法。這些研究成果只能說在 局部應(yīng)用上取得了成功 ,但是大規(guī)模的商業(yè)應(yīng)用還有很多技術(shù)性的制約 ,由于工 程應(yīng)用領(lǐng)域有很多影響表情識別性能的因素 ,比如說光照、年齡、姿態(tài)、圖像質(zhì) 量等干擾因素 ,所以要建立有較強魯棒性的人臉表情自動識別系統(tǒng)還需要解決很 多難點問題 ,這也是至今沒有大規(guī)模成功應(yīng)用的原因之一。 通?？梢院唵螌⑷四槺砬樽R別的工作流程分為 3 個步驟 :人臉 圖像信息獲 取、預(yù)處理及表情特征提取、人臉表情分類 ,如圖 所示。 首先要獲得包含人臉整體信息的人臉圖像 ,這最基本的條件。其中包括靜態(tài) 和動態(tài)圖像 ,一個圖像序列比一幅靜態(tài)圖像潛在的多了很多信息 ,因為它含有表 情的時間特征?，F(xiàn)在二維灰度人臉圖像是最常用的圖像形式 ,隨著圖像采集設(shè)備 性能的提高 ,未來彩色圖像可能會更加流行。 然后針對圖像尺度、光照情況、頭部姿勢等客觀問題所造成的影響 ,把人臉 進行標(biāo)準(zhǔn)化 ,主要的手段有圖像幾何特征的歸一化和圖像光學(xué)特性的歸一化 ,它 包括直方圖均衡化和灰度歸一化處理 ,目的在于 消除尺度、光照和姿勢的影響 , 這樣把圖像背景和所需的人臉特征分離開來 ,去除了背景干擾 ,這是進行表情特 征提取前很重要的一步。 表情特征提取就是把像素數(shù)據(jù)轉(zhuǎn)化為可以更顯著代表人臉及其外形、運動、 肌肉和立體結(jié)構(gòu)的一組數(shù)據(jù) ,這樣就更加便于后續(xù)的表情分類 ,經(jīng)過特征提取 , 大量的冗余的數(shù)據(jù)被去除 ,空間維數(shù)大大降低。通?？梢赃x擇的表示方法有基于 幾何的、運動的、統(tǒng)計的或者空間變換的特征。 最后進行表情分類 ,那就要用到某些特定的算法 (也可稱為分類器訓(xùn)練方 法 ),然后它根據(jù)特征提取器得到的特征向量來給一個被測試對象賦 一個類別標(biāo) 記?，F(xiàn)在的表情識別系統(tǒng)中大多包含了參數(shù)和非參數(shù)的分類器。 對于人臉識別和人臉表情識別而言 ,它們在圖像獲取和預(yù)處理這些環(huán)節(jié)都是 一致的 ,但是在特征提取部分有比較大的差別 ,人臉表情識別所提取的特征是針 對同一人臉下的各種不同的表情 ,而人臉識別提取的特征是針對不同人臉的特 征 ,所以我們主要研究的對象就是特征提取的方法以及分類器的設(shè)計方法 ,首先 我們要從這兩個方面對表情識別技術(shù)進行簡要介紹。 4 中南民族大學(xué)碩士學(xué)位論文 光照 尺度 姿態(tài) 背景分離 人臉特征分割 人臉標(biāo)準(zhǔn) 人臉分割 表情特征表 示 人臉表情分類 人臉獲取 表情特征提取 人臉特征信息 變形信息提 運動信息提 人臉整體信息 表情識別 表情描述 取 取圖 表情識別系統(tǒng)一般框架 表情特征提取方法 根據(jù)人臉表情圖像不同的性質(zhì)分類 ,可以分為靜態(tài)圖像特征提取和動態(tài)圖像 序列特征提取 ,在靜態(tài)圖像中 ,提取出來的是人臉表情的暫態(tài)特征 ,而序列圖像 提取的是連續(xù)的運動特征。不論是哪一種特征 ,都想盡可能的滿足以下幾個理想 的條件 :①能夠表示出人臉表情完整的本質(zhì)信息 。②盡量減少噪聲和光照等無關(guān) 的外界干擾 。③降低數(shù)據(jù)維數(shù) ,盡可能減少下一步計 算的復(fù)雜度 。④加大不同類 別特征之間的區(qū)分度。 針對靜態(tài)圖像特征提取常用的方法有 :利用 KL 變換確定臉部圖像的特征 [13] [14,15] 參數(shù)向量 基于幾何特征的方法、主成分分析法 PCA(Principal Component [16] [17] Analysis)、基于奇異值分解的方法 、 Gabor 小波法 、基于模型的方法。對于 [18] 動態(tài)圖像序列 ,則有特征跟蹤、光流分析 、參數(shù)運動模型、標(biāo)記人臉視頻等對 時域動態(tài)信號進行描述的方法。這些方法在人臉識別領(lǐng)域也是經(jīng)常用到的 ,人臉 表情識別和人 臉識別在很多方法都是存在差異的 (見表 13)。鑒于這些差異 ,表 情識別的方法應(yīng)該更加具有的針對性。 5 中南民族大學(xué)碩士學(xué)位論文 表 人臉識別和人臉表情識別的比較 比較 不同點類別 主要研 特征提 干擾信 相同點 究對象 取目標(biāo) 號 人臉識別 人臉個 人臉特 不同人 體特征 征的共 臉的個 差異 性 體差異 人臉圖像預(yù)處理人臉表情識別 人臉表 人臉不 人臉表 人臉檢測與定位 人臉跟蹤 情特征 同表情 情的變 的共性 特征的 化 差異 基于幾何特征的提取法是通過提取人臉上的眼睛、鼻 子、嘴巴、下巴等重要 特征點的位置、尺度以及彼此間的比例 ,然后轉(zhuǎn)化為一組幾何矢量表示。由于幾 何特征提取忽略了很細(xì)微的信息 (如皮膚紋理的變化 ),因此在識別細(xì)微變化的 表情時效果很差。雖然這種方法已經(jīng)不是現(xiàn)在研究的主要方向 ,只有結(jié)合其他方 法才能取得較好的識別效果 ,但它自身還是具有很多優(yōu)點 ,它能夠簡潔地表示出 人臉的宏觀結(jié)構(gòu)變化 (通常在圖像質(zhì)量高和背景簡單的情況下可以實現(xiàn) )這不僅 符合人類辨別不同人臉的視覺思維機理 ,而且每幅圖只需要一個特征矢量就可以 表示 ,從而使存儲量較小。鑒于以上特點 ,基于幾何特征的方法只 適合粗分類。 主成分分析 (Principal Component Analysis)是一種把高維的數(shù)據(jù)投影到低維 空間中的方法 ,通過尋找在最小均方意義下最能夠代表原始數(shù)據(jù)的投影是這種方 法的最終目的。 PCA 是基于 KL 正交變換的 ,把高維圖像經(jīng)過 KL 正交變換后 , 生成一組新的獨立正交基 ,這樣就可以消除原有向量間的相關(guān)性。從幾何上說 , 樣本點 x1,??xn 在 d 維空間形成了一個 d 維橢球形狀的云團 ,主成分分析通 過提取云團最大的那些方向的方法 ,達到對特征空間降維的目的。這樣既保留了 高維空間的主要成分 分量 ,也降低了表情特征的維數(shù)。缺點是造成了類間和類內(nèi) 的離散度同時增大。之后人們又提出了很多對 PCA 改進的算法 ,在 1998 年 ,巴 特利提出一種更為流行的基于獨立分量分析 (Independent Component Analysis) [19,20,21] 算法 ,除此之外 ,還有基于模板 PCA 法 ,它將人臉圖像分割成小的子圖 像 ,再對子圖像做 PCA。以及 FLD(fisher 線性判別法 )也是對 PCA 的一種改 進 ,它的目標(biāo)是建立只包含最基本元素的空間 ,通過類間最大化離散 ,類內(nèi)最小 化離散 ,這樣就使表情識別 更為簡化。 Gabor 小波法 ,即利用 Gabor 濾波器一個復(fù)域正旋曲線函數(shù) ,相當(dāng)于一組帶 通濾波器 ,通過調(diào)節(jié)不同的參數(shù)來捕捉圖像中不同的空間頻率、空間位置以及方 向信息 ,所以經(jīng)過 Gabor 濾波得到的信息對亮度和人臉姿態(tài)不敏感。此方法是借 鑒生理心理學(xué)的研究成果 ,Gabor 小波核函數(shù)具有與人類大腦皮層細(xì)胞的反射區(qū) [10] 相似的機制。到目前已經(jīng)出現(xiàn)了很多基于 Gabor 小波的方法 ,如葉敬福 提出的 [22] 基于 Gabor 小波的彈性圖匹配識別 ,曹宇佳 提出的基于多尺度多方向差值模板 6 中南民族大學(xué)碩士學(xué)位論文 特征提取法。 SIFT 特征提取法 ,它是 2020 年被正式提出的一種基于尺度空間、縮放、旋 [23] 轉(zhuǎn)不變性的圖像局部特征描述算子 。雖然這是近年來才提出來的方法 ,而且主 要是針對剛性物體的圖像匹配和物體識別 ,但人們正嘗試一些改進后的算法應(yīng)用 到人臉識別以及表情識別領(lǐng)域 ,而且在未來的發(fā)展中也會有更大的潛力。 基于模型的方法主要以主動形狀模型 (Active Shape Models,ASM)和主動 外觀模型 (Active Appearance Models,AAM)這兩種比 較經(jīng)典的形狀特征提取 算法為典型代表。 ASM 方法是先提取目標(biāo)輪廓的邊界點表示各形狀 ,然后對各 形狀校準(zhǔn) ,以形成訓(xùn)練集 ,這是一個迭代搜索過程 ,是的模型于目標(biāo)物體的輪廓 逐步吻合 ,當(dāng)?shù)阉魇諗繒r ,模型中的參數(shù)就可以描述圖像中的目標(biāo)形狀。而 AAM 則是 ASM 的一種擴展 ,它建立了一種對目標(biāo)對象變化程度的參數(shù)化描述 , 首先通過手工的方法標(biāo)定一組形狀信息 ,再利用灰度差值法得到它的灰度信息 , 用主成分分析法去除出這兩種信息的冗余得到 AAM 基向量 ,把實際圖像在 AAM [24] 基向量上進行投影 ,然后通過模型參數(shù)構(gòu)建 表情特征向量。