【正文】 基于信息融合的面部表情分析與識別 研 究 生：劉 松 指導老師：應(yīng)自爐 學科專業(yè)：信號與信息處理 論文選題來源 ?廣東自然科學基金項目： （ 032356） 研究現(xiàn)狀 ? 國際上 對 人臉面部表情識別的研究 現(xiàn)在逐漸成為科研熱點。國內(nèi)外很多機構(gòu)都在進行這方面的研究 ,尤其美國、日本。進入 90 年代 ,對人臉表情識別的研究變得非常活躍 ,吸引了大量的研究人員和基金支持 ,EI 可檢索到的相關(guān)文獻就多達數(shù)千篇。美國、日本、英國、德國、荷蘭、法國等經(jīng)濟發(fā)達國家和發(fā)展中國家如印度、新加坡都有專門的研究組進行這方面的研究。其中 MIT、 CMU、Maryland 大學、 Standford 大學、日本城蹊大學、東京大學、 ATR 研究所的貢獻尤為突出 。 ? 國內(nèi) 國內(nèi)的清華大學、哈爾濱工業(yè)大學、中科院、中國科技大學、南京理工大學、北方交通大學等都有人員從事人臉表情識別的研究 目前面部表情識別的主要方法： ?基于模板匹配的面部表情識別方法 ?基于神經(jīng)網(wǎng)絡(luò)的面部表情識別方法 ?基于規(guī)則的人臉面部表情識別方法 ?基于隨機序列模型的面部表情識別方法 ?其他方法，比如支持向量機，小波分析等 論文主要工作 1. 介紹了信息融合在面部表情識別應(yīng)用的三個層次模型 2. 探索了基于單特征單分類器的面部表情識別 3. 將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識別 面部表情識別： 一般可描述為給定一個靜止人臉圖像或者動態(tài)的人臉圖像序列 ， 利用已有的人臉表情數(shù)據(jù)庫確定圖像中的一個人或者多個人的面部表情 ， 研究內(nèi)容包括以下三方面： 人臉檢測 :即從各種不同的場景中檢測出人臉的存在并確定其位置 . 面部表情特征提取 :即確定表示檢測出的人臉表情和數(shù)據(jù)庫中的已有的人臉面部表情的描述方式 。 通常的表示方式包括幾何特征 、 代數(shù)特征 、 固定特征模板 、 云紋圖 、3D網(wǎng)格等 。 面部表情識別： 就是將待識別的人臉面部表情和數(shù)據(jù)庫中的已知人臉面部表情比較 ， 得出相關(guān)信息 。 這一過程是選擇適當?shù)娜四樏娌勘砬楸硎痉绞脚c匹配策略 論文主要工作 1. 介紹了信息融合在面部表情識別應(yīng)用的三個層次模型 2. 探索了基于單特征單分類器的面部表情識別 3. 將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識別 信息融合與面部表情分析 ? 信息融合就是把來自多個信息源的目標信息合并歸納為一個具有同意表示形式輸出的推理過程 , 其基本的出發(fā)點是通過對這些信息源所提供的信息的合理支配和使用 , 利用多個信源在時間或空間上的冗余性和互補性對這些信息進行綜合處理 , 以獲得對被測對象具有一致性的解釋和描述 , 使得該信息系統(tǒng)獲得比它得各個組成部分更優(yōu)越的性能。 ? 人臉面部表情識別包含大量的變量 , 反映待識別目標各要素的非度量形式允許許多類型的表示技術(shù) , 每一種技術(shù)又可以采用不同的方法進行計算。 基于信息融合面部表情識別的三個模型 ? 基于像素層融合的面部表情識別 ? 基于特征層融合的面部表情識別 ? 基于決策層融合的面部表情識別 基于像素層融合的面部表情識別 ? 這種方法對每幅圖像預(yù)處理之前進行像素層融合后 , 得到一個融合的人臉圖像數(shù)據(jù) ,并在此基礎(chǔ)上再進行特征提取和面部表情識別。 人臉圖像人臉圖像人臉圖像像素層融合特征提取面部表情識別識別結(jié)果基于特征層融合的面部表情識別 這種方法對每個傳感器的觀測數(shù)據(jù)進行特征的抽取以得到一個特征向量 , 然后把這些特征向量融合起來并根據(jù)融合后得到的特征向量進行面部表情識別及判定。 特征層融合面部表情識別識別結(jié)果特征提取特征提取特征提取人臉圖像人臉圖像人臉圖像基于決策層融合的面部表情識別 這種方法對每個傳感器都執(zhí)行面部表情特征提取和面部表情識別，然后對多個識別結(jié)果進行信息融合從而得出一個面部表情判決結(jié)果 ,再融合來自每個傳感器的面部表情判決。 決策層融合面部表情識別識別結(jié)果特征提取特征提取特征提取人臉圖像人臉圖像人臉圖像表情識別表情識別表情識別 論文主要工作 1. 介紹了信息融合在面部表情識別應(yīng)用的三個層次模型 2. 探索了基于單特征單分類器的面部表情識別 3. 將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識別 基于單特征單分類器的面部表情識別 基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別 基于幾何特征的面部表情識別 基于均值主元分析的面部表情識別 基于 Fisher線性判別的面部表情識別 基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別 網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)構(gòu) BP網(wǎng)絡(luò)的算法流程 網(wǎng)絡(luò)級聯(lián)的面部表情識別的實驗結(jié)果 網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)構(gòu) 1 2 299921 249161 249 250250300021 21 2SOMMLP自動定位人臉切割形狀歸一化灰度歸一化人臉圖像預(yù)處理32 02 43的原始圖像50 60 的切割圖像網(wǎng)絡(luò)級聯(lián)的面部表情識別流程 為BP 算法終的權(quán)值和變量分配空間和初始化輸入樣本的順序重新隨機排序輸入樣本X，正向傳播，計算各層輸出計算輸出層誤差E反向傳播，計算各層神經(jīng)元的調(diào)整信號。根據(jù)各神經(jīng)元的（De lt a) 對隱含層的權(quán)重進行更新訓練集中所有樣本是否學習完畢訓練結(jié)束否停機0?Em inEE ?是 否是是否否網(wǎng)絡(luò)級聯(lián)的面部表情識別的實驗結(jié)果 在兩個數(shù)據(jù)庫上進行實驗，從耶魯大學的Yale Face 數(shù)據(jù)庫中選取 60幅人臉圖像，共15個人， 4幅 /人，其中訓練樣本 56幅， 14個人， 4幅 /人，測試樣本為剩下的 4幅圖像， 1個人， 4/人，通過隨機變換訓練樣本和測試樣本，我們重復 15次這樣的實驗。從日本女性表情數(shù)據(jù)庫中（ JAFFE）選取 120幅圖像，共 10個人， 12幅 /人，其中 84幅圖像作為訓練樣本， 7個人， 12幅 /人，測試樣本為 36幅圖像， 3個人， 12幅 /人。通過隨機變換訓練樣本和測試樣本，我們重復 10次這樣的實驗。 日本女性表情數(shù)據(jù)庫上的實驗 SOFM權(quán)值向量圖 BP網(wǎng)絡(luò)性能圖 表情類型 識別結(jié)果 Happy % Normal % Sad 70% Surprise