【正文】 行實驗，從耶魯大學(xué)的Yale Face 數(shù)據(jù)庫中選取 60幅人臉圖像，共15個人， 4幅 /人，其中訓(xùn)練樣本 56幅， 14個人， 4幅 /人，測試樣本為剩下的 4幅圖像， 1個人， 4/人，通過隨機(jī)變換訓(xùn)練樣本和測試樣本，我們重復(fù) 15次這樣的實驗。 特征層融合面部表情識別識別結(jié)果特征提取特征提取特征提取人臉圖像人臉圖像人臉圖像基于決策層融合的面部表情識別 這種方法對每個傳感器都執(zhí)行面部表情特征提取和面部表情識別，然后對多個識別結(jié)果進(jìn)行信息融合從而得出一個面部表情判決結(jié)果 ,再融合來自每個傳感器的面部表情判決。 基于信息融合面部表情識別的三個模型 ? 基于像素層融合的面部表情識別 ? 基于特征層融合的面部表情識別 ? 基于決策層融合的面部表情識別 基于像素層融合的面部表情識別 ? 這種方法對每幅圖像預(yù)處理之前進(jìn)行像素層融合后 , 得到一個融合的人臉圖像數(shù)據(jù) ,并在此基礎(chǔ)上再進(jìn)行特征提取和面部表情識別。 這一過程是選擇適當(dāng)?shù)娜四樏娌勘砬楸硎痉绞脚c匹配策略 論文主要工作 1. 介紹了信息融合在面部表情識別應(yīng)用的三個層次模型 2. 探索了基于單特征單分類器的面部表情識別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識別 信息融合與面部表情分析 ? 信息融合就是把來自多個信息源的目標(biāo)信息合并歸納為一個具有同意表示形式輸出的推理過程 , 其基本的出發(fā)點是通過對這些信息源所提供的信息的合理支配和使用 , 利用多個信源在時間或空間上的冗余性和互補(bǔ)性對這些信息進(jìn)行綜合處理 , 以獲得對被測對象具有一致性的解釋和描述 , 使得該信息系統(tǒng)獲得比它得各個組成部分更優(yōu)越的性能。 通常的表示方式包括幾何特征 、 代數(shù)特征 、 固定特征模板 、 云紋圖 、3D網(wǎng)格等 。其中 MIT、 CMU、Maryland 大學(xué)、 Standford 大學(xué)、日本城蹊大學(xué)、東京大學(xué)、 ATR 研究所的貢獻(xiàn)尤為突出 。進(jìn)入 90 年代 ,對人臉表情識別的研究變得非?；钴S ,吸引了大量的研究人員和基金支持 ,EI 可檢索到的相關(guān)文獻(xiàn)就多達(dá)數(shù)千篇?；谛畔⑷诤系拿娌勘砬榉治雠c識別 研 究 生：劉 松 指導(dǎo)老師：應(yīng)自爐 學(xué)科專業(yè)：信號與信息處理 論文選題來源 ?廣東自然科學(xué)基金項目： （ 032356） 研究現(xiàn)狀 ? 國際上 對 人臉面部表情識別的研究 現(xiàn)在逐漸成為科研熱點。國內(nèi)外很多機(jī)構(gòu)都在進(jìn)行這方面的研究 ,尤其美國、日本。美國、日本、英國、德國、荷蘭、法國等經(jīng)濟(jì)發(fā)達(dá)國家和發(fā)展中國家如印度、新加坡都有專門的研究組進(jìn)行這方面的研究。 ? 國內(nèi) 國內(nèi)的清華大學(xué)、哈爾濱工業(yè)大學(xué)、中科院、中國科技大學(xué)、南京理工大學(xué)、北方交通大學(xué)等都有人員從事人臉表情識別的研究 目前面部表情識別的主要方法： ?基于模板匹配的面部表情識別方法 ?基于神經(jīng)網(wǎng)絡(luò)的面部表情識別方法 ?基于規(guī)則的人臉面部表情識別方法 ?基于隨機(jī)序列模型的面部表情識別方法 ?其他方法，比如支持向量機(jī)，小波分析等 論文主要工作 1. 介紹了信息融合在面部表情識別應(yīng)用的三個層次模型 2. 探索了基于單特征單分類器的面部表情識別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識別 面部表情識別： 一般可描述為給定一個靜止人臉圖像或者動態(tài)的人臉圖像序列 ， 利用已有的人臉表情數(shù)據(jù)庫確定圖像中的一個人或者多個人的面部表情 ， 研究內(nèi)容包括以下三方面： 人臉檢測 :即從各種不同的場景中檢測出人臉的存在并確定其位置 . 面部表情特征提取 :即確定表示檢測出的人臉表情和數(shù)據(jù)庫中的已有的人臉面部表情的描述方式 。 面部表情識別： 就是將待識別的人臉面部表情和數(shù)據(jù)庫中的已知人臉面部表情比較 ， 得出相關(guān)信息 。 ? 人臉面部表情識別包含大量的變量 , 反映待識別目標(biāo)各要素的非度量形式允許許多類型的表示技術(shù) , 每一種技術(shù)又可以采用不同的方法進(jìn)行計算。 人臉圖像人臉圖像人臉圖像像素層融合特征提取面部表情識別識別結(jié)果基于特征層融合的面部表情識別 這種方法對每個傳感器的觀測數(shù)據(jù)進(jìn)行特征的抽取以得到一個特征向量 , 然后把這些特征向量融合起來并根據(jù)融合后得到的特征向量進(jìn)行面部表情識別及判定。 決策層融合面部表情識別識別結(jié)果特征提取特征提取特征提取人臉圖像人臉圖像人臉圖像表情識別表情識別表情識別 論文主要工作 1. 介紹了信息融合在面部表情識別應(yīng)用的三個層次模型 2. 探索了基于單特征單分類器的面部表情識別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識別 基于單特征單分類器的面部表情識別 基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別 基于幾何特征的面部表情識別 基于均值主元分析的面部表情識別 基于 Fisher線性判別的面部表情識別 基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別 網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)構(gòu) BP網(wǎng)絡(luò)的算法流程 網(wǎng)絡(luò)級聯(lián)的面部表情識別的實驗結(jié)果 網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)構(gòu) 1 2 299921 249161 249 250250300021 21 2SOMMLP自動定位人臉切割形狀歸一化灰度歸一化人臉圖像預(yù)處理32 02 43的原始圖像50 60 的切割圖像網(wǎng)絡(luò)級聯(lián)的面部表情識別流程 為BP 算法終的權(quán)值和變量分配空間和初始化輸入樣本的順序重新隨機(jī)排序輸入樣本X，正向傳播，計算各層輸出計算輸出層誤差E反向傳播，計算各層神經(jīng)元的調(diào)整信號。從日本女性表情數(shù)據(jù)庫中（ JAFFE）選取 120幅圖像，共 10個人， 12幅 /人，其中 84幅圖像作為訓(xùn)練樣本， 7個人， 12幅 /人，測試樣本為 36幅圖像， 3個人， 12幅 /人。 日本女性表情數(shù)據(jù)庫上的實驗 SOFM權(quán)值向量圖 BP網(wǎng)絡(luò)性能圖 表情類型 識別結(jié)果 Happy % Normal % Sad 70% Surprise 80% Yale Face 數(shù)據(jù)庫上的實驗 SOFM權(quán)值向量圖 BP網(wǎng)絡(luò)性能圖 表情類型 實驗結(jié)果 Happy % Normal % Sad 60% Surprise