【正文】 定圖像的大小是 w*h（ w和 h分別維圖像的寬度和高度 ） ， 用于訓(xùn)練的人臉個(gè)數(shù)是 n1， 測(cè)試的圖像個(gè)數(shù)是 n2， 令 m=w*h， 則訓(xùn)練集 m*n1是一個(gè)的矩陣 ，測(cè)試集是 m*n2的矩陣 。 關(guān)于這一點(diǎn)我們將在后面的實(shí)驗(yàn)中加以說(shuō)明 ， 用每一類的平均值代替類內(nèi)的具體圖像的另一個(gè)明顯的好處就是訓(xùn)練時(shí)間明顯降低 。 ? ?Nxxx ,..., 21n Nc ? ?cXXX ,..., 21 nm), . . . ,2,1( NkxWy kTk ??? ?? ?TkNkkT xxS ?? ??? ?? 1??? NkkxN11?? ?Nyyy ,..., 21 WSW TToptWoptW? ?mTTo pt WSWW ??? ,..,m a xa r g 21??? ?mii ,. .. ,2,1?? m主元分析的改進(jìn)：均值主元分析 傳統(tǒng)的主元分析的產(chǎn)生矩陣是協(xié)方差矩陣 ,也叫總體離散布矩陣 , 總體離散布矩陣是有兩部分組成 : 類間離散布矩陣和類內(nèi)離散布矩陣 ， 而改進(jìn)算法只考慮類間離散度矩陣 。 用表示列向量正交的矩陣 。 日本女性表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn) SOFM權(quán)值向量圖 BP網(wǎng)絡(luò)性能圖 表情類型 識(shí)別結(jié)果 Happy % Normal % Sad 70% Surprise 80% Yale Face 數(shù)據(jù)庫(kù)上的實(shí)驗(yàn) SOFM權(quán)值向量圖 BP網(wǎng)絡(luò)性能圖 表情類型 實(shí)驗(yàn)結(jié)果 Happy % Normal % Sad 60% Surprise 80% 基于單特征單分類器的面部表情識(shí)別 基于神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別 基于幾何特征的面部表情識(shí)別 基于均值主元分析的面部表情識(shí)別 基于 Fisher線性判別的面部表情識(shí)別 基于幾何特征的面包表情識(shí)別 ? 面部特征點(diǎn) ? 幾何特征向量的形成 ? 識(shí)別流程 ? 實(shí)驗(yàn)結(jié)果 面部特征點(diǎn) 幾何特征的形成 25,11td ?8,22 td ? 7,33 td ? 6,44 td ?22,2020 td ?213,95 td ?16,106 td ? 15,117 td ? 14,128d t?221,179 td ? 24,1810 td ? 23,1911 td ? 22,2020 td ????121iiiiddx基于幾何特征的面部表情識(shí)別流程 24個(gè)面部特征點(diǎn) . 12個(gè)測(cè)量距離 ,對(duì)測(cè)量距離按上面的公式進(jìn)行歸一化處理得到 12維局部特征 。 決策層融合面部表情識(shí)別識(shí)別結(jié)果特征提取特征提取特征提取人臉圖像人臉圖像人臉圖像表情識(shí)別表情識(shí)別表情識(shí)別 論文主要工作 1. 介紹了信息融合在面部表情識(shí)別應(yīng)用的三個(gè)層次模型 2. 探索了基于單特征單分類器的面部表情識(shí)別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識(shí)別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別 基于單特征單分類器的面部表情識(shí)別 基于神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別 基于幾何特征的面部表情識(shí)別 基于均值主元分析的面部表情識(shí)別 基于 Fisher線性判別的面部表情識(shí)別 基于神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別 網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別結(jié)構(gòu) BP網(wǎng)絡(luò)的算法流程 網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別的實(shí)驗(yàn)結(jié)果 網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別結(jié)構(gòu) 1 2 299921 249161 249 250250300021 21 2SOMMLP自動(dòng)定位人臉切割形狀歸一化灰度歸一化人臉圖像預(yù)處理32 02 43的原始圖像50 60 的切割圖像網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別流程 為BP 算法終的權(quán)值和變量分配空間和初始化輸入樣本的順序重新隨機(jī)排序輸入樣本X，正向傳播，計(jì)算各層輸出計(jì)算輸出層誤差E反向傳播，計(jì)算各層神經(jīng)元的調(diào)整信號(hào)。 ? 人臉面部表情識(shí)別包含大量的變量 , 反映待識(shí)別目標(biāo)各要素的非度量形式允許許多類型的表示技術(shù) , 每一種技術(shù)又可以采用不同的方法進(jìn)行計(jì)算。 ? 國(guó)內(nèi) 國(guó)內(nèi)的清華大學(xué)、哈爾濱工業(yè)大學(xué)、中科院、中國(guó)科技大學(xué)、南京理工大學(xué)、北方交通大學(xué)等都有人員從事人臉表情識(shí)別的研究 目前面部表情識(shí)別的主要方法： ?基于模板匹配的面部表情識(shí)別方法 ?基于神經(jīng)網(wǎng)絡(luò)的面部表情識(shí)別方法 ?基于規(guī)則的人臉面部表情識(shí)別方法 ?基于隨機(jī)序列模型的面部表情識(shí)別方法 ?其他方法，比如支持向量機(jī)，小波分析等 論文主要工作 1. 介紹了信息融合在面部表情識(shí)別應(yīng)用的三個(gè)層次模型 2. 探索了基于單特征單分類器的面部表情識(shí)別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識(shí)別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別 面部表情識(shí)別： 一般可描述為給定一個(gè)靜止人臉圖像或者動(dòng)態(tài)的人臉圖像序列 ， 利用已有的人臉表情數(shù)據(jù)庫(kù)確定圖像中的一個(gè)人或者多個(gè)人的面部表情 ， 研究?jī)?nèi)容包括以下三方面： 人臉檢測(cè) :即從各種不同的場(chǎng)景中檢測(cè)出人臉的存在并確定其位置 . 面部表情特征提取 :即確定表示檢測(cè)出的人臉表情和數(shù)據(jù)庫(kù)中的已有的人臉面部表情的描述方式 。國(guó)內(nèi)外很多機(jī)構(gòu)都在進(jìn)行這方面的研究 ,尤其美國(guó)、日本。進(jìn)入 90 年代 ,對(duì)人臉表情識(shí)別的研究變得非?；钴S ,吸引了大量的研究人員和基金支持 ,EI 可檢索到的相關(guān)文獻(xiàn)就多達(dá)數(shù)千篇。 通常的表示方式包括幾何特征 、 代數(shù)特征 、 固定特征模板 、 云紋圖 、3D網(wǎng)格等 。 基于信息融合面部表情識(shí)別的三個(gè)模型 ? 基于像素層融合的面部表情識(shí)別 ? 基于特征層融合的面部表情識(shí)別 ? 基于決策層融合的面部表情識(shí)別 基于像素層融合的面部表情識(shí)別 ? 這種方法對(duì)每幅圖像預(yù)處理之前進(jìn)行像素層融合后 , 得到一個(gè)融合的人臉圖像數(shù)據(jù) ,并在此基礎(chǔ)上再進(jìn)行特征提取和面部表情識(shí)別。根據(jù)各神經(jīng)元的（De lt a) 對(duì)隱含層的權(quán)重進(jìn)行更新訓(xùn)練集中所有樣本是否學(xué)習(xí)完畢訓(xùn)練結(jié)束否停機(jī)0?Em inEE ?是 否是是否否網(wǎng)絡(luò)級(jí)聯(lián)的面部表情識(shí)別的實(shí)驗(yàn)結(jié)果 在兩個(gè)數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，從耶魯大學(xué)的Yale Face 數(shù)據(jù)庫(kù)中選取 60幅人臉圖像，共15個(gè)人， 4幅 /人，其中訓(xùn)練樣本 56幅， 14個(gè)人， 4幅 /人，測(cè)試樣本為剩下的 4幅圖像， 1個(gè)人， 4/人，通過(guò)隨機(jī)變換訓(xùn)練樣本和測(cè)試樣本，我們重復(fù) 15次這樣的實(shí)驗(yàn)。 讀入每一個(gè)人臉圖像幾何特征數(shù)據(jù)并轉(zhuǎn)化為一維的向量 ， 對(duì)于一個(gè)表情的人臉圖像 ， 選擇一定數(shù)量的圖像構(gòu)成訓(xùn)練集 ， 其余的構(gòu)成測(cè)試集 。 變換后的新的向量 ,由下式線性變換定義 :