【正文】 人臉面部的細(xì)節(jié)信息非常重要 ,對(duì)表情的識(shí)別起著極其重要的作用 , 如何充分利用人臉本身的豐富信息將是面部表情識(shí)別研究一個(gè)值得探索的方向 ? 基于多分類器融合的表情識(shí)別方法 ， 由于不同的分類器想對(duì)于不同的特征和環(huán)境有著不同的性能 , 研究一個(gè)良好的融合策略將是提高面部表情識(shí)別系統(tǒng)的一個(gè)很好的研究方向 。 它的有點(diǎn)在于應(yīng)用簡(jiǎn)單 ,算法穩(wěn)健 ， 隨著新的分類算法的出現(xiàn) ,基于代數(shù)特征的面部表情的識(shí)別方法仍然有很大的發(fā)展空間 。 而人臉的自動(dòng)分割是一個(gè)很有挑戰(zhàn)性的研究課題 。 人臉表情識(shí)別技術(shù)應(yīng)該包括復(fù)雜背景下的人臉定位和純臉?lè)指?,以及人臉表情識(shí)別兩個(gè)方面的工作 。 X個(gè)隱層神經(jīng)元由徑向基函數(shù)網(wǎng)絡(luò)自適應(yīng)算法確定 ,這些隱層神經(jīng)元負(fù)責(zé)特征融合決策 ,2個(gè)輸出神經(jīng)元對(duì)應(yīng)四種表情的二進(jìn)制編碼 ,即 00代表 Happy, 01 代表Normal, 10代表 Sad, 11代表 Surprised。 在 JAFFE上用 =76維特征向量構(gòu)造特征子空間 ， 其中 c為類別數(shù) 。 1x2xpx1c2cNc? ?xR1? ?xR2? ?xRN? ?xf1? ?xf2? ?xfc1w2wcw 徑向基函數(shù)常采用高斯函數(shù)作為非線性映射函數(shù) ,不失一般性 ,對(duì)于單個(gè)網(wǎng)絡(luò)輸出的 RBF網(wǎng)絡(luò)來(lái)說(shuō) ,其第個(gè)單元對(duì)應(yīng)的輸出為其中 : 歐幾里德范數(shù) 第個(gè)輸入向量 第個(gè)隱層節(jié)點(diǎn)的中心 第個(gè)隱層節(jié)點(diǎn)的寬度 整個(gè)網(wǎng)絡(luò)的輸出方程為 : 其中 輸出空間與第個(gè)隱層節(jié)點(diǎn)的連接權(quán) 隱層節(jié)點(diǎn)的總個(gè)數(shù) ? ????????? ???222e x pkkiikcXXR??iXkck?? ? ? ?iknk kiXRXf ???1?k?n基于 RBF網(wǎng)絡(luò)融合的面部表情識(shí)別流程 24個(gè)面部特征點(diǎn) . 29頁(yè)表得到 12個(gè)測(cè)量距離 ,對(duì)測(cè)量距離按 29頁(yè)的公式進(jìn)行歸一化處理得到 12維局部特征 ,首先對(duì)圖像做純臉部分的切割 ,形成的純臉圖像 ， 然后對(duì)純臉圖像進(jìn)行直方圖均衡化 ,標(biāo)準(zhǔn)化和歸一化處理； ,提取均值主元成分 ,根據(jù)實(shí)驗(yàn)本文選 =38,即形成 38維的表情特征 Fisher 線性判別來(lái)提取面部表情特征 ， 為了解決小樣本問(wèn)題 ， 本文采取 T+PCA+FLD策略 。隱節(jié)點(diǎn)的基函數(shù)只對(duì)輸入空間中的一個(gè)很小區(qū)域產(chǎn)生非零響應(yīng)。 Yale Face數(shù)據(jù)庫(kù) 上的實(shí)驗(yàn)結(jié)果 表情類型 分類器 1 分類器 2 分類器 3 分類器 4 SVM信息融合 Happy % % % 80% % Normal % % % 80% 80% Sad 60% 60% % % % Surprised 80% % 80% % % 日本女性表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果 表情類型 分類器 1 分類器 2 分類器 3 分類器 4 SVM信息融合 Happy % % 80% % % Normal % 70% % 80% % Sad 70% % % % 80% Surprised 80% 80% % % 90% 論文主要工作 1. 介紹了信息融合在面部表情識(shí)別應(yīng)用的三個(gè)層次模型 2. 探索了基于單特征單分類器的面部表情識(shí)別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類器融合的面部表情識(shí)別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別 基于徑向基函數(shù)網(wǎng)絡(luò)多特征融合的面部表情識(shí)別 ?基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別結(jié)構(gòu) ?徑向基神經(jīng)網(wǎng)絡(luò) ?基于 RBF網(wǎng)絡(luò)融合的面部表情識(shí)別流程 ?實(shí)驗(yàn) 基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別結(jié)構(gòu) 圖像預(yù)處理PCA 幾何關(guān)系FLD徑向基函數(shù)(ＲＢＦ）神經(jīng)網(wǎng)絡(luò)融合中心識(shí)別結(jié)果徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（ RBF) 徑向基函數(shù)網(wǎng)絡(luò)是一種兩層前向網(wǎng)絡(luò) ,如圖所示 。從日本女性表情數(shù)據(jù)庫(kù)中（ JAFFE）選取 120幅圖像，共 10個(gè)人， 12幅 /人，其中 84幅圖像作為訓(xùn)練樣本， 7個(gè)人， 12幅 /人，測(cè)試樣本為 36幅圖像， 3個(gè)人， 12幅 /人。 結(jié)果對(duì)于四種表情的二進(jìn)制編碼 ，即 00Happy, 01Normal, 10Sad, 11Surprised。 綜合上述兩個(gè)過(guò)程 ， 得到融合后的決策為： 其中 ， 為普通的向量?jī)?nèi)積運(yùn)算 。 ? ? ? ? ? ?? ?ll yxyxyx , 2211 ? di Rx ? ? ?1,1 ???iyli ,2,1 ??0??? bxw先對(duì)參數(shù)和施加約束條件 : 對(duì)于全體訓(xùn)練樣本 ,則下列不等式成立 最優(yōu)超平面使得下式取得最小的超平面 通過(guò)對(duì)上式的優(yōu)化問(wèn)題求解 ， 可得一組解 , 并且該解滿足 下列各式 : 只有支持向量的系數(shù)才可能為非零值 ， 所以可以表示為： 并且 ， 對(duì)于任意的支持向量 ， 都有： H1H2 最優(yōu)超平面1m i n ,2,1 ???? bxw ili ?? ? 1??? bxwy iili ,2,1 ??? ? 221 ww ??? ??,bwliy iilii ,2,1,0,01????????iito r sS u p p o r tV e ci xyw ?? ?ii xwyb ???基于基于 SVM的多特征多分類器融合的面部表情識(shí)別 ?基于 SVM信息融合的面部表情識(shí)別結(jié)構(gòu) ?支持向量機(jī)和最優(yōu)超平面 ?SVM融合原理 ?SVM融合函數(shù)以及融合模型 ?幾種常用的核函數(shù) ?基于 SVM信息融合的面部表情識(shí)別流程 ?實(shí)驗(yàn)結(jié)果 SVM融合原理 假設(shè)有個(gè)分類器 ， 若已經(jīng)取得個(gè)決策樣本值以及實(shí)際的決策值： 其中 表示對(duì)于第 i個(gè)輸入樣本圖像 ， 這 n個(gè)分類器作出的決策矢量 , 是對(duì)應(yīng)第輸入樣本圖像的標(biāo)簽 .要求能根據(jù)這組樣本值 ， 找到一個(gè)適當(dāng)?shù)娜诤虾瘮?shù) ， 使得對(duì)于確定的損失函數(shù) 具有最小的期望風(fēng)險(xiǎn) ,從信息變換的角度來(lái)看 ， 多分類器起到把輸入的人臉圖像映射到?jīng)Q策空間的作用