基于信息融合的面部表情分析與識(shí)別-資料下載頁(yè)
2024-09-29 10:42本頁(yè)面
【導(dǎo)讀】廣東自然科學(xué)基金項(xiàng)目：。國(guó)際上對(duì)人臉面部表情識(shí)別的研究現(xiàn)在逐漸成為科研熱。國(guó)內(nèi)外很多機(jī)構(gòu)都在進(jìn)行這方面的研究,尤其美國(guó)、進(jìn)入90年代,對(duì)人臉表情識(shí)別的研究變得非?；睢Ｏ嚓P(guān)文獻(xiàn)就多達(dá)數(shù)千篇。美國(guó)、日本、英國(guó)、德國(guó)、荷。京大學(xué)、ATR研究所的貢獻(xiàn)尤為突出。國(guó)內(nèi)國(guó)內(nèi)的清華大學(xué)、哈爾濱工業(yè)大學(xué)、中科院、中國(guó)。其他方法，比如支持向量機(jī)，小波分析。庫(kù)中的已有的人臉面部表情的描述方式。信息融合就是把來(lái)自多個(gè)信息源的目標(biāo)信息合。組成部分更優(yōu)越的性能。人臉面部表情識(shí)別包含大量的變量,反映待識(shí)。這種方法對(duì)每幅圖像預(yù)處理之前進(jìn)行像素層。融合來(lái)自每個(gè)傳感器的面部表情判決。根據(jù)各神經(jīng)元的對(duì)。性表情數(shù)據(jù)庫(kù)中選取120幅圖像，像，3個(gè)人，12幅/人。通過(guò)隨機(jī)變換訓(xùn)練樣。本和測(cè)試樣本，我們重復(fù)10次這樣的實(shí)驗(yàn)。
【正文】 JAFFE）選取 120幅圖像，共 10個(gè)人， 12幅 /人，其中 84幅圖像作為訓(xùn)練樣本， 7個(gè)人， 12幅 /人，測(cè)試樣本為 36幅圖像， 3個(gè)人， 12幅 /人。通過(guò)隨機(jī)變換訓(xùn)練樣本和測(cè)試樣本，我們重復(fù) 10次這樣的實(shí)驗(yàn)。 Yale Face數(shù)據(jù)庫(kù) 上的實(shí)驗(yàn)結(jié)果 表情類(lèi)型 分類(lèi)器 1 分類(lèi)器 2 分類(lèi)器 3 分類(lèi)器 4 SVM信息融合 Happy % % % 80% % Normal % % % 80% 80% Sad 60% 60% % % % Surprised 80% % 80% % % 日本女性表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果 表情類(lèi)型 分類(lèi)器 1 分類(lèi)器 2 分類(lèi)器 3 分類(lèi)器 4 SVM信息融合 Happy % % 80% % % Normal % 70% % 80% % Sad 70% % % % 80% Surprised 80% 80% % % 90% 論文主要工作 1. 介紹了信息融合在面部表情識(shí)別應(yīng)用的三個(gè)層次模型 2. 探索了基于單特征單分類(lèi)器的面部表情識(shí)別 3. 將支持向量機(jī)理論和信息融合理論結(jié)合在一起，提出基于基于 SVM的多特征多分類(lèi)器融合的面部表情識(shí)別 4. 將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別 基于徑向基函數(shù)網(wǎng)絡(luò)多特征融合的面部表情識(shí)別 ?基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別結(jié)構(gòu) ?徑向基神經(jīng)網(wǎng)絡(luò) ?基于 RBF網(wǎng)絡(luò)融合的面部表情識(shí)別流程 ?實(shí)驗(yàn) 基于 RBF網(wǎng)絡(luò)的多特征融合的面部表情識(shí)別結(jié)構(gòu) 圖像預(yù)處理PCA 幾何關(guān)系FLD徑向基函數(shù)(ＲＢＦ）神經(jīng)網(wǎng)絡(luò)融合中心識(shí)別結(jié)果徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（ RBF) 徑向基函數(shù)網(wǎng)絡(luò)是一種兩層前向網(wǎng)絡(luò) ,如圖所示 。 其輸出是由隱節(jié)點(diǎn)基函數(shù)的線性組合計(jì)算得到。隱節(jié)點(diǎn)的基函數(shù)只對(duì)輸入空間中的一個(gè)很小區(qū)域產(chǎn)生非零響應(yīng)。隱層神經(jīng)元將輸入空間映射到一個(gè)新的空間 ,輸出層在該空間中實(shí)現(xiàn)線性組合。 1x2xpx1c2cNc? ?xR1? ?xR2? ?xRN? ?xf1? ?xf2? ?xfc1w2wcw 徑向基函數(shù)常采用高斯函數(shù)作為非線性映射函數(shù) ,不失一般性 ,對(duì)于單個(gè)網(wǎng)絡(luò)輸出的 RBF網(wǎng)絡(luò)來(lái)說(shuō) ,其第個(gè)單元對(duì)應(yīng)的輸出為其中 : 歐幾里德范數(shù) 第個(gè)輸入向量 第個(gè)隱層節(jié)點(diǎn)的中心 第個(gè)隱層節(jié)點(diǎn)的寬度 整個(gè)網(wǎng)絡(luò)的輸出方程為 : 其中 輸出空間與第個(gè)隱層節(jié)點(diǎn)的連接權(quán) 隱層節(jié)點(diǎn)的總個(gè)數(shù) ? ????????? ???222e x pkkiikcXXR??iXkck?? ? ? ?iknk kiXRXf ???1?k?n基于 RBF網(wǎng)絡(luò)融合的面部表情識(shí)別流程 24個(gè)面部特征點(diǎn) . 29頁(yè)表得到 12個(gè)測(cè)量距離 ,對(duì)測(cè)量距離按 29頁(yè)的公式進(jìn)行歸一化處理得到 12維局部特征 ,首先對(duì)圖像做純臉部分的切割 ,形成的純臉圖像 ， 然后對(duì)純臉圖像進(jìn)行直方圖均衡化 ,標(biāo)準(zhǔn)化和歸一化處理； ,提取均值主元成分 ,根據(jù)實(shí)驗(yàn)本文選 =38,即形成 38維的表情特征 Fisher 線性判別來(lái)提取面部表情特征 ， 為了解決小樣本問(wèn)題 ， 本文采取 T+PCA+FLD策略 。 在 Yale face數(shù)據(jù)庫(kù)上用 =52維特征向量構(gòu)造特征子空間 。 在 JAFFE上用 =76維特征向量構(gòu)造特征子空間 ， 其中 c為類(lèi)別數(shù) 。 用 ? ?GFGFGF xxx 1221 , ?? ?M P C AM P C AM P C A xxx 3821 , ? T替換函數(shù)替換散布矩陣后用 FLD變換到c1=3維特征空間作為表示面部表情特征的一部分特征； RBF神經(jīng)網(wǎng)絡(luò) ,53個(gè)輸入單元對(duì)應(yīng)三種特征提取技術(shù)提取的特征。 X個(gè)隱層神經(jīng)元由徑向基函數(shù)網(wǎng)絡(luò)自適應(yīng)算法確定 ,這些隱層神經(jīng)元負(fù)責(zé)特征融合決策 ,2個(gè)輸出神經(jīng)元對(duì)應(yīng)四種表情的二進(jìn)制編碼 ,即 00代表 Happy, 01 代表Normal, 10代表 Sad, 11代表 Surprised。 Yale face 數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果 表情類(lèi)型 GF PCA FLD RBFSN Happy % % % 80% Normal % % % 80% Sad % 60% % % Surprised 80% % 80% % 日本女性表情數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果 表情類(lèi)型 GF PCA FLD RBFS Happy 80% 70% % % Normal % %% % 80% Sad % % 70% % Surprised % % 80%% % 展 望 ? 人臉的自動(dòng)分割 。 人臉表情識(shí)別技術(shù)應(yīng)該包括復(fù)雜背景下的人臉定位和純臉?lè)指?,以及人臉表情識(shí)別兩個(gè)方面的工作 。 要想使面部表情識(shí)別技術(shù)得到廣泛的發(fā)展和應(yīng)用 ,首先必須要解決人臉自動(dòng)分割問(wèn)題 。 而人臉的自動(dòng)分割是一個(gè)很有挑戰(zhàn)性的研究課題 。 ? 基于代數(shù)特征的面部表情識(shí)別方法 。 它的有點(diǎn)在于應(yīng)用簡(jiǎn)單 ,算法穩(wěn)健 ， 隨著新的分類(lèi)算法的出現(xiàn) ,基于代數(shù)特征的面部表情的識(shí)別方法仍然有很大的發(fā)展空間 。 ? 基于多特征信息融合的方法 。 人臉面部的細(xì)節(jié)信息非常重要 ,對(duì)表情的識(shí)別起著極其重要的作用 , 如何充分利用人臉本身的豐富信息將是面部表情識(shí)別研究一個(gè)值得探索的方向 ? 基于多分類(lèi)器融合的表情識(shí)別方法 ， 由于不同的分類(lèi)器想對(duì)于不同的特征和環(huán)境有著不同的性能 , 研究一個(gè)良好的融合策略將是提高面部表情識(shí)別系統(tǒng)的一個(gè)很好的研究方向 。 攻讀碩士期間發(fā)表論文 《 基于局部特征和整體特征融合的面部表情識(shí)別 》 ， 電子技術(shù)應(yīng)用 ， 2020年第 3期 《 基于 SVM信息融合的面部表情識(shí)別 》 ， 五邑大學(xué)學(xué)報(bào) （ 自然科學(xué)版 ） ， 已錄用 謝 謝！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1