【正文】 測系統(tǒng) – 可以較容易的擴(kuò)展到 多姿態(tài)人臉檢測 ? 系統(tǒng)在技術(shù)上的三個(gè)貢獻(xiàn)： – Haarlike矩形特征 作特征，可快速計(jì)算 – AdaBoost的分類器設(shè)計(jì) – Cascade(分級分類器 )技術(shù) 提高檢測速度 山世光， 67 人臉的特征表示方法 ? 矩形特征（ Haarlike特征） – 矩形特征的值是所有 白色 矩形中點(diǎn)的亮度值的和減去所有 灰色 矩形中點(diǎn)的亮度值的和，所得到的差 – 有 4種類型的矩形特征 山世光， 68 Haarlike特征的表示 ? 具體特征可以用一個(gè)五元組表示 r(x,y,w,h,style) – 比如： r(2,2,4,2,A)表示下面的特征 ? 特征值即為白色四個(gè)像素與黑色四個(gè)像素的差值 山世光， 69 問題 ? 如何快速計(jì)算 任意矩形 內(nèi) 所有像素的亮度之和？ – 請大家設(shè)計(jì)一個(gè)算法 – 要求計(jì)算量盡可能的小 山世光， 70 ? 需要一幅輔助圖像（積分圖）如下圖所示： 特征的快速計(jì)算 ii(x, y) =該點(diǎn)左上面 (紅色 )區(qū)域內(nèi)所有像素值的和 ！ ? ? ? ? y y x x y x i y x ii 39。( CLFfI ?入射光 反射光 山世光， 30 簡化的人臉成像模型 ? Lambert反射模型（漫反射模型） – 分別為物體表面點(diǎn)漫反射系數(shù)，法向量方向，光源的方向，二者夾角； k為入射光強(qiáng)度 – 與視點(diǎn)無關(guān)（區(qū)別鏡面反射） snkkI ?? ??? ??? )c o s (?? , sn ??山世光， 31 人臉圖像的生成要素 ? 人臉圖像實(shí)際上是三大類關(guān)鍵要素共同作用的結(jié)果 – 人臉內(nèi)部屬性 F ? 人臉 3D形狀（表面法向量方向） ? 包括人臉表面的反射屬性（包括反射系數(shù)等，通常簡稱為紋理） ? 人臉表情、胡須等屬性的變化； – 外部成像條件 L ? 包括光源（位置和強(qiáng)度等） ? 其他物體或者人體其他部件對人臉的遮擋（比如眼鏡、帽子、頭發(fā)）等。 ? 全局特征與局部特征孰輕孰重？ – 全局特征主要包括人臉的膚色特征（比如白皙、黝黑）、總體輪廓（比如圓臉、鴨蛋臉、方臉、長臉等）、以及面部五官的分布特征（比如，在繪畫界就有“國田由用，目甲風(fēng)申” 8種臉形之說），中醫(yī)也將人臉按照總體結(jié)構(gòu)特征劃分為“金木水火土”五行（側(cè)重人臉 3D結(jié)構(gòu)和肌肉凸凹情況） – 而局部特征則主要指面部五官的特點(diǎn)，比如濃眉毛、丹鳳眼、鷹勾鼻、大豁嘴、八字胡須、尖下巴等，以及面部的一些奇異特征，比如黑痣、傷痕、酒窩等等 – 二者對識別都是必要的，但全局特征一般用來進(jìn)行粗略的匹配，局部特征則提供更為精細(xì)的確認(rèn)。Toole ? Matthew Turk ? Tom Huang ? Xiaoou Tang ? Wenyi Zhao ? Chengjun Liu ? Zhengyou Zhang ? ? Jie Yang ? Haizhou Ai ? … Too many to list all here. 山世光， 51 人臉圖像數(shù)據(jù)庫 ? 人臉庫 – FERET人臉庫， 1196人 – CMUPIE姿態(tài)光照表情人臉庫， 68人 – CASPEAL人臉庫 ,1040人 ,姿態(tài)表情飾物光照 – AR人臉庫， 126人 – XM2VTS多模態(tài)人臉庫， 200多人 – Yale Face Database B 光照人臉庫， 10人 – ORL,40人， – Yale 15人 山世光， 52 文獻(xiàn)來源 ? Proceeding of the folLing conferences – CVPR, ICCV, ECCV, FG, ICPR ? Journals – IJCV – IEEE Trans. on PAMI, IP, NN, KDE, SMC(A/B) – Pattern Recognition, Pattern Recognition Letters – Image and Vision Computing – CVIU – Neuro putation – Neuroputing 山世光， 53 國際商業(yè)系統(tǒng) ? 國際上比較著名的商業(yè)系統(tǒng) – Cognitec AG——FaceVACS – Identix (LFA) —— FaceIt – Neven Vision – Vissage – FaceFINDER? 來自 Viisage Technology Inc. (PCA) – Hunter? 來自 LAU Technologies (PCA) – FaceSnap174。 fi 正例 (人臉 ) 反例 (非人臉 ) ??? ??o t h e r w is e ,0( x ) if ,1)( jjjfxh ?山世光， 77 AdaBoost用于人臉模式分類 ? 輸入 – – T ? 這也是程序循環(huán)的次數(shù) – ? 一般可以平均設(shè)置 山世光， 78 Adaboost學(xué)習(xí)算法流程 挑選出的分類器數(shù)目 T？ 挑選 錯(cuò)誤率最小的弱分類器 加入強(qiáng)分類器， 根據(jù)其錯(cuò)誤率計(jì)算其在強(qiáng)分類器中的系數(shù)。Kriegman,2022] 柔性模型， ASM, AAM [Cootes amp。則可以通過求解下面的廣義特征值問題來。Moon, 1996] 技術(shù)特點(diǎn) 基于特征的方法 基于模板的方法 基于神經(jīng)網(wǎng)絡(luò)的人臉識別方法 統(tǒng)計(jì)學(xué)習(xí)理論 基于 Appearance的 2D人臉子空間分析與建模 非線性流形分析技術(shù) 基于 2D圖像模型的人臉識別 基于 3D模型的人臉識別 山世光， 95 典型方法 ? 基于幾何特征的識別方法 ? 基于模板匹配的識別方法 ? 基于 AdaBoost的人臉檢測 ? 特征臉 (Eigenface) ? 可變形模板方法 ? 主動模型 ASM/AAM ? Fisherface, subspace LDA ? 雙子空間貝葉斯判別方法 ? 3D Morphable Model ? Elastic Graph Matching ? 局部特征分析 (LFA) ? 其他 – SVM related – LFA related – Gabor feature based methods – Illumination cones – Quotient images – Spherical harmonics and Linear subspaces – AdaBoostbased face recognition – Manifold analysis for nonlinear modeling ? ICA, kernel learning, ISOMAP, LLE 山世光， 96 重點(diǎn)介紹的幾個(gè)方法 ? 特征定位 – 可變形模板方法 – ASM/AAM ? 基礎(chǔ)知識：主成分分析 ? 識別方法 – 基于幾何特征的識別方法 – 基于模板匹配的識別方法 – 特征臉 (Eigenface) – Fisherface – 雙子空間貝葉斯判別方法 – 3D Morphable Model – 局部特征與全局特征的融合 山世光， 97 基于可變形模板 的面部特征自動定位 山世光， 98 面部特征提取 ? 可變形模板匹配 Deformable Template 山世光， 99 用可變形模板進(jìn)行面部特征定位 ? 可變形模板概念要點(diǎn) – 模板 T：器官形狀的參數(shù)描述形式 (先驗(yàn) ) ? 直線、圓、拋物線、四次曲線等 – 能量函數(shù) F =S(Tp, I) ? 參數(shù) p定義的模板 Tp與輸入圖像 I的匹配程度 – 參數(shù)優(yōu)化問題 多參數(shù)非線性函數(shù)極小化 p*= arg minp(F) ? 梯度下降法 ? 坐標(biāo)輪換法 ? 其它優(yōu)化算法 山世光， 100 特征形狀模板 山世光， 101 可變形模板 ——以下巴檢測為例 參數(shù) :(xc, yc), a, b, c, ? 左側(cè)拋物線 : 右側(cè)拋物線 : 能量函數(shù) : 其中 : 上：模板；下：邊緣圖 山世光， 102 搜索流程 山世光， 103 檢測結(jié)果 山世光， 104 基于主動模型的特征定位方法 ?PCA ?ASM ?AAM 山世光， 105 主成分分析 PCA方法 山世光， 20220705 主成分分析 PCA概況 ? 問題描述為 – 給定輸入： n維圖像空間中的 m個(gè)點(diǎn)（圖像） – 尋求一個(gè) 維的變換矩陣 – 使得 ，各維之間數(shù)據(jù)的相關(guān)性最小 ——亦即一個(gè) 去相關(guān) 的過程 W y’ x y xi x’ yi ],[ 21 mmn xxxX ???XWyyyY Tm ?? ],[ 21 ?nn? W山世光， 107 如何去相關(guān)？ ? 相關(guān)性的度量：協(xié)方差 – 兩個(gè)隨機(jī)變量 ξη 各自離差的乘積的數(shù)學(xué)期望稱為這兩個(gè)隨機(jī)變量的協(xié)方差（也叫相關(guān)矩），記作： ? 協(xié)方差矩陣 – 隨機(jī)向量 X=(x1,x2,...,xn)的各個(gè)元素之間協(xié)方差組成協(xié)方差矩陣 C，即： Cij=cov(xi, xj) [ ( ) ( ) ] ( )K E E E E E E?? ? ? ? ? ? ? ? ?? ? ? ? ?cov( , )??山世光， 108 PCA：協(xié)方差矩陣的特征值分解 ? 協(xié)方差矩陣的性質(zhì) – 實(shí)對稱矩陣 ? 半正定矩陣 – 所有的特征值大于或等于 0 ? 特征值分解 – 存在一個(gè)變換 W，滿足 – 對角線元素為特征值， W列向量為特征向量即： ? 去相關(guān) – Y=WTX，則 Y的協(xié)方差矩陣為“對角陣”，對角線元素非0(特征值，方差 )，非對角線元素為 0，即： Y的不同元素之間的協(xié)方差為 0 ??TW C W對角陣 iii wCw ???山世光， 20220705 PCA：協(xié)方差矩陣計(jì)算 ? 輸入訓(xùn)練樣本集合的協(xié)方差矩陣定義為： 其中 是樣本均值。 Classifier Stage 1 False (Reject) AdaBoost Learner Stage 2 1h 2h 10hPass False (Reject) AdaBoos