【正文】 山世光， 72 HaarLike特征的快速計(jì)算 ? 矩形特征的計(jì)算 – 像素點(diǎn) 1的積分值是矩形 A中所有點(diǎn)的亮度值的和 – 像素點(diǎn) 2的積分值是 A+B – 像素點(diǎn) 3的積分值是 A+C， – 像素點(diǎn) 4的積分值是 A+B+C+D. ? 矩形 D內(nèi)像素積分值： – ii(4)－ [ii(2)＋ ii(3)]＋ ii(1) 山世光， 73 輸入圖像 積分圖像 基于積分圖像的Haarlike特征計(jì)算 山世光， 74 何以快速？ ? 全部為定點(diǎn)加 /減法操作！ – 矩形區(qū)域和： 2次加法 1次減法 – 矩形特征計(jì)算： 1次減法，或 2次減法，或者 2次加法 1次減法 ? 沒有乘法！ 山世光， 75 AdaBoost分類器 ? AdaBoost分類器 – Adaboost學(xué)習(xí)算法是用來提高簡單分類算法的性能的 – 通過對(duì)一些 弱分類器的組合 來形成一個(gè)強(qiáng)分類器 ? 功能 – 將分類性能不好的 弱分類器 提升為分類性能好的 強(qiáng)分類器的學(xué)習(xí)算法 ? 思想 – 學(xué)習(xí)一系列分類器，在這個(gè)序列中每一個(gè)分類器對(duì)它前一個(gè)分類器導(dǎo)致的 錯(cuò)誤分類樣例給予更大的重視 山世光， 76 AdaBoost用于人臉模式分類 ? 弱分類器 其中， h表示弱分類器的值， 表示弱學(xué)習(xí)算法尋找出的閾值， 表示特征值， 表示一個(gè) Harrlike特征。 Kirby, 1987， 1990] Fisherface[Belhumeur,1997] 基 于 商 圖 像 的 人 臉 識(shí) 別 方 法[Shashua, 2022] 彈性圖匹配技術(shù) [Wiskott， 1997] 人臉檢測(cè)綜述 [Yangamp。 Kriegman, 1997, TPAMI ? Fisher Linear Discriminant Analysis ? 最佳的判別特征 Most Discriminating Features (MDFs) 山世光， 147 Fisher判別分析 ——Fisherface PCA’s problem!! 山世光， 148 基本思想 ? FLD 選擇一種最優(yōu)的投影變換，滿足 : WSWWSWWWTBTWo p tm a xa r g?? ?? ?? ???????ciTiiibS1Pr ????? ? ? ?? ?? ?? ??????ci xTikikiiwikxxNS11Pr ??類間散度矩陣 類內(nèi)散度矩陣 山世光， 149 FDA的計(jì)算 ? 優(yōu)化分析表明，滿足上述最大化的 W是下述方程的解： ? 進(jìn)一步 假設(shè)是非奇異的。 ? 記： ? 則上述公式變?yōu)椋? ?????mkTkk xxC1))(( ???],[ 21 ??? ???? mxxxA ?TAAC ?山世光， 20220705 PCA：計(jì)算方法 ? 計(jì)算過程為： 計(jì)算 樣本均值 m 中心平移每個(gè)訓(xùn)練樣本 xi 計(jì)算訓(xùn)練集合的樣本協(xié)方差矩陣 對(duì)協(xié)方差矩陣進(jìn)行特征值分解 取協(xié)方差矩陣的特征向量 形成變換矩陣 W )( xxWy T ??Wyxx ??變換 重構(gòu) 山世光， 20220705 PCA：用于降維 PCA: Reduce space dimensionality with minimum loss of description information. 原始高維數(shù)據(jù) 壓縮后低維數(shù)據(jù) 山世光， 20220705 PCA降維 : Theory ? 在變換后的特征空間中，每個(gè)特征向量 wi對(duì)應(yīng)的特征值 λi的大小代表該 特征向量所描述的方向 上的方差的大小 所以 … ? 從 W中去掉那些對(duì)應(yīng)較小特征值的特征向量，意味著在信息丟失最小的意義上降維 ! 山世光， 20220705 PCA降維 : Practice ? 按照其所相應(yīng)的特征值的大小對(duì)特征向量排序 ? 選擇頭 d個(gè)對(duì)應(yīng)最大特征值的特征向量構(gòu)成變換矩陣 Wnxd 原始數(shù)據(jù) (n維 ) 壓縮（ d維 ) 從 n維空間到 d維空間的投影 (d n) ! )( xxWy T ?? Wyxx ??山世光， 20220705 數(shù)據(jù)約減：理想情況圖示 原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差為 0，沒有信息，可以完全去掉，而沒有任何損失！ x1 x2 2D data 1D data )( xxWy T ??Wyxx ??山世光， 115 數(shù)據(jù)約減：非理想情況圖示 x1 x2 2D data 1D data x1 WoptT(xi ?) x1 x2 2D data Wyi + ? 原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差比較小， 包含少量信息，去掉后有少量損失！ 山世光， 20220705 PCA降維 : 數(shù)據(jù)損失分析 ? 投影后數(shù)據(jù)部分丟失，但是可以證明：在只使用前 d個(gè)特征向量的情況下， xi與其逆 PCA重構(gòu) x’i之間的均方誤差為： ? 最小均方誤差意義下的最佳變換 x1 x2 2D data 1D data x1 WoptT(xi ?) x1 x2 2D data Wyi + ? ?????????ndjjdjjnjj111???山世光， 20220705 PCA : 小結(jié) ? 一種多元統(tǒng)計(jì)分析方法 ? 變換后各維數(shù)據(jù)之間的相關(guān)性最小 ? 最小均方誤差意義下的最佳變換 ? 限定有效的參數(shù)空間范圍（在訓(xùn)練集合對(duì)象變化論域下） 山世光， 118 主動(dòng)統(tǒng)計(jì)模型 山世光， 119 主動(dòng)形狀模型 ASM ? 統(tǒng)計(jì)形狀模型 – 從訓(xùn)練圖像集合中可以派生出一個(gè)形狀模型集合 – 對(duì)其進(jìn)行 PCA分析，可以得到統(tǒng)計(jì)形狀模型 其中 為統(tǒng)計(jì)形狀參數(shù) },{ 21 msssS ??)( ssWb ss ??sb山世光， 120 主動(dòng)形狀模型 ASM ? ASM模型 – 局部紋理模型 – 全局形狀約束 ? PCA表達(dá)的統(tǒng)計(jì)模型 ? ASM基本思路 – 首先進(jìn)行不可靠但效率 很高的局部匹配，然后 通過全局形狀的統(tǒng)計(jì)約 束來對(duì)其進(jìn)行規(guī)范化 sss bWss ??)3,3( iiisb ?? ???i=1 i=2 i=3 頭 3個(gè)形狀模式的變化情況 山世光， 121 ASM: 搜索過程圖示 初始化 (平均 ) 特征點(diǎn)局部紋理模型匹配 統(tǒng)計(jì)形狀模型約束 (PCA) 最終結(jié)果 迭代 山世光， 122 特征點(diǎn)局部紋理模型匹配 ? 對(duì)每個(gè)特征點(diǎn)，在其法線鄰域內(nèi)搜索，尋找局部紋理模型的最佳匹配點(diǎn) – 局部紋理模型：法線方向紋理梯度，稱為 Profile ? 每個(gè)特征點(diǎn)的 Profile模型都在訓(xùn)練時(shí)建立統(tǒng)計(jì)模型 – 匹配方法 ? 在法線上逐點(diǎn)運(yùn)算，選擇馬氏距離最小的候選點(diǎn) 每個(gè)特征點(diǎn)都是一個(gè)在法線上移動(dòng)的小機(jī)器人，以發(fā)現(xiàn)與自己Profile特征最佳匹配的候選點(diǎn)！ 山世光， 123 統(tǒng)計(jì)形狀模型約束 (PCA) ? 局部搜索的結(jié)果 – 每個(gè)特征點(diǎn)局部“最優(yōu)”，全局形狀可能異常 ? 所有特征點(diǎn)全局結(jié)構(gòu)統(tǒng)計(jì)約束修改 得 ? 直接效果 – 少數(shù)服從多數(shù)的折衷 – 平滑效果，去除了鋸齒等異常 形狀特征 )))((m i na r g (),( ,0000 ssbyxsbWsTsbyxs???? ????s?s? s?山世光， 124 ASM評(píng)價(jià) ? 優(yōu)點(diǎn) – 局部紋理匹配簡單，匹配速度快 – 全局統(tǒng)計(jì)形狀約束可以有效防止無效形狀 ? 缺點(diǎn) – 算法收斂約束條件不夠強(qiáng)，沒有顯式的最優(yōu)值附近局部凸的匹配度目標(biāo)函數(shù) – 因此，經(jīng)常會(huì)出現(xiàn)非常遺憾的情況 ? 某次迭代搜索到一個(gè)正確結(jié)果，繼續(xù)迭代則逐漸遠(yuǎn)離該正確結(jié)果 山世光， 125 ASM結(jié)果示例 左側(cè)為根據(jù)眼睛位置給出的初始形狀，右側(cè)為 ASM結(jié)果 山世光， 126 Face Alignment 山世光， 127 主動(dòng)表觀模型 AAM ? Appearance = Shape + Texture – Shape如前所述 – Texture：形狀無關(guān)的灰度圖像面片 Warp到 變?yōu)? 輸入圖像 標(biāo)準(zhǔn)形狀 紋理 )( ssWb ss ??山世光， 128 AAM: 訓(xùn)練數(shù)據(jù)準(zhǔn)備 (續(xù) ) 形狀 平均形狀 紋理 山世光， 129 AAM : 形狀模型 ss bWxx ??iisb ?3?示例：訓(xùn)練得到的 3種不同的形狀模式 ? 如前所述 山世光， 130 AAM : 紋理模型 ? 紋理訓(xùn)練集合 ? 紋理模型 gg bWgg ??訓(xùn)練得到的第一紋理模式變化 iigb ?3?},{ 21 mgggG ??山世光， 131 主動(dòng)表觀模型 AAM ? 表觀模型 =形狀模型 +紋理模型 – 紋理 – 紋理模型 ? 統(tǒng)計(jì)表觀模型 – 形狀和紋理串聯(lián)得到 b后，再次應(yīng)用 PCA，建立統(tǒng)計(jì)表觀模型 – 用于合成模型圖像 Warp到 變?yōu)? 輸入圖像 標(biāo)準(zhǔn)形狀 紋理 gg bWgg ?? 3種變化模式 ?????????gssbbb ?)( bbWc c ?? ?????????cgcsc WWWcQggcQssgs????cgggcssssWWQWWQ?? ?山世光， 132 AAM : 示例 ? AAM作者的自畫像 ? 彩色模型 (by Gareth Edwards) 3種變化模式 His shape A mode of the model Tim Cootes 山世光， 133 AAM: 用于圖像分析 Given: 1) an appearance model, 2) a novel image, 3) a starting approximation c0 Find: the best matching synthetic image to get the parameters c 問題描述： 山世光， 134 AAM及其搜索策略 ? AAM搜索策略 – 基于合成的分析技術(shù) (Analysis by synthesis) – 目標(biāo)：求取模型參數(shù)，使得模型能夠最佳逼近輸入 – 故問題可以轉(zhuǎn)化為最小化下述目標(biāo)函數(shù)的參數(shù)優(yōu)化問題： ? 為輸入圖像紋理 ? 為當(dāng)前模型參數(shù) 產(chǎn)生的模型紋理 ? 基于紋理差預(yù)測(cè)參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程 – 假設(shè)：模型紋理和當(dāng)前輸入紋理之差（紋理差） 與 模型參數(shù)變化之間存在近似的線性關(guān)系 – 從而利用可以采用線性回歸的方法來預(yù)測(cè)參數(shù)的變化，從而實(shí)現(xiàn)啟發(fā)式的參數(shù)優(yōu)化 mi ggg ???gc c ?m ina r g* ?cigmggAc ?? ?山世光， 135 AAM: 搜索算法 對(duì)當(dāng)前模型參數(shù) c ? 計(jì)算模型圖像和當(dāng)前圖像之差： ?g? gs gm ? 預(yù)測(cè)模型參數(shù)變化 : ?c = A?g ? 嘗試新的模型參數(shù)： c’ = c – k?c, k=1 – 計(jì)算新的誤差函數(shù)： ?g’ – 如果 |?g’||?g| ，則接受 c’作為新的估計(jì)參數(shù) ? 如果 c’ 不被接受，嘗試 k=。Pentland,1991] 光照錐技術(shù) Gehiades,Kriegman，Belhumeur， 1998] 基于特征的方法與基于模板的方法的對(duì)比 [Brunelli amp。ve Bayes Classifier ? AdaBoost 遍歷所有可能的“矩形窗口”，判斷每個(gè)小窗口是否人臉？ 山世光， 65 基于 AdaBoost 的快速人臉檢測(cè) 山世光， 66 AdaBoost算法簡介 ? 在 2022年的 ICCV上，當(dāng)時(shí)在 Compaq的研究員 Paul Viola和 Michael 臉檢測(cè)系統(tǒng) – 圖像大小為 384x288時(shí)，其速度是平均 每秒 15幀 – 第一個(gè)準(zhǔn)實(shí)時(shí)的 (準(zhǔn)正面 )人臉檢