【正文】 d維 ) 從 n維空間到 d維空間的投影 (d n) ! )( xxWy T ?? Wyxx ??山世光， 20220705 數(shù)據(jù)約減：理想情況圖示 原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差為 0，沒有信息，可以完全去掉，而沒有任何損失！ x1 x2 2D data 1D data )( xxWy T ??Wyxx ??山世光， 115 數(shù)據(jù)約減：非理想情況圖示 x1 x2 2D data 1D data x1 WoptT(xi ?) x1 x2 2D data Wyi + ? 原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差比較小， 包含少量信息，去掉后有少量損失！ 山世光， 20220705 PCA降維 : 數(shù)據(jù)損失分析 ? 投影后數(shù)據(jù)部分丟失，但是可以證明：在只使用前 d個(gè)特征向量的情況下， xi與其逆 PCA重構(gòu) x’i之間的均方誤差為： ? 最小均方誤差意義下的最佳變換 x1 x2 2D data 1D data x1 WoptT(xi ?) x1 x2 2D data Wyi + ? ?????????ndjjdjjnjj111???山世光， 20220705 PCA : 小結(jié) ? 一種多元統(tǒng)計(jì)分析方法 ? 變換后各維數(shù)據(jù)之間的相關(guān)性最小 ? 最小均方誤差意義下的最佳變換 ? 限定有效的參數(shù)空間范圍（在訓(xùn)練集合對象變化論域下） 山世光， 118 主動(dòng)統(tǒng)計(jì)模型 山世光， 119 主動(dòng)形狀模型 ASM ? 統(tǒng)計(jì)形狀模型 – 從訓(xùn)練圖像集合中可以派生出一個(gè)形狀模型集合 – 對其進(jìn)行 PCA分析，可以得到統(tǒng)計(jì)形狀模型 其中 為統(tǒng)計(jì)形狀參數(shù) },{ 21 msssS ??)( ssWb ss ??sb山世光， 120 主動(dòng)形狀模型 ASM ? ASM模型 – 局部紋理模型 – 全局形狀約束 ? PCA表達(dá)的統(tǒng)計(jì)模型 ? ASM基本思路 – 首先進(jìn)行不可靠但效率 很高的局部匹配，然后 通過全局形狀的統(tǒng)計(jì)約 束來對其進(jìn)行規(guī)范化 sss bWss ??)3,3( iiisb ?? ???i=1 i=2 i=3 頭 3個(gè)形狀模式的變化情況 山世光， 121 ASM: 搜索過程圖示 初始化 (平均 ) 特征點(diǎn)局部紋理模型匹配 統(tǒng)計(jì)形狀模型約束 (PCA) 最終結(jié)果 迭代 山世光， 122 特征點(diǎn)局部紋理模型匹配 ? 對每個(gè)特征點(diǎn)，在其法線鄰域內(nèi)搜索，尋找局部紋理模型的最佳匹配點(diǎn) – 局部紋理模型：法線方向紋理梯度，稱為 Profile ? 每個(gè)特征點(diǎn)的 Profile模型都在訓(xùn)練時(shí)建立統(tǒng)計(jì)模型 – 匹配方法 ? 在法線上逐點(diǎn)運(yùn)算，選擇馬氏距離最小的候選點(diǎn) 每個(gè)特征點(diǎn)都是一個(gè)在法線上移動(dòng)的小機(jī)器人，以發(fā)現(xiàn)與自己Profile特征最佳匹配的候選點(diǎn)！ 山世光， 123 統(tǒng)計(jì)形狀模型約束 (PCA) ? 局部搜索的結(jié)果 – 每個(gè)特征點(diǎn)局部“最優(yōu)”，全局形狀可能異常 ? 所有特征點(diǎn)全局結(jié)構(gòu)統(tǒng)計(jì)約束修改 得 ? 直接效果 – 少數(shù)服從多數(shù)的折衷 – 平滑效果，去除了鋸齒等異常 形狀特征 )))((m i na r g (),( ,0000 ssbyxsbWsTsbyxs???? ????s?s? s?山世光， 124 ASM評(píng)價(jià) ? 優(yōu)點(diǎn) – 局部紋理匹配簡單，匹配速度快 – 全局統(tǒng)計(jì)形狀約束可以有效防止無效形狀 ? 缺點(diǎn) – 算法收斂約束條件不夠強(qiáng)，沒有顯式的最優(yōu)值附近局部凸的匹配度目標(biāo)函數(shù) – 因此，經(jīng)常會(huì)出現(xiàn)非常遺憾的情況 ? 某次迭代搜索到一個(gè)正確結(jié)果，繼續(xù)迭代則逐漸遠(yuǎn)離該正確結(jié)果 山世光， 125 ASM結(jié)果示例 左側(cè)為根據(jù)眼睛位置給出的初始形狀，右側(cè)為 ASM結(jié)果 山世光， 126 Face Alignment 山世光， 127 主動(dòng)表觀模型 AAM ? Appearance = Shape + Texture – Shape如前所述 – Texture：形狀無關(guān)的灰度圖像面片 Warp到 變?yōu)? 輸入圖像 標(biāo)準(zhǔn)形狀 紋理 )( ssWb ss ??山世光， 128 AAM: 訓(xùn)練數(shù)據(jù)準(zhǔn)備 (續(xù) ) 形狀 平均形狀 紋理 山世光， 129 AAM : 形狀模型 ss bWxx ??iisb ?3?示例：訓(xùn)練得到的 3種不同的形狀模式 ? 如前所述 山世光， 130 AAM : 紋理模型 ? 紋理訓(xùn)練集合 ? 紋理模型 gg bWgg ??訓(xùn)練得到的第一紋理模式變化 iigb ?3?},{ 21 mgggG ??山世光， 131 主動(dòng)表觀模型 AAM ? 表觀模型 =形狀模型 +紋理模型 – 紋理 – 紋理模型 ? 統(tǒng)計(jì)表觀模型 – 形狀和紋理串聯(lián)得到 b后，再次應(yīng)用 PCA，建立統(tǒng)計(jì)表觀模型 – 用于合成模型圖像 Warp到 變?yōu)? 輸入圖像 標(biāo)準(zhǔn)形狀 紋理 gg bWgg ?? 3種變化模式 ?????????gssbbb ?)( bbWc c ?? ?????????cgcsc WWWcQggcQssgs????cgggcssssWWQWWQ?? ?山世光， 132 AAM : 示例 ? AAM作者的自畫像 ? 彩色模型 (by Gareth Edwards) 3種變化模式 His shape A mode of the model Tim Cootes 山世光， 133 AAM: 用于圖像分析 Given: 1) an appearance model, 2) a novel image, 3) a starting approximation c0 Find: the best matching synthetic image to get the parameters c 問題描述： 山世光， 134 AAM及其搜索策略 ? AAM搜索策略 – 基于合成的分析技術(shù) (Analysis by synthesis) – 目標(biāo)：求取模型參數(shù)，使得模型能夠最佳逼近輸入 – 故問題可以轉(zhuǎn)化為最小化下述目標(biāo)函數(shù)的參數(shù)優(yōu)化問題： ? 為輸入圖像紋理 ? 為當(dāng)前模型參數(shù) 產(chǎn)生的模型紋理 ? 基于紋理差預(yù)測參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程 – 假設(shè)：模型紋理和當(dāng)前輸入紋理之差（紋理差） 與 模型參數(shù)變化之間存在近似的線性關(guān)系 – 從而利用可以采用線性回歸的方法來預(yù)測參數(shù)的變化，從而實(shí)現(xiàn)啟發(fā)式的參數(shù)優(yōu)化 mi ggg ???gc c ?m ina r g* ?cigmggAc ?? ?山世光， 135 AAM: 搜索算法 對當(dāng)前模型參數(shù) c ? 計(jì)算模型圖像和當(dāng)前圖像之差： ?g? gs gm ? 預(yù)測模型參數(shù)變化 : ?c = A?g ? 嘗試新的模型參數(shù)： c’ = c – k?c, k=1 – 計(jì)算新的誤差函數(shù)： ?g’ – 如果 |?g’||?g| ，則接受 c’作為新的估計(jì)參數(shù) ? 如果 c’ 不被接受，嘗試 k=。 。 迭代上述過程直到 |?g|不再發(fā)生變化為止 山世光， 136 AAM：基于合成的圖像分析 3D人臉 2D人臉 圖像 Analysis Synthesis 統(tǒng)計(jì)外觀模型 SAM 圖像表示 模型參數(shù) c* cQggcQssgs?? ??mi ggg ???gc c ?m ina r g* ?gAc ?? ?山世光， 137 AAM 優(yōu)化搜索過程實(shí)例 山世光， 138 AAM總結(jié)與評(píng)價(jià) ? 優(yōu)點(diǎn) – 不僅利用了全局形狀約束，還考慮了紋理約束，因?yàn)槎ㄎ豢梢愿_； – 基于合成的分析技術(shù)，有明確的優(yōu)化目標(biāo)函數(shù)，最優(yōu)值附近滿足局部凸性質(zhì)，從而可以基本保證收斂到局部最優(yōu)解； – 采用了基于紋理差預(yù)測模型參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程，提高了搜索速度 ? 缺點(diǎn) – 盡管采用了啟發(fā)式參數(shù)優(yōu)化方法，但優(yōu)化過程仍然速度較慢； – 由于利用了紋理差與模型參數(shù)變化的線性假設(shè)，這種線性假設(shè)在紋理差別很大時(shí)并不存在，因而可能出現(xiàn)陷入局部極??； – 沒有利用特征點(diǎn)的局部紋理，因而局部匹配能力較低，個(gè)別點(diǎn)的定位難以足夠精確 山世光， 139 基于面部幾何結(jié)構(gòu)的人臉識(shí)別 基于模板匹配的人臉識(shí)別方法 山世光， 140 基于幾何特征的例子 ? 建模：用面部關(guān)鍵特征的相對位置、大小、形狀、面積等參數(shù)來描述人臉 ? 人臉圖像 f?特征向量 v v = (x1, x2,…, x n) ? 對所有已知人臉提取同樣描述的幾何特征 D={v1, v2,.., vp} ? 待識(shí)別的人臉 f提取的幾何特征為 vf ? 計(jì)算 vf與 D中所有 vi的相似度 s(vf,vi)(比如歐式距離、 cosine(.)等 )，進(jìn)行排序 ? 根據(jù)相似度最大的已知人臉的身份即可判斷待識(shí)別人臉的身份信息 山世光， 141 基于模板匹配的例子 ? 建模 – 2D 灰度矩陣，按行向量化為 1D向量 – 所有圖像均表示為這樣的向量 ? 識(shí)別 – 計(jì)算輸入圖像的向量與已知人臉庫中所有向量的相似度，排序即可給出識(shí)別結(jié)果 山世光， 20220705 Eigenface ? PCA – Principal Component Analysis ? 也稱為 Hotteling變換或者 KarhunenLoeve變換（ KLT） . ? 尋求一個(gè)正交的坐標(biāo)系統(tǒng)，使得不同坐標(biāo)軸之間的相關(guān)性最小！ 山世光， 143 Eigenface人臉識(shí)別方法 ? x為輸入圖像 ? y作為提取的特征 ? S(x1,x2)=S(y1,y2 ) – 可以采用歐式距離 – 也可以采用 Cosine + y1* + … + ym ≈ + δ(I) 山世光， 144 Eigenfaces—Eigenvectors of the Covariance matrix ? 可視化的“特征臉” – Leading 8D: valid signal – Last 8D: Difference and Noise 圖 3 3 前 8 維和后 8 維主特征向量的圖像山世光， 145 EigenFacebased face recognition method ***非人臉u2A 的人臉du1xyz人臉空間A BC非人臉*不認(rèn)識(shí)的人臉DFFS 山世光， 146 Fisherface：子空間線性判別分析 ? Eigenface and Fisherface – Eigenface: PCA or KLT ? Turk amp。 Pentland, (MIT) 1991 ? 最佳的描述特征 Most Expressive Features (MEFs) – Fisherface ? Belhumeur, Hespanha amp。 Kriegman, 1997, TPAMI ? Fisher Linear Discriminant Analysis ? 最佳的判別特征 Most Discriminating Features (MDFs) 山世光， 147 Fisher判別分析 ——Fisherface PCA’s problem!! 山世光， 148 基本思想 ? FLD 選擇一種最優(yōu)的投影變換，滿足 : WSWWSWWWTBTWo p tm a xa r g?? ?? ?? ???????ciTiiibS1Pr ????? ? ? ?? ?? ?? ??????ci xTikikiiwikxxNS11Pr ??類間散度矩陣 類內(nèi)散度矩陣 山世光， 149 FDA的計(jì)算 ? 優(yōu)化分析表明，滿足上述最大化的 W是下述方程的解： ? 進(jìn)一步 假設(shè)是非奇異的。則可以通過求解下面的廣義特征值問題