【文章內(nèi)容簡介】 ixxAAxAAPYYYYPSb11 ? ? ? ?? ? ? ? ? ?? ?? ? ? ?? ?? ? ? ? ? ?? ?? ?? ?? ?? ?? ????????? ??cinlTiiliiliicinlTiiliiliixiixAAxAAnPYYYYnPSw1 11 111＝＝ 現(xiàn)在將類間散布矩陣 xSb 與類內(nèi)散布矩陣 xSw 的跡分別定義為類間距離 dbx 與類內(nèi)距離dwx ，則有 ? ? ? ?? ?? ? ? ?? ?? ?? ?? ? ? ?? ? xDxxAAAAPxxAAxAAPSbtrdbbTciiTiiTciiTiixx??????? ???????????11 南京郵電大學(xué) 2020 屆本科畢業(yè)論文 8 ? ? ? ? ? ?? ?? ? ? ? ? ?? ?? ?? ? ? ?? ? ? ? ? ?? ? xDxxAAAAnPxxAAxAAnPSwtrdwwTcinliilTiiliiTciiilTnliiliixxii????????? ???????? ?? ?? ?? ?1 11 111 這里： ? ?? ? ? ?? ??? ???ciiTiib AAAAPD1 ? ? ? ?? ? ? ? ? ?? ?? ?? ? ???cinliilTiiliiwi AAAAnPD1 11 稱 D Db w, 分別為訓(xùn)練圖像樣本的廣義類間散布矩陣、廣義類內(nèi)散布矩陣。 定義廣義 Fisher 準(zhǔn)則函數(shù)如下 ? ?J x x D xx D xT bT w? 其中 x 為任一 n 維列向量。使函數(shù) ??Jx 達(dá)到最大值的向量 1u 稱為最佳鑒別投影方向，其物理意義是 m 維空間 Rm 中的訓(xùn)練圖像樣本投影特征在方向 1u 上具有最小的類內(nèi)散布和最大的類間散布。 在求出第一個(gè)最佳鑒別投影方向 1u 后，在下述正交條件下： 012 ?uuT 可求出使函數(shù) ??Jx 達(dá)到最大值的向量 2u ，稱為第二個(gè)最佳鑒別投影方向。以此類推，假設(shè)求出了 )( nrr ? 個(gè)最佳鑒別投影方向： ruuu , 21 ? ，則對任意一個(gè)圖像 nmA ??? ，可定義 A 的 )( rm 維最佳鑒別投影特征如下： ??????????????????????????rrrmAuAuAuYYYY ?? 2121 特征臉（ K－ L 變換特征） 設(shè)有 K 個(gè)訓(xùn)練圖像 ),2,1( KkA nmk ???? ? ，將每幅 nm? 圖像矩陣 kA 寫成一個(gè) )(mn南京郵電大學(xué) 2020 屆本科畢業(yè)論文 9 維圖像矢量 ),2,1( Kkzk ?? ，所有訓(xùn)練圖像的均值矢量記為 z ，則圖像矢量總體的散布矩陣可表示為（忽略系數(shù)） mnmnTkKk kt zzzzS?? ????? ? ))((1 若取總體散布矩陣 tS 作為 KL變換的產(chǎn)生矩陣 ? ，則 ? 可寫成： mnmnTZZ ????? 其中 KmnK zzzzzzZ ?????????? ],[ 21 一般，圖像矢量的維數(shù) )(mn 遠(yuǎn)遠(yuǎn)大于訓(xùn)練樣本數(shù) K ，直接計(jì)算 ? 的本征值 與本征向量很困難，此時(shí)可利用奇異值分解定理。為此，構(gòu)造矩陣 R 如下： KKT ZZR ???? 也稱 R 為產(chǎn)生矩陣。顯然，產(chǎn)生矩陣 ZZR T? 的秩 r 小于或等于訓(xùn)練樣本數(shù) 1?K 。容易計(jì)算出產(chǎn)生矩陣 R 的 r 個(gè)本征值 2i? 及相應(yīng)的正交歸一本征向量 ),1( rivi ???? 。再由奇異值分解定理，可以得到 TZZ?? 的正交歸一本征向量如下： ),1(1 riZvu iii ??? ? 取產(chǎn)生矩陣 R 的前 j 個(gè)最大本征值對應(yīng)的本征向量 juuu , 21 ? 作為坐標(biāo)軸，則任意一個(gè) )(mn 圖像 矢量 z 可通過下式的投影在均方誤差最小意義下壓縮為 j 維的 KL變換特征矢量： zUzuzuzuyyyY TTjTTj??????????????????????????????? ?? 2121 其中， ? ?juuuU , 21 ?? KL 變換是圖像壓縮的一種最優(yōu)正交變換。人們將其應(yīng)用于特征提取中，形成了子空間法模式識別的基礎(chǔ)。在人臉自動識別領(lǐng)域， Turk 與 Pentland 將 KL 變換用于人臉圖像的最優(yōu)表示，提出了本征臉的方法，在近 3000 個(gè)人的 7562 幅圖像的大數(shù) 據(jù)庫上進(jìn)行了廣泛的測試，利用隨機(jī)選取的 128 幅訓(xùn)練圖像計(jì)算出 20 個(gè) KL 變換特征，實(shí)驗(yàn)得到南京郵電大學(xué) 2020 屆本科畢業(yè)論文 10 了 90%的識別正確率。 本章小結(jié) 本章介紹了三種圖像代數(shù)特征，重點(diǎn)了解了基于人臉臉部校準(zhǔn)圖像矢量 、 利用 KL變換與具有統(tǒng)計(jì)不相關(guān)性的最佳鑒別變換抽取人臉圖像的有效鑒別特征的方法，這些方法的了解可以幫助我們很好的理解下面幾章所介紹的內(nèi)容。南京郵電大學(xué) 2020 屆本科畢業(yè)論文 11 第三章 主成分分析法（ PCA） 引言 上一章我們介紹了人臉圖像的有效鑒別特征抽取的相關(guān)知識，這對我們理解這一章和下一章的知識很有幫助。在模式識別的特征提取中，經(jīng) 常將生物的特征用數(shù)字向量來表示，比如在虹膜特征提取中， 在一張虹膜圖像中，可以把瞳孔中心為圓心，則對于圖像中虹膜范圍內(nèi)的所有像素坐標(biāo) ， 都可以對應(yīng)到一個(gè)極坐標(biāo) ( ?cos ， ?sin )，其中 r 為到圓心的距離， ? 為 ),( yx 到圓心的連線與 x 軸的夾角。這樣由表示不同類間的不同值域就可以組成特征向量。在特征提取中，主成分 分析法（ PCA）方法是使用比較早的一個(gè)方法，也是其他特征提取方法的基礎(chǔ)。 有關(guān) PCA 的理論與方法 [4]， 早在 1972 年出版的專著“ Introduction to Statistical Recognition” 中就作了系統(tǒng)的闡述。 Fukunaga 和 Young 等人都曾對該方法做過較深入的研究，并討論了 PCA 作為線性特征抽取方法的穩(wěn)定性問題，從而將人臉識別的研究熱點(diǎn)從基于局部特征的幾何特征方法引到基于全局統(tǒng)計(jì)特征的統(tǒng)計(jì)方法上來。 主元分析發(fā)展的相關(guān)介紹 近年來 ， 關(guān)于人臉圖像線性 鑒別分析方法的研究激起了人們的廣泛興趣 ， 其焦點(diǎn)如何抽取有效的鑒別特征和降維 [3～ 7， 9]。特征抽取研究肩負(fù)兩方面的使命 ： 一是尋找針對模式的最具鑒別性的描述 ， 以使此類模式的特征能最大程度地區(qū)別于彼類 ； 二是在適當(dāng)?shù)那闆r下實(shí)現(xiàn)模式數(shù)據(jù)描述的維數(shù)壓縮 ， 當(dāng)描述模式的原始數(shù)據(jù)空間對應(yīng)較大維數(shù)時(shí) ， 這一點(diǎn)會非常有意義 ， 甚 至必不可缺 [2]。 在人臉圖像識別中 [5]， 主成分分析 ( Principal Component Analysis， PCA) [14， 15]， 又稱 K L 變換 ， 被認(rèn)為是最成功的線性鑒別分析方法之一 ， 目前仍 然被廣泛地應(yīng)用在人臉等圖像識別領(lǐng)域。本質(zhì)上 PCA 方法的目的是在最小均方意義下尋找最能代表原始數(shù)據(jù)的投影。 Sirovich and Kirby最初使用 PCA有效地表示人臉。由于人臉結(jié)構(gòu)的相似性 ， 他們認(rèn)為可以收集一些人臉圖像作為基圖 (特征圖 )， 任何人臉圖像可以近似地表示為該人臉樣本的均值與部分基圖的加權(quán)和。 1991年 Turk and Pentland提出了著名的“ Eigenfaces”方法。 1997年 Peter NBelhumeur， Joao P Hespanha， David J Kriengman在主成分分 析的基礎(chǔ)上又給出了“ Fisherfaces” 方法。 以上方法在處理人臉等圖像識別問題時(shí) ， 遵循一個(gè)共同的過程 ： 即首先將圖像矩陣轉(zhuǎn)化為圖像向量 ， 然后以該圖像向量作為原始特征進(jìn)行線性鑒別分析。由于圖像矢量的維數(shù)一般較高 ， 比如 ， 分辨率為 112 92 的圖像對應(yīng)的圖像向量的維數(shù)高達(dá) 10304， 在如此高維的圖像向量上進(jìn)行線性鑒別分析不僅會遇到小樣本問題 ， 而且經(jīng)常需要耗費(fèi)大量的時(shí)間 ， 有時(shí)還受研究條件的限制 ( 比如機(jī)器內(nèi)存小 )， 導(dǎo)致不可行。針對這個(gè)問題 ， 人們相繼提出不少解決問題的方法 [5～ 10， 14， 15]。 概括起來 ， 這些方法可分為以下兩類 [18]： 一是從模式樣本出發(fā) ， 在模式識別之前 ，南京郵電大學(xué) 2020 屆本科畢業(yè)論文 12 通過降低模式樣本特征向量的維數(shù)達(dá)到消除奇異性的目的。如金忠 [3]通過降低圖像的分辨率實(shí)現(xiàn)降維。二是從算法本身入手 ， 通過發(fā)展直接針對于小樣本問題的算法來解決問題。Hong， Liu， Chen， Yu， Yang等人分別在這方面進(jìn)行深入的探索 ， 他們所建立的算法理論為這一問題的解決奠定了基礎(chǔ)。 主元分析（ PCA）方法 PCA 思想與最優(yōu)投影矩陣 主成分分析 ( Principal Component Analysis， PCA) ， 又 稱 K L 變換 ， 是尋求有效的線性變換的經(jīng)典方法之一 ， 其目的是在最小均方意義下尋找最能代表原始數(shù)據(jù)的投影方向 ， 從而達(dá)到對特征空間進(jìn)行降維的目的 [11]。 K L 變換的產(chǎn)生矩陣可以是訓(xùn)練樣本集的總體散布矩陣或類間散布矩陣 [3]。本文選用后者為例，作 K L 變換的產(chǎn)生矩陣。 為說明方便 ， 我們首先介紹向量化矩陣概念。定義：設(shè) nmm RAAAA ??? ),.. .,( 21 ，定義1?mn 的向量 ???????????????mAAAAVec ...)( 21 這是把矩陣 A 按列向量依次排成的 向量 ， 往往稱這個(gè)程序?yàn)榫仃?A的向量化。設(shè)人臉灰度圖像的分辨率為 nm? ， 則該圖像構(gòu)成一個(gè) nm? 的圖像矩陣 I ， 可以將圖像矩陣 I 向量化為 mn 維的圖像向量 ? ，即 )(IVec?? 設(shè)模式類別有 C個(gè) ： C??? ,..., 21 第 i 類有訓(xùn)練樣本圖像向量 in 個(gè) ： imii ??? ,..., 21 每個(gè)樣本是mn 向量 ， ???Ci inN 1樣本總數(shù) ， 則模式的類間散布矩陣為 ： TiiCi iPS ))(()(11 ????? ??? ?? (31) 其中 )( iP? 為第 i 類訓(xùn)練樣本的先驗(yàn)概率 ???inj ijin 11 ?? 為第 i 類訓(xùn)練樣本的均值 ，??? ?? Ci nj ijiN 1 11 ?? 為全體訓(xùn)練樣本的均值。容易證明類間散布矩陣 S1 為非負(fù)定矩陣。 定義準(zhǔn)則函數(shù) ： XSXXJ T 1)( ? (32) 最大化該準(zhǔn)則函數(shù) (32) 的單位向量 X稱為最優(yōu)投影向量 ， 其物理意義是 ： 圖像向量在X 方向上投影后得到的特征向量的總體分散程度最大。事實(shí)上 ， 該最優(yōu)投影向量即為間散散布矩陣 1S 的最大特征值所對應(yīng)的單位特征向量。一般說來 ， 在樣本類別數(shù)較多的情況下 ， 南京郵電大學(xué) 2020 屆本科畢業(yè)論文 13 單一的最優(yōu)投影方向是不夠的 ， 需要尋找一組滿足標(biāo)準(zhǔn)正交條件且極大化準(zhǔn)則函數(shù) (32) 的最優(yōu)投影向量 dXXX ,..., 21 。定理 1 最優(yōu)投影向量組 dXXX ,..., 21 可取為 1S 的 d 個(gè)最大 特征值所對應(yīng)的標(biāo)準(zhǔn)正交的特征向量。 令 ],.. .,[ 21 dXXXP ? ， nmRP ?? 稱為最優(yōu)投影矩陣。 特征抽取 最優(yōu)投影向量組 dXXX ,..., 21 可用于特征抽取。對已知的樣本圖像向量 ? ， 令 ?Tkk XY ? ， dk ,...,2,1? (33) 投影特征 dXXX ,..., 21 稱為圖像向量 ? 的主成分（ principal ponents）。利用獲得的主成分可構(gòu)成 ? 的 d 維的特征向量 TdYYYB ],...,[ 21? ，即 ?TPB? 。 分類 通過 節(jié)的特征抽取過程，每個(gè)圖像向量 ? 對應(yīng)一個(gè)特征向量 ?TPB? ，對此特征向量，可以利用最近鄰法和最小距離法來進(jìn)行分類。下面就介紹一下這兩種分 類方法。 1） 最近鄰法 第 i 類訓(xùn)練圖像樣本的均值向量 ???inj ijii n 11 ?? 的特征向量為 iTi PB ?? ， Ci ,...2,1?