【正文】 得這個(gè)課題極富挑戰(zhàn)性。 在諸如人臉識(shí)別課題的研究中，特征提取是模式識(shí)別研究的關(guān)鍵問(wèn)題，它的基本任務(wù)是找出對(duì)分類最有效的特征 [1]。 通常需要一個(gè)定量的準(zhǔn)則來(lái)衡量特征對(duì)分類的有效性。主元分析（ Principal Component Analysis， PCA）和線性鑒別分析（ Linear Discriminant Analysis， LDA）特征提取中最為經(jīng)典和廣泛使用的方法之一。 模式識(shí)別系統(tǒng) 有兩種基本的模式識(shí)別方法 [2]，即統(tǒng)計(jì)模式識(shí)別方法和結(jié)構(gòu)（句法）模式識(shí)別方法，與此相應(yīng)的模式識(shí)別系統(tǒng)都由兩個(gè)過(guò)程組成，即設(shè)計(jì)和和實(shí)現(xiàn)。設(shè)計(jì)是指用一定量的樣本（叫作訓(xùn)練集或?qū)W習(xí)集）進(jìn)行分類器的設(shè)計(jì)。實(shí)現(xiàn)是指用所設(shè)計(jì)的分類器對(duì)待識(shí)別的樣本進(jìn)行分類決策。基于統(tǒng)計(jì)方法的模式識(shí)別系統(tǒng)主要由 4 個(gè)部分組成： 1） 數(shù)據(jù)獲取 2） 預(yù)處理 3） 特征提取和選擇 南京郵電大學(xué) 2020 屆本科畢業(yè)論文 2 4） 分類決策 下面給出一個(gè)模式識(shí)別系統(tǒng)， 見(jiàn) 圖 。 圖 模式識(shí)別系統(tǒng) 下面簡(jiǎn)單的對(duì)這幾個(gè)部分作一些說(shuō)明。 為了使計(jì)算機(jī)能夠?qū)Ω鞣N現(xiàn)象進(jìn) 行分類識(shí)別，要用計(jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象。通常輸入的信息有下面 3 種類型，即： 1）二維 圖像 如文字、指紋、地圖、照片這類對(duì)象。 2）一維波形 如電腦、心電圖、機(jī)械震動(dòng)波形等。 3）物理參量和邏輯值 前者如在疾病診斷 中 病人的體溫及各種化驗(yàn)數(shù)據(jù)等；后者如對(duì)某參量正常與否的判斷或?qū)ΠY狀有無(wú)的描述，如疼與不疼，可用邏輯值 0 和 1 表示。在引入模糊邏輯的系統(tǒng)中，這些值還可以包括模糊邏輯值，比如很大、 大 、比較大等。 通過(guò)測(cè)量、用 采樣和量化，可以 矩陣或向量表示二維或一維波形。這就是數(shù)據(jù)獲取的過(guò)程。 2． 預(yù)處理 預(yù)處理的目的是去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量?jī)x器或其他因素所造成的退化現(xiàn)象進(jìn)行復(fù)原。 由 圖像 或波形所獲得的數(shù)據(jù)量是相當(dāng)大的。例如，一個(gè)文字 圖像 可以有幾千個(gè)數(shù)據(jù)，一個(gè)心電圖波形也可能有幾千個(gè)數(shù)據(jù)，一個(gè)個(gè)衛(wèi)星遙感 圖像 的數(shù)據(jù)就更大。為了有效的實(shí)現(xiàn)分類識(shí)別，就要對(duì)原是數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。這就是特征提取和選擇的過(guò)程，一般我們 把 原始數(shù)據(jù)組成的空間叫測(cè)量空間，把分類識(shí)別賴以進(jìn)行的空間叫特征空間，通過(guò)變換，可以把維數(shù)較高的測(cè)量空間中表示的模式變?yōu)樵诰S數(shù)較低的特征空間 中表示的模式。在特征空間中的一個(gè)模式通常也叫做一個(gè)樣本，它往往可以表示為一個(gè)向量，即特征空間中的一個(gè)點(diǎn)。 4．分類決策 分類決策就是在特征空間中用統(tǒng)計(jì)方法把識(shí)對(duì)象歸為某一類別?；?做 法是在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分 類 錯(cuò)誤識(shí)別率最小或引起的損失最小。 本文在下面的內(nèi)容中將著重探討特征提取的方法，同時(shí)并介紹一些分類決策的知識(shí)。 信息獲取 預(yù)處理 特征提取和選擇 分類器設(shè)計(jì) 分類決策 訓(xùn)練過(guò)程 南京郵電大學(xué) 2020 屆本科畢業(yè)論文 3 下面以人臉識(shí)別為例，給出具體的識(shí)別步驟 圖 ，見(jiàn) 圖 圖 人臉識(shí)別步驟 國(guó)內(nèi)外生物特征技術(shù)的最新發(fā)展 近幾年生物特征領(lǐng)域三大發(fā)展引人注目，第一生物特征的多樣化發(fā)展； 第二 各項(xiàng)生物技術(shù)的高速發(fā)展；第三是多生物特征融合技術(shù)的研究。 生物特征的多樣化發(fā)展：提起生物特征，人們自然會(huì)想到指紋，指紋技術(shù)由于其技術(shù)的穩(wěn)定性一直在生物特征領(lǐng)域是“熱門技術(shù)”，但是指紋技術(shù)自身的缺陷，也給其他生物特征留下很大的發(fā)展空間。 讓人們感到驚奇的是，以前大家不大關(guān)注的生物特征如虹膜、語(yǔ)音、步態(tài)等現(xiàn)在又有了重大的技術(shù)突破。最有代表性的是擁有掌型技術(shù)、人指靜脈紋技術(shù)、虹膜技術(shù)的廠商在今年陸續(xù) 推出了自己的最新產(chǎn)品，在例如手機(jī)等商業(yè)應(yīng)用中經(jīng)過(guò)對(duì)使用人群的簡(jiǎn)單訓(xùn)練，這些產(chǎn)品的高識(shí)別率、可接受度等優(yōu)秀品質(zhì)受到眾多使用人員的歡迎。 各項(xiàng)生物技術(shù)的高速發(fā)展：人臉識(shí)別技術(shù)以其非侵犯性、可接受性等眾多優(yōu)勢(shì)，近幾年來(lái)一直是世界上生物識(shí)別公司及科研院所開(kāi)發(fā)的熱點(diǎn)，人臉識(shí)別技術(shù)在生物技術(shù)產(chǎn)業(yè)中精確度方面的發(fā)展可能是最快的。 FRVT2020 技術(shù)表明人面像識(shí)別技術(shù)的驗(yàn)證能力可與 1998 年的基于指紋的商用系統(tǒng)相比（ False Accept Rate 設(shè)為 ）。在僅一年后，提供商聲稱改進(jìn)的技術(shù)超出了這個(gè)水平。 特別考慮到在不久的將來(lái)有更多的大規(guī)模的項(xiàng)目指定該技術(shù)（電子生物護(hù)照指定人臉技術(shù)為必須的生物特征）。這一指標(biāo)的提高是至關(guān)重要的，大大縮小了與指紋技術(shù)的差距。在 2020 年人臉識(shí)別技術(shù)有一項(xiàng)重大突破： 3D技術(shù)的出現(xiàn)。該技術(shù)能夠很好的解決 2D 中光照和姿勢(shì)帶來(lái)的困擾，雖然 3D 技術(shù)本身也有一些問(wèn)題，但其卓越的識(shí)別性能還是吸引了更多技術(shù)廠商和應(yīng)用客戶的眼光。 多生物特征融合技術(shù)的研究：在實(shí)際應(yīng)用中，由于客觀條件變化的不可估計(jì)性，單生物特征識(shí)別技術(shù)往往會(huì)遇到難以克服的特例，譬如在使用指紋認(rèn)證時(shí)，相當(dāng)一部分人不能采集 到清晰的指紋。另外，在一些安全性要求極高的應(yīng)用領(lǐng)域，單生物特征識(shí)別的性能很難達(dá)到預(yù)期的需要。多生物特征認(rèn)證技術(shù)利用了多個(gè)生物特征，結(jié)合數(shù)據(jù)融合技術(shù)，不僅可以提高識(shí)別的準(zhǔn)確性，而且可以擴(kuò)大系統(tǒng)覆蓋的范圍，降低系統(tǒng)的風(fēng)險(xiǎn)，使之更接近實(shí)用。 多生物特征認(rèn)證系統(tǒng)比單生物特征認(rèn)證系統(tǒng)具有更好的性能。國(guó)際上許多學(xué)者已致訓(xùn)練樣本 測(cè)試樣本 圖像 預(yù)處理 圖像 預(yù)處理 特征提取矩陣 測(cè)試樣本特征 訓(xùn)練樣本特征 分類器 結(jié) 果 南京郵電大學(xué) 2020 屆本科畢業(yè)論文 4 力于多生物特征人的身份認(rèn)證技術(shù)的研究，達(dá)到最新技術(shù)發(fā)展水平的指紋和人臉商業(yè)系統(tǒng)進(jìn)行結(jié)合，并在大規(guī)模人群上進(jìn)行測(cè)試，取得令人滿意的效果。因此，多生物特征融合識(shí)別技術(shù)近年來(lái)己成為生物特征識(shí)別技術(shù)研究領(lǐng) 域的一個(gè)熱點(diǎn)，也是未來(lái)生物特征應(yīng)用領(lǐng)域的必然趨勢(shì)。 我國(guó)生物特征技術(shù)的發(fā)展與應(yīng)用概述 我國(guó)于上世紀(jì) 90 年代初，指紋信息識(shí)別產(chǎn)品和系統(tǒng)開(kāi)始應(yīng)用于公安業(yè)務(wù)和安全防范領(lǐng)域。據(jù)不完全統(tǒng)計(jì)，目前生產(chǎn)生物特征識(shí)別產(chǎn)品的企業(yè)（主要是指紋、面像識(shí)別）近百家，社會(huì)公共安全行業(yè)制定的相關(guān)標(biāo)準(zhǔn)約 30 余項(xiàng)。但這些標(biāo)準(zhǔn)都是以公安業(yè)務(wù)的刑事偵察、證照管理或安全防范的視頻監(jiān)控系統(tǒng)、出入口控制系統(tǒng)的具有應(yīng)用環(huán)境為基礎(chǔ)而制定的，未能從人體生物特征識(shí)別技術(shù)的高度建立相應(yīng)的標(biāo)準(zhǔn)體系 。 2020 年公安部第一研究所組織了國(guó)內(nèi)第一次面像識(shí)別 技術(shù)測(cè)試。在這次測(cè)試中，遵從公平、公正、客觀、科學(xué)的原則，建立了嚴(yán)謹(jǐn)?shù)脑u(píng)測(cè)方案與流程，嚴(yán)格遵守商業(yè)規(guī)則及保密承諾，以其獨(dú)立方的性質(zhì)、行業(yè)地位及測(cè)試方案的科學(xué)指導(dǎo)性贏得參評(píng)廠家的信任和支持。通過(guò)此次工作，公安部第一研究所建立了相應(yīng)的測(cè)試軟硬件環(huán)境，是國(guó)內(nèi)最早開(kāi)展人體生物特征技術(shù)評(píng)測(cè)及擁有實(shí)測(cè)經(jīng)驗(yàn)的部門。 隨著新技術(shù)的不斷推出和行業(yè)應(yīng)用的迫切需求，公安部第一研究所再次舉行了人臉識(shí)別技術(shù)測(cè)試，其中測(cè)試中最優(yōu)人臉識(shí)別算法推薦到深圳羅湖自助通關(guān)中應(yīng)用，經(jīng)過(guò)幾個(gè)月的測(cè)試，人臉認(rèn)證軟件的旅客自助通道系統(tǒng)在深圳羅湖 口岸正式投入使用，通過(guò)率超過(guò)了 97％。 縱貫歷史，人類對(duì)生物特征的認(rèn)識(shí)和利用由來(lái)己久。展望未來(lái)，更加安全的國(guó)土、更加和諧的社會(huì)、更加便捷的商務(wù)必將讓生物識(shí)別技術(shù)大放光彩。 本文主要研究的內(nèi)容 本文就經(jīng)典的特征提取算法進(jìn)行了研究，研究的基礎(chǔ)是傳統(tǒng)的 PCA 和 LDA 算法。對(duì)兩個(gè)算法進(jìn)行研究后，并用 matlab 程序語(yǔ)言實(shí)現(xiàn)這兩個(gè)算法。 本文總共分為四章進(jìn)行討論。 第一章 緒論，主要介紹了生物特征識(shí)別領(lǐng)域的現(xiàn)狀，模式識(shí)別系統(tǒng)的相關(guān)知識(shí) 。了解模式識(shí)別系統(tǒng)的基本流程和組成的基本概念 。 第二章 主要介紹人臉 圖像 的有效鑒別特征抽取 。 這一章為我們下面幾章的討論提供了一些理論基礎(chǔ) 。 第三章 主要內(nèi)容是介紹主成分分析法 的相關(guān)思想和實(shí)現(xiàn)步驟 。 第四章 主要內(nèi)容是介紹線性鑒別算法 的相關(guān)原理和思想 。 第五章 主要介 紹了 PCA 和 LDA 兩種算法 在 ORL 人臉數(shù)據(jù)庫(kù) 和眼睛數(shù)據(jù)庫(kù) 上的試驗(yàn)結(jié)果情況。同時(shí) 對(duì)實(shí)驗(yàn)結(jié)果 進(jìn)行了分析。南京郵電大學(xué) 2020 屆本科畢業(yè)論文 5 第二章 人臉圖像的有效鑒別特征抽取 引言 圖像識(shí)別是模式識(shí)別的重要組成部分，抽取有效的圖像特征是解決圖像識(shí)別問(wèn)題的關(guān)鍵。圖像特征一般可以分為四類 [3]：直觀性特征、灰度統(tǒng)計(jì)特征、變換系數(shù)特征與代數(shù)特 征。 Hong 和 Yang 認(rèn)為圖像本身的灰度分布描述了圖像的內(nèi)在信息，將圖像作為矩陣看待，對(duì)其進(jìn)行各種代數(shù)變換或矩陣分解，以矩陣的特征向量作為圖像特征，即得到圖像的代數(shù)特征，并論證了奇異值特征向量是識(shí)別圖像的有效特征。 Cheng 等定義了矩陣相似度的概念，提出了基于圖像相似性判別函數(shù)的代數(shù)特征。 Liu 等提出了基于最佳鑒別準(zhǔn)則抽取圖像的最佳鑒別投影特征集。 Guo 等提出了基于離散判別函數(shù)的代數(shù)特征抽取方法，可適用于每類人臉只有一個(gè)訓(xùn)練樣本的情況。 Huang 等提出了基于圖像隸屬度的特征抽取方法。 Turk 與 Pentland 依據(jù)主分量分析技術(shù)抽取人臉圖像的 K－ L 變換特征。 人臉圖像的代數(shù)特征 奇異值特征 任何一個(gè)實(shí)對(duì)稱方陣都可以用正交變換化為對(duì)角矩陣。對(duì)于一般的矩陣也可以用正交變換化為對(duì)角矩陣，這就是所謂的奇異值分解 (Singular Value Deposition)。 設(shè) nmA? 是秩為 r 的實(shí)矩陣，則 AAAA TT與 都是實(shí)對(duì)稱的非負(fù)定方陣，因而它們的本征值都是非負(fù)的。假設(shè) ),1(2 rii ??? 是矩陣 TAA 的非零本征值，且按大小排列，即021 ???? r??? ? ，并將與 2i? 對(duì)應(yīng)的正交歸一本征向量記為 iu 。由代數(shù)理論知， 2i? 也是矩陣 AAT 的本征值，并將對(duì)應(yīng)的正交歸一本征向量記為 iv 。于是有： iiiT uuAA 2?? iiiT vAvA 2?? 構(gòu)造下述矩陣： ],,[ 121 mrrmm uuuuuU ?? ?? ? ],,[ 121 nrrnn vvvvvV ?? ?? ? 其中， ),1( mriui ??? 與 ),1( nrivi ??? 是為了矩陣表達(dá)上的方便而引入的列向量，南京郵電大學(xué) 2020 屆本科畢業(yè)論文 6 可以理解為 AAAA TT與 分別對(duì)應(yīng)于零本征值的正交歸一本征向量。顯然， VU與 都是正交矩陣。由此可得到： TVUA ?? 其中， ? 為對(duì)角矩陣： ? ?0,0, 21 ?? rnm di ag ????? ? 這就是奇異值分解定理。 可以將 TVUA ?? 式寫成乘積的形式： Tiiri i vuA ??? 1 ? 在此式中去掉小奇異值所對(duì)應(yīng)的項(xiàng) Tiii vu? 后所得到的矩陣是原矩陣的最小二乘逼近。 若矩陣 Amn? 代表一幅圖像，可將 A 的所有奇異值組成的 n 維向量： ???????????????????????0021??rnX ??? 稱為圖像 A 的奇異值特征。 對(duì)于任意一個(gè)實(shí)矩陣 A ，它的奇異值分解是唯一的，所以當(dāng) r??? ??? ?21 時(shí)，原圖像 A 對(duì)應(yīng)于唯一的奇異值特征，于是可以用奇異值特征來(lái)描述和代表原始圖像的灰度值矩陣 A 。 Hong 和 Yang 首先提出圖像奇異值特征反映了圖像的一種代數(shù)本質(zhì)，具有良好的穩(wěn)定性，對(duì)圖像噪音、光照條件等因素引起的圖像灰度變化不敏感，還證明了圖像奇異值特征具有良好的代數(shù)不變性與幾何不變性。奇異值特征在圖像壓縮、信號(hào)處理和模式分析中得到廣泛的應(yīng)用。 最佳鑒別投影特征 設(shè) ? ? nmijA ??? 為訓(xùn)練圖像，其中 ci ,2,1 ?? ， inj ,2,1 ?? ， c 為圖像類別數(shù)， in 為第 i 類圖像的訓(xùn)練樣本數(shù)。第 i 類訓(xùn)練圖像的平均圖像 ??Ai 定義為： 南京郵電大學(xué) 2020 屆本科畢業(yè)論文 7 ? ? ? ????n AnAijijii11 所有訓(xùn)練圖像的平均圖像 A 定義： ? ????ciii APA1 其中 ),2,1()( ciPP ii ??? ? 是第 i 類圖像的先驗(yàn)概率。 對(duì)于給定的 n 維列向量 x ，記 ? ? ? ?Y A xji ji? ， ci ,2,1 ?? ， inj ,2,1 ?? 。顯然， ??Yji是一個(gè)相應(yīng)于第 i 類圖像的 m 維列向量，分別將 x ， ??Yji 稱為投影方向和投影特征。下面要解決的問(wèn)題是如何尋找最佳投影方向 x 使訓(xùn)練圖像樣本的投影特征具有最大的類間散布以及最小的類內(nèi)散布。 設(shè) )(iY 為第 i 類投影特征的均值向量， Y 為所有投影特征的均值向量，則顯然有： ? ? ? ?Y A xi i? Y Ax? 這樣投影特征的類間散布矩陣 xSb 與類內(nèi)散布矩陣 xSw 可分別給出如下： ? ?? ? ? ?? ?? ?? ?? ? ? ?? ?? ???????????ciTiiiciTii