【正文】 22AB B??? ，當(dāng) A=B 等價(jià)的，將A,B寫成行向量的形式 ： 12[ , ,..., ]nA a a a? ， 12[ , ,..., ]nB b b b? 協(xié)方差可以表示為 2 11 TAB ABn? ? ? （ ） 那么，對(duì)于一組具有 m 個(gè)觀測(cè)變量 ,n 個(gè)采樣時(shí)間點(diǎn)的采樣數(shù)據(jù) X， 將每個(gè)觀測(cè)變量的值 寫為行向量，可以得到 一個(gè) m*n的矩陣： 1mxXx??????????? （ ） 接下來定義協(xié)方差矩陣如下 ： 1 1 TXC XXn? ? （ ） 1 1 1 2 12 1 2 2 1122 2 22 2 22 2 2。這也就是 PCA 中“ 降維 ” 思想的本源 。一般來說，這種情況發(fā)生可能是因?yàn)閿z像機(jī) A和攝像機(jī) B放置的位置太近或是數(shù)據(jù)被重復(fù)記錄了，也可能是由于實(shí)驗(yàn)設(shè)計(jì)的不合理所造成的。 (a)圖所示的情況是低冗余的，從統(tǒng)計(jì)學(xué)上說，這兩個(gè)觀 測(cè)變量是相互獨(dú)立的 ， 它們之間的信息沒有冗余。最佳擬合曲線 r2=kr1用虛線表示。 r1和 r2分別表示兩個(gè)不同的觀測(cè)變量。這樣可能會(huì)是 兩種情況： 1）該變量對(duì)結(jié)果沒有影響； 2）該變量可以用其它變量表示，從而造成數(shù)據(jù)冗余。 對(duì) 應(yīng)于 SNR最大值的一組基 p，就是最優(yōu)的 “ 主元 ” 方向。 那么怎樣尋找這樣一組方向呢？直接的想法是對(duì)基向量進(jìn)行旋轉(zhuǎn)。那么，最大限度的揭示原數(shù)據(jù)的結(jié)構(gòu)和關(guān)系，找出潛在的最優(yōu) 的 x 軸，事實(shí)上等價(jià)尋找一對(duì)空間內(nèi)的垂直直線（ 圖中黑線表示，也對(duì)應(yīng)于此空間的一組基 ）， 使得信噪比盡可能大的方向。 假設(shè)攝像機(jī) A 拍攝到的數(shù)據(jù)如表 (a)所示，圓圈代表采樣點(diǎn)，因?yàn)檫\(yùn)動(dòng)理論上是只存在于一條直線上，所以偏離直線的分布都屬于噪音。 2signal? 是采樣點(diǎn)云在長(zhǎng)線方向上分布的 的方差 ，而 2noise? 是數(shù)據(jù)點(diǎn)在短線方向上分布的方差。 (a) (b) 圖 (a)攝像機(jī) A的采集數(shù)據(jù)。 它表示了采樣點(diǎn)在平均值兩側(cè)的分布，對(duì)應(yīng)于圖表 (a)就是采樣點(diǎn)云的 “ 胖瘦 ” 。事實(shí)上，這個(gè)假設(shè)等價(jià)于一個(gè)低通的濾波器，是一種標(biāo)準(zhǔn)的除 噪準(zhǔn)則。 噪 音 的 衡 量 有 多 種 方 式 ， 最 常 見 的 定 義 是 信 噪 比SNR(signaltonoise ratio)，或是方差比 2? ： 22signalnoiseSNR??? 畢業(yè)設(shè)計(jì)（論文） XXX （ ） 2 1 ()1n ii xxn? ? ?? ?? （ ） 比較大的信噪比表示數(shù)據(jù)的準(zhǔn)確度高 ， 而信噪比低則說明數(shù)據(jù)中的噪音成分比較多 。在線性系統(tǒng)中，所謂的“混亂數(shù)據(jù)”通常包含以下三種成分：噪音，旋轉(zhuǎn)以及冗余。問題轉(zhuǎn)化為如下的形式： 怎樣才能最好的表示原數(shù)據(jù) X？ P的基怎樣選擇才是最好的 ? 解決問題的關(guān)鍵是如何體現(xiàn)數(shù)據(jù)的特征 。它對(duì)原數(shù)據(jù) X 進(jìn)行重新表示。 下面是對(duì)最后一個(gè)含義的說明： ? ?11 nmpP X x xp????? ?????? （ ） 畢業(yè)設(shè)計(jì)（論文） XXIX 1 1 11nm m np x p xYp x p x?????????? （ ） 注意到 Y的列向量： 1 iimipxypx??????????? （ ） 可見 yi表示的是 xi與 P 中對(duì)應(yīng)列的點(diǎn)積，也就是相當(dāng)于是在對(duì)應(yīng)向量上的投影。幾何上來說 ， P 對(duì) X 進(jìn)行旋轉(zhuǎn)和拉伸得到 Y。 yi表示 Y的列向量。它們間的轉(zhuǎn)換關(guān)系為 PXY? （ ） 有如下定義： pi表示 P的行向量。 Y表示轉(zhuǎn)換以后的新的數(shù)據(jù)集表示 。 令 X 表示原數(shù)據(jù)集。 這是一個(gè)非常 好 的假設(shè) ， 它使問題得到了很大程度的簡(jiǎn)化 ，具體表現(xiàn)為 數(shù)據(jù)被限制在一個(gè)向量空間中，能被一組基表示 ，并且還 隱含的假設(shè)了數(shù)據(jù)間的連續(xù)性關(guān)系。 在線形代數(shù)中， 這組基表示為行列向量線形無關(guān)的單位矩陣。 (在 2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???基下） ， 因?yàn)橐话愕挠^測(cè)者都是習(xí)慣于取攝像機(jī)的屏幕坐標(biāo)，即向上和向右的方向作為觀測(cè)的基準(zhǔn)。那為什么不取2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???或是其他任意的基呢？原因是，這樣的標(biāo)準(zhǔn)正交基反映了數(shù)據(jù)的采集方式。最普通的一組正交基是標(biāo)準(zhǔn)正交基，實(shí)驗(yàn)采樣的結(jié)果通?？梢钥醋魇窃跇?biāo)準(zhǔn)正交基下表示的。 抽象一點(diǎn)來說，每一個(gè)采樣點(diǎn)數(shù)據(jù) X 都是在 m 維向量空間（此例 m=6）內(nèi)的一個(gè)向量，這里的 m 是 涉及到的 變量個(gè)數(shù)。 1. 標(biāo)準(zhǔn)正交基 為了 更有利于 推導(dǎo)， 將 對(duì)上述例子 的數(shù)據(jù) 作出定義為： 在實(shí)驗(yàn)過程中，在每一個(gè)采樣時(shí)間點(diǎn)上， 每個(gè)攝像機(jī)記錄 一組二維坐標(biāo) 為 (x,y)，綜合三臺(tái)攝像機(jī)數(shù)據(jù)，在每一個(gè)時(shí)間點(diǎn)上得到的位置數(shù)據(jù)對(duì)應(yīng)于一個(gè)六維列向量。這個(gè)維度即最重要的 “ 主元 ” 。而新的基要能盡量揭示原有的數(shù)據(jù)間的關(guān)系。下文將結(jié)合以上的例子提出解決 方法 ，逐步敘述 PCA畢業(yè)設(shè)計(jì)（論文） XXVII 方法的思想和求解過程 。 上面提出的兩個(gè)問題就是 PCA 方法 要解決 的目標(biāo)。噪音使數(shù)據(jù)變得混亂，掩蓋了變量間的 真實(shí)關(guān)系。 怎樣從這些數(shù)據(jù)中得到球是沿著某個(gè) x 軸運(yùn)動(dòng)的規(guī)律呢？怎樣將實(shí)驗(yàn)數(shù)據(jù)中的冗余變量剔除，化歸到這個(gè)潛在的 x軸上呢？ 在 真實(shí)的實(shí)驗(yàn)場(chǎng)景 中 ，數(shù)據(jù)的噪音是必須面對(duì)的因素。事實(shí)上，在真實(shí)世界中也并沒有所謂的 x,y,z 軸，每個(gè)攝像機(jī)記錄下的都是一幅二維的圖像，有其自己的空間坐標(biāo)系，球的空間位置是由一組二維坐標(biāo)記錄的： [(xA,yA)(xB,yB)(xC,yC)]。這一點(diǎn)可以通過在不同角度放置三個(gè)攝像機(jī)實(shí)現(xiàn)（如圖 ） ，假設(shè)以 200Hz 的頻率拍攝畫面 就可以得到球在空間中的運(yùn)動(dòng)序列。但是，在 實(shí)際中，對(duì)于第一次 做這個(gè) 實(shí)驗(yàn)的 實(shí)驗(yàn) 者來說（這也是實(shí)驗(yàn)科學(xué)中最常遇到的一種情況），是 無 法 進(jìn)行這樣的假設(shè)的。 圖 對(duì)于一個(gè)具有先驗(yàn)知識(shí)的實(shí)驗(yàn)者來說，這個(gè)實(shí)驗(yàn)是非常容易的。如圖表 所示 ， 這是一個(gè)理想彈簧運(yùn)動(dòng)規(guī)律的測(cè)定實(shí)驗(yàn)。 下面的 例子 取自一個(gè) 我們都非常熟悉的 物理學(xué)中的實(shí)驗(yàn)。如何對(duì)數(shù)據(jù)進(jìn)行分析，取得隱藏在數(shù)據(jù)背后 變量 間的本質(zhì) 關(guān)系，是一個(gè)很困難的問題。 二 、 例子 在實(shí)驗(yàn)科學(xué)中 常 常遇到的情況是， 使用大量的變量代表可能變化的因素，例如光譜、電壓、速度等等。隨后將揭示 PCA 與SVD(Singular Value Deposition)之間的聯(lián)系以及如何將之應(yīng)用于真實(shí)世界。 本節(jié)下面的內(nèi)容將開始講解 PCA 的具體內(nèi)容。 因此應(yīng)用極其廣泛，從神經(jīng)科學(xué)到計(jì)算機(jī)圖形學(xué)都有 它的身影 。 主成分分析 可 以有效 的找出數(shù)據(jù)中最“主要 ”的元素和結(jié)構(gòu)，去除噪聲和冗余，將原有的復(fù)雜數(shù)據(jù)降維 處理 ， 揭示 出 隱 藏在 復(fù) 雜數(shù)據(jù) 背 后的 簡(jiǎn) 單結(jié)構(gòu) 。 畢業(yè)設(shè)計(jì)（論文） XXV 第 四 章 人臉 識(shí)別 第一節(jié) 主成分分析基本理論 一 、 什么是 主成分分析 ？ 主成分分析為 Principle ponent analysis[10,11,12]的中文翻譯，其英文簡(jiǎn)寫為PCA。 第 三 節(jié) 本章小結(jié) 本章主要介紹了 JPEG 文件格式 和人臉圖像常用預(yù)處理方法。( , )( , )xyx G x yy G x y? ??? ??? （ ） 其中 ,xyGG為間接變換函數(shù)。39。變換式為 39。 但還需要將原來像素的灰度值賦值給 轉(zhuǎn)換 后相應(yīng)的像素 點(diǎn) ，并且還需要重采樣，使不規(guī)則排列的離散灰度數(shù)組變?yōu)橐?guī)則排 列的灰度數(shù)組。39。常用校正法有直接幾何校正法和間接結(jié)合校正法。旋轉(zhuǎn)是為了 使兩眼保持在水平位置。大小矯正是為了把原始圖像的人臉校正到統(tǒng)一的大小，常常依據(jù)人臉的坐標(biāo)。具體操作為： 200200( ( , ) ) ( , )( , )( ( , ) )V A R I i j MM I i j MVARG i jV A R I i j MM e l seVAR? ?????? ??? ??? （ ） 畢業(yè)設(shè)計(jì)（論文） XXIV 其中0M和0VAR分別為理想的均值和方差，一般0=100M，0=100VAR， M 和 VAR為輸入人臉圖像實(shí)際的均值和方差?；叶葰w一化是為了使不同灰度值的圖像具有統(tǒng)一灰度。若 k 過小會(huì)導(dǎo)致銳化效果不明顯。 畢業(yè)設(shè)計(jì)（論文） XXIII 假設(shè)拉普拉斯算子為 2f? 即 222 fffxy??? ? ? 離散數(shù)字圖像為 (, )f i j ，其一階偏導(dǎo)數(shù)為 ( , ) ( , ) ( 1 , )( , ) ( , ) ( , 1 )xyf i j f i j f i jxf i j f i j f i jy?? ? ? ? ?? ??? ?? ? ? ? ???? （ ） ，則其二階偏導(dǎo)數(shù)為 2222( , ) ( 1 , ) ( 1 , ) ( 1 , ) ( 1 , ) 2 ( , )( , ) ( , 1 ) ( , ) ( , 1 ) ( , 1 ) 2 ( , )xyf i j f i j f i j f i j f i j f i jxf i j f i j f i j f i j f i j f i jy? ? ? ? ? ? ? ? ? ? ? ?? ??? ?? ? ? ? ? ? ? ? ? ?? ?? （ ） 所以 2 ( 1 , ) ( 1 , ) ( , 1 ) ( , 1 ) 4 ( , )f f i j f i j f i j f i j f i j? ? ? ? ? ? ? ? ? ? （ ） 對(duì)于擴(kuò)算現(xiàn)象引起的人臉圖像模糊，可通過 2( , ) ( , ) ( , )g i j f i j k f i j?? ? ?進(jìn)行圖像銳化，其中 k 為擴(kuò)算效應(yīng)的相關(guān)系數(shù)。在實(shí) 際中，一般先濾除噪聲后在進(jìn)行圖像銳化處理。圖像模糊是圖像遭受了平均或積分運(yùn)算造成，可以通過對(duì)圖像進(jìn)行逆運(yùn)算來使圖像變得清晰?；谙袼丶訖?quán)運(yùn)算的濾波器屬于線性濾波器，均值濾波器和高斯濾波器都屬于線性濾波器，而中值濾波器為非線性濾波器。 邊緣保持算法的基本過程為：對(duì)灰度圖像的每一個(gè)像素點(diǎn) [i,j]取適當(dāng)大小的一個(gè)鄰域，分別計(jì)算 [i,j]的左上角子鄰域，左下角子鄰域，右上角子鄰域和右下角子鄰域的灰度分布均勻度 V，然后取最小均勻度對(duì)應(yīng)區(qū)域的均值作為該像素的新灰度值。 4. 邊緣保持濾波器 均值濾波的平滑功能會(huì)使圖像邊緣模糊，而中值濾波在去除脈沖噪聲的同時(shí)也將圖像中的細(xì)條細(xì)節(jié)濾除掉。 中值濾波在一定條件下，可以克服線性濾波器帶來的圖像細(xì)節(jié)模糊的缺點(diǎn)，而且對(duì)濾除脈沖干擾是最有效的。中值濾波器在處理連續(xù)圖像窗函數(shù)時(shí)與線性濾 波器的工作方式類似，但濾波過程不再是加權(quán)運(yùn)算。它用像素點(diǎn)鄰域灰度值的中值來代替該像素點(diǎn)的灰度值。 3. 中值濾波器 中值濾波是一種非線性濾波方法。二維高斯函數(shù)卷積可以分兩步進(jìn)行，首先將圖像與一維高斯函數(shù)進(jìn)行卷積，然后將卷積結(jié)果與方向垂直的相同一維高斯函數(shù)進(jìn)行卷積。通過調(diào)節(jié) ? ，可在圖像特征過分模糊（過平滑）與平滑圖像中過多突變量（欠平滑）間取得折中。 高斯濾波器寬度決定著平滑程度，是由 ? 表征的。 高斯函數(shù)的傅里葉變換的頻譜是單瓣的。 高斯函數(shù)是單值函數(shù)。二維零均值離散高斯函數(shù)為： 222()2[ , ] ijg i j e ???? （ ） 一般而言，一幅圖像的邊緣方向是事先無法知道的，因此，在濾波前是無法確定一個(gè)方向是否比另一個(gè)方向需要更多的平滑。 一維零均值高斯函數(shù)為： 222() xg x e ??? （ ） 其中