【文章內(nèi)容簡介】 （214）其中U和V分別是AAT和ATA的特征向量，而則是他們的特征根。在PCA方法中，我們選取P個最大特征根及其所對應(yīng)的特征向量，對A進行逼近： （215）線性代數(shù)理論證明：A與A’在最小二乘法的意義下是逼近的。而當P越接近N，則逼近的結(jié)果越接近于原矩陣。所以當我們選取的P遠小于N時，所需要存儲的信息量就會越小，達到了降維和壓縮的目的。 輸入輸出數(shù)據(jù)降維 數(shù)據(jù)庫介紹本文中所采用的數(shù)據(jù)庫是對外免費開放的MSRAction 3D，其中包括20個不同的行為 （高抬揮手，水平揮手，敲打，抓手，向前出拳，高拋，畫X形狀，畫刻度線，畫圈圈，拍手，揮舞雙手，側(cè)拳，彎腰，前踢腳，側(cè)踢，慢跑，拍網(wǎng)球，接網(wǎng)球，打高爾夫，撿起并丟棄），每個動作都由是個不同的實驗對象做3次，每秒15幀。其中總共含有567個深度圖像序列,23797幀，每幀圖像的分辨率是320*240，并且都是由Kinect設(shè)備拍攝所得。另外，在這個數(shù)據(jù)庫當中，對于每一個深度圖像序列文件都對應(yīng)一個骨架序列文件，且唯一對應(yīng)，其中每一個骨架選取了20個關(guān)鍵骨架點作為人體模型。骨架信息由u,v,d,c四個不同的變量表示，其中（u，v）表示屏幕坐標，d表示深度值，c表示可信指數(shù)。如果一個深度序列含有n幀圖像，那么其對應(yīng)的骨架文件當中含有的數(shù)據(jù)個數(shù)為：n*20*4。實驗樣本深度圖像和骨架圖分別如圖26,圖27所示： 圖26 輸入深度圖像樣本圖27 輸出骨架模型樣本 輸入數(shù)據(jù)和輸出數(shù)據(jù)處理結(jié)果本章節(jié)中，我們把深度圖像當做輸入空間，記為矩陣X，骨架信息當做輸出空間，記為矩陣Y，本次實驗中，矩陣X大小為76800*1205，矩陣Y大小為60*1205，如之前章節(jié)所說，為了降低計算成本和提高計算機運行速度，我們利用PCA對Ｘ和Y分別都進行降維處理，處理結(jié)果分別如圖28，圖29所示：圖28 輸入數(shù)據(jù)降維后的維數(shù)實驗分析：即使當PCA降維能量比在99%的時候，即保存了大量的原始數(shù)據(jù)的能量，輸入數(shù)據(jù)能從76800維降到只剩下775維，在降維能量比在90%的時候，即不失數(shù)據(jù)的準確性的前提下，輸入數(shù)據(jù)降到了120維。圖29 輸出數(shù)據(jù)降維后的維數(shù)實驗分析：輸出數(shù)據(jù)的降維情況與輸入數(shù)據(jù)的降維情況類似，可見如上分析。 本章小結(jié)本章節(jié)當中首先詳細介紹了深度圖像的原理和基于Kinect的技術(shù)，其次介紹了主成分分析法（PCA）的算法原理，最后介紹了本次實驗所用的數(shù)據(jù)庫的簡單特點以及對實驗數(shù)據(jù)進行了預(yù)處理，為之后的實驗分析打下基礎(chǔ)。第3章 梯度直方圖算法第3章 梯度直方圖算法2005年Navneet Dalal提出的梯度直方圖(Histograms of Oriented Gradient, HOG)[5]人體檢測算法取得了傳統(tǒng) HarrLike[6]特征和 SIFT[7]等人體檢測算法無法比擬的效果，同時也克服了幀間差分法對環(huán)境依賴性較高這一缺陷。 梯度直方圖特征描述符 梯度直方圖使用梯度方向直方圖作為目標檢測特征描述符的基本思想是目標物體的局部外觀和形狀可以很好的用目標物體的局部強度梯度分布或邊緣方向的分布來描述，即使沒有相應(yīng)梯度或邊緣位置的精確信息。梯度直方圖特征描述符是對圖像區(qū)域進行重疊密集描述的一種方法。常用的梯度直方圖描述符向量有矩形梯度直方圖特征描述符（RHOG），如圖 31（a）、圓形梯度直方圖特征描述符（CHOG），其中心單元進行過角度分割描述形狀信息，如圖 31（b）、只有一個中心單元的圓形梯度直方圖（Single centre CHOG），如圖 31（c），它們都是使用統(tǒng)一的密集網(wǎng)格單元，將圖像梯度信息統(tǒng)計到直方圖中代表圖像的局部形狀信息，可以使用重疊的局部標準化方法來減少光照變化帶來的影響圖31 梯度直方圖描述符的幾種形式 矩形梯度直方圖描述符在傳統(tǒng)梯度直方圖人體檢測算法中和相關(guān)改進算法中，基于矩形的梯度方向直方圖都給出了較其他兩種模型較好的結(jié)果，故本節(jié)也就矩形梯度直方圖進行描述，如圖32（a）所示，每個區(qū)域（Block）包含 2*2個單元（Cell），且每個單元是由 8*8個像素點構(gòu)成。圖 32 區(qū)域示意圖在對矩形梯度直方圖特征描述符進行計算時，將檢測圖像的檢測窗口劃分成密集統(tǒng)一的網(wǎng)點，以這些網(wǎng)格點為中心，使得它的周圍像素點構(gòu)成區(qū)域和單元，每個區(qū)域包含個單元，每個單元中包含像素和個方向角度，其中，是參數(shù)。通常情況下，區(qū)域間的平移間距大小和單元的邊長是相同的，所以在一個檢測窗口中，區(qū)域的描述符都是重疊的，絕大多數(shù)單元對多個區(qū)域的描述符都有貢獻，如圖 32（b），其中紅色邊框的一個區(qū)域與上下的綠色區(qū)域（兩個區(qū)域）有重疊部分。當，時，劃分密集統(tǒng)一網(wǎng)格中心點方法為公式（31）： （31）當檢測窗口大小為64*12單元大小為8區(qū)域大小為1616時，水平方向有( 6416)/8+1=7個點，垂直方向為 (12816)/8+1=15個點，整個檢測窗口有715=105個網(wǎng)格中心點，在以網(wǎng)格中心點形成局部區(qū)域梯度方向直方圖。在上述檢測窗口下，設(shè)起始點為(0,0)，所有105個網(wǎng)格中心點坐標為：(0,0) (0,8) (0,16) (0,32) … (0,112)(8,0) (8,8) (8,16) (8,32) … (8,112)… … … … … (48,0) (48,8) (48,16) (48,32)…(48,112) 梯度計算 線性算子與核算子假設(shè) X 和Y 是兩個抽象的集合，X到Y(jié)的一個映射是D，D可以成為算子。如果D 是在圖像 f 上的算子，且生成圖像g。如果有： （32）其中是f1，f2圖像，a，b是變量，那么D可以看成是一個“線性算子”。例如有 5*5矩陣的二維圖像f和算子h，則有： （33）其中a，b只取 1，0，1，由公式（33）可以得到： （34） 圖像卷積對于函數(shù)f(x)、 h(x)，它們的卷積運算可以表示為公式（35）： （35）可以將上式擴展到二維情況有公式（36）： （36）公式（36）表示的是連續(xù)圖像的卷積，對于數(shù)字圖像的離散卷積可以表示成公式（37）： （37）因在實際情況中，圖像f以及核算子都是有限值，可以定義圖像以外看成是0，公式（37）又可以寫成：== （38）公式（38）中a，b是核算子下標取值范圍。公式（33）定義的是核算子，公式（38）定義的則是卷積運算。卷積：核算子最右邊元素乘以圖像中最左邊元素；核算子：相對應(yīng)的元素直接進行相乘，即左邊與左邊相乘，右邊與右邊相乘。當核算h對稱的情況下，公式(33)與公式(36)是等價的。算子一般情況下是對稱的（如用平滑或者用其他各向同性）。因為兩式相似，圖像處理時，這兩種情況都可視為卷積，并且通常直接用公式（34）來代替公式（38）。 梯度大小和方向計算本章中，將輸入彩色圖像R、G、B三個分量，分別用1,0,1沿著 X 、Y 軸進行卷積，再計算梯度，對于這三個顏色分量，具有最大梯度大小的顏色分量可以被認為是當前圖像中像素點的值，這樣彩色圖像就轉(zhuǎn)化成了灰色圖像，可以得到所有像素點梯度大小和方向。本章中圖像卷積使用的模板是[1,0,1],根據(jù)差分運算，可以將梯度大小（公式（39））和方向（公式（310））分別表示如下 :[ （39） （310）根據(jù)上述介紹就可以計算出圖像中所有像素點梯度的大小和方向，接下來就需要根據(jù)像素在圖像區(qū)域的位置，使用梯度大小為像素方向分配權(quán)值，再統(tǒng)計區(qū)域方向來構(gòu)成區(qū)域梯度直方圖特征向量。 分配權(quán)值 高斯濾波權(quán)值分配在統(tǒng)計區(qū)域梯度直方圖之前，需要對區(qū)域中圖像梯度進行高斯窗口濾波。高斯濾波器，它是線性平滑濾波器的一種，其權(quán)值是根據(jù)高斯函數(shù)的形狀來進行選擇，在很多領(lǐng)域都有重要作用。圖像的子空間中，高斯濾波器根據(jù)空間距離提供權(quán)值，用一個掩膜掃描圖像區(qū)域中的每個像素，用掩膜確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代掩膜中心點像素點，其中所掃描像素點自身分配權(quán)值最大，離該像素點越遠分配的權(quán)值越小，一元高斯函數(shù)表示為（311）： （311）在公式（311）中，表示標準差，是高斯濾波器的唯一參數(shù)，的大小表示高斯函數(shù)的寬度。距離算子中心越遠，像素對中心影響就越小，在2范圍中包含了95%的權(quán)值，在3以外的中心影響就可以忽略。在本章里面，=0 .5，??則表示像素點到自己所在區(qū)域網(wǎng)格中心距離。可以看出，離中心點越近像素點分配的權(quán)值就越大，反之離中心點越遠權(quán)值分配就越小。二元高斯函數(shù)可以表示為公式（312）所示，這里的是關(guān)聯(lián)概率分布的標準確性差: （312）d 維多變量高斯函數(shù)形式如公式（313），X為d維向量，U表示均值向量，K 表示協(xié)方差矩陣： （313）高斯濾波幾個重要性質(zhì)：（1）離原點越遠，權(quán)值就變的越來越小并逐漸趨近于0。說明了距離中心點近的圖像值比遠處的圖像值對中心點值影響更大，其中標準差決定距離范圍；（2）當均值為零時，高斯函數(shù)橫坐標是對稱的，把函數(shù)翻轉(zhuǎn)后進行卷積，可以產(chǎn)生等價核；（3）高斯濾波的傅立葉變換在頻率域內(nèi)呈現(xiàn)為另一種高斯形式。這說明在與空間域高斯模板做卷積時，空間頻率越高，圖像高頻部分就變得減??；（4）一維高斯函數(shù)的二階導數(shù)的中間突出部分是光滑的，為負值，其中兩個側(cè)邊突出部分也是光滑的，為正值。零交叉在和+處，和g(x)拐點和g(x)極值點相對應(yīng)。計算權(quán)值步驟：（1）標準差 Var=cellsize_*numcell_/(2*wtscale)，Var=Var2， cellsize _表示包含的像素數(shù)，numcell_表示區(qū)域中包含的單元數(shù)，wtscale_則表示的是檢測窗口的寬度；（2）區(qū)域中心點位置 center_=extent_/2；其中center_網(wǎng)格中心點位置；（3）計算分配權(quán)值像素點距中心點距離；（4）運用計算權(quán)值對圖像梯度進行加權(quán)。 三線插值每個像素點權(quán)值對這個像素點所在單元位置的HOG向量都有影響，單元內(nèi)所有像素點的權(quán)值都被添加到梯度方向上。梯度方向范圍可以是0176。到180176。的無符號梯度，也可以是0176。~360176。的有符號梯度兩種，在本論文中使用0176。~180176。的無符號梯度，且將其分成9個方向（9bins）。再使用三線插值方法，把像素點梯度大小作為權(quán)值添加到梯度方向上構(gòu)成區(qū)域梯度直方圖向量。設(shè)h是直方圖、帶寬是b，h(x)指的是像素點中心處于x的直方圖值，如果要將權(quán)值w插入到直方圖x處，又設(shè) x1 和 x 2是點x在直方圖中最鄰近兩個bin 的端點坐標（x1≤ x≤x2），那么線性插值權(quán)值w對x1和x2影響為分別公式（314）和公式（315）： （314） （315）上述是一維情況下的線性插值，將其擴展到三維空間，w為三維空間中點x= [ x,y,z]權(quán)值，其中x1和x2為x在X軸方向上最鄰近兩個bin端點坐標，梯度方圖中沿著X,Y,Z軸方向帶寬分別為。 梯度直方圖特征向量梯度直方圖特征向量是指檢測窗口中所有區(qū)域梯度直方圖描述符一起形成的最終人體特征描述符，是判斷檢測窗口是否為人體的依據(jù)。（1）單元方向角度：通過高斯濾波將圖像梯度為像素點賦予權(quán)值后，在所有單元內(nèi)統(tǒng)計像素點梯度方向，梯度直方圖角度范圍為0176。~180176。，每20176。一個直方柱，總共有9個柱，即一個區(qū)域中形成49=36維的特征向量，圖 33 所示即為單元梯度方向直方圖。圖 33 單元梯度直方圖（2）區(qū)域梯度直方圖：當檢測窗口為64*128時，因為有105個網(wǎng)格，一個區(qū)域特征描述符為36維，所以檢測窗口特征向量總共3780維。（3）標準化方法為了降低光照和和前景背景對比度對檢測結(jié)果的影響（沒有標準化，梯度強度變化較大），需要對區(qū)域進行標準化。以下是幾種標準化方法，其中v是沒有標準化區(qū)域描述符向量：①L2norm，②L2Hys，（與①相同，）③L1norm，④L1sqrt，在檢測窗口中，絕大多數(shù)區(qū)域都有重疊，所有單元對最終特征向量都有影響，對區(qū)域進行標準化雖然看起來較多余，但是實際中很有用。 梯度直方圖人體檢測算法綜上所述，梯度直方圖（HOG）是在被稱為單元（Cell）和區(qū)域（Block）的網(wǎng)格內(nèi)進行密集計算得到，Cell 由若干像素點構(gòu)成，而 Block 則由若干相鄰的 Cell 組成。HOG 人體檢測算法具體計算過程為：（1）將規(guī)范化大小的檢測窗口作為輸入，通過梯度算子計算水平和垂直方向上的梯度。（2）以各像素點的梯度幅度為權(quán)重，統(tǒng)計各 Cell 的梯度方向加權(quán)直方圖，得到Cell 的 HOGs(Cell_HOGs)。（3）對同一Block內(nèi)的Cell_HOGs進行標準化處理，得到Block的HOGs(Block_HOGs)。（4）將待檢測窗口的所有Block_HOGs 串在一起構(gòu)成人體特征向量。 本章小結(jié)本章主要詳細介紹了圖像特征提取的一個特征——梯度直方圖人體檢測算法的基本原理，以及為之后的人體