【文章內(nèi)容簡(jiǎn)介】 （214）其中U和V分別是AAT和ATA的特征向量，而則是他們的特征根。在PCA方法中，我們選取P個(gè)最大特征根及其所對(duì)應(yīng)的特征向量，對(duì)A進(jìn)行逼近： （215）線性代數(shù)理論證明：A與A’在最小二乘法的意義下是逼近的。而當(dāng)P越接近N，則逼近的結(jié)果越接近于原矩陣。所以當(dāng)我們選取的P遠(yuǎn)小于N時(shí)，所需要存儲(chǔ)的信息量就會(huì)越小，達(dá)到了降維和壓縮的目的。 輸入輸出數(shù)據(jù)降維 數(shù)據(jù)庫(kù)介紹本文中所采用的數(shù)據(jù)庫(kù)是對(duì)外免費(fèi)開放的MSRAction 3D，其中包括20個(gè)不同的行為 （高抬揮手，水平揮手，敲打，抓手，向前出拳，高拋，畫X形狀，畫刻度線，畫圈圈，拍手，揮舞雙手，側(cè)拳，彎腰，前踢腳，側(cè)踢，慢跑，拍網(wǎng)球，接網(wǎng)球，打高爾夫，撿起并丟棄），每個(gè)動(dòng)作都由是個(gè)不同的實(shí)驗(yàn)對(duì)象做3次，每秒15幀。其中總共含有567個(gè)深度圖像序列,23797幀，每幀圖像的分辨率是320*240，并且都是由Kinect設(shè)備拍攝所得。另外，在這個(gè)數(shù)據(jù)庫(kù)當(dāng)中，對(duì)于每一個(gè)深度圖像序列文件都對(duì)應(yīng)一個(gè)骨架序列文件，且唯一對(duì)應(yīng)，其中每一個(gè)骨架選取了20個(gè)關(guān)鍵骨架點(diǎn)作為人體模型。骨架信息由u,v,d,c四個(gè)不同的變量表示，其中（u，v）表示屏幕坐標(biāo)，d表示深度值，c表示可信指數(shù)。如果一個(gè)深度序列含有n幀圖像，那么其對(duì)應(yīng)的骨架文件當(dāng)中含有的數(shù)據(jù)個(gè)數(shù)為：n*20*4。實(shí)驗(yàn)樣本深度圖像和骨架圖分別如圖26,圖27所示： 圖26 輸入深度圖像樣本圖27 輸出骨架模型樣本 輸入數(shù)據(jù)和輸出數(shù)據(jù)處理結(jié)果本章節(jié)中，我們把深度圖像當(dāng)做輸入空間，記為矩陣X，骨架信息當(dāng)做輸出空間，記為矩陣Y，本次實(shí)驗(yàn)中，矩陣X大小為76800*1205，矩陣Y大小為60*1205，如之前章節(jié)所說(shuō)，為了降低計(jì)算成本和提高計(jì)算機(jī)運(yùn)行速度，我們利用PCA對(duì)Ｘ和Y分別都進(jìn)行降維處理，處理結(jié)果分別如圖28，圖29所示：圖28 輸入數(shù)據(jù)降維后的維數(shù)實(shí)驗(yàn)分析：即使當(dāng)PCA降維能量比在99%的時(shí)候，即保存了大量的原始數(shù)據(jù)的能量，輸入數(shù)據(jù)能從76800維降到只剩下775維，在降維能量比在90%的時(shí)候，即不失數(shù)據(jù)的準(zhǔn)確性的前提下，輸入數(shù)據(jù)降到了120維。圖29 輸出數(shù)據(jù)降維后的維數(shù)實(shí)驗(yàn)分析：輸出數(shù)據(jù)的降維情況與輸入數(shù)據(jù)的降維情況類似，可見如上分析。 本章小結(jié)本章節(jié)當(dāng)中首先詳細(xì)介紹了深度圖像的原理和基于Kinect的技術(shù)，其次介紹了主成分分析法（PCA）的算法原理，最后介紹了本次實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)的簡(jiǎn)單特點(diǎn)以及對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了預(yù)處理，為之后的實(shí)驗(yàn)分析打下基礎(chǔ)。第3章 梯度直方圖算法第3章 梯度直方圖算法2005年Navneet Dalal提出的梯度直方圖(Histograms of Oriented Gradient, HOG)[5]人體檢測(cè)算法取得了傳統(tǒng) HarrLike[6]特征和 SIFT[7]等人體檢測(cè)算法無(wú)法比擬的效果，同時(shí)也克服了幀間差分法對(duì)環(huán)境依賴性較高這一缺陷。 梯度直方圖特征描述符 梯度直方圖使用梯度方向直方圖作為目標(biāo)檢測(cè)特征描述符的基本思想是目標(biāo)物體的局部外觀和形狀可以很好的用目標(biāo)物體的局部強(qiáng)度梯度分布或邊緣方向的分布來(lái)描述，即使沒有相應(yīng)梯度或邊緣位置的精確信息。梯度直方圖特征描述符是對(duì)圖像區(qū)域進(jìn)行重疊密集描述的一種方法。常用的梯度直方圖描述符向量有矩形梯度直方圖特征描述符（RHOG），如圖 31（a）、圓形梯度直方圖特征描述符（CHOG），其中心單元進(jìn)行過角度分割描述形狀信息，如圖 31（b）、只有一個(gè)中心單元的圓形梯度直方圖（Single centre CHOG），如圖 31（c），它們都是使用統(tǒng)一的密集網(wǎng)格單元，將圖像梯度信息統(tǒng)計(jì)到直方圖中代表圖像的局部形狀信息，可以使用重疊的局部標(biāo)準(zhǔn)化方法來(lái)減少光照變化帶來(lái)的影響圖31 梯度直方圖描述符的幾種形式 矩形梯度直方圖描述符在傳統(tǒng)梯度直方圖人體檢測(cè)算法中和相關(guān)改進(jìn)算法中，基于矩形的梯度方向直方圖都給出了較其他兩種模型較好的結(jié)果，故本節(jié)也就矩形梯度直方圖進(jìn)行描述，如圖32（a）所示，每個(gè)區(qū)域（Block）包含 2*2個(gè)單元（Cell），且每個(gè)單元是由 8*8個(gè)像素點(diǎn)構(gòu)成。圖 32 區(qū)域示意圖在對(duì)矩形梯度直方圖特征描述符進(jìn)行計(jì)算時(shí)，將檢測(cè)圖像的檢測(cè)窗口劃分成密集統(tǒng)一的網(wǎng)點(diǎn)，以這些網(wǎng)格點(diǎn)為中心，使得它的周圍像素點(diǎn)構(gòu)成區(qū)域和單元，每個(gè)區(qū)域包含個(gè)單元，每個(gè)單元中包含像素和個(gè)方向角度，其中，是參數(shù)。通常情況下，區(qū)域間的平移間距大小和單元的邊長(zhǎng)是相同的，所以在一個(gè)檢測(cè)窗口中，區(qū)域的描述符都是重疊的，絕大多數(shù)單元對(duì)多個(gè)區(qū)域的描述符都有貢獻(xiàn)，如圖 32（b），其中紅色邊框的一個(gè)區(qū)域與上下的綠色區(qū)域（兩個(gè)區(qū)域）有重疊部分。當(dāng)，時(shí)，劃分密集統(tǒng)一網(wǎng)格中心點(diǎn)方法為公式（31）： （31）當(dāng)檢測(cè)窗口大小為64*12單元大小為8區(qū)域大小為1616時(shí)，水平方向有( 6416)/8+1=7個(gè)點(diǎn)，垂直方向?yàn)?(12816)/8+1=15個(gè)點(diǎn)，整個(gè)檢測(cè)窗口有715=105個(gè)網(wǎng)格中心點(diǎn)，在以網(wǎng)格中心點(diǎn)形成局部區(qū)域梯度方向直方圖。在上述檢測(cè)窗口下，設(shè)起始點(diǎn)為(0,0)，所有105個(gè)網(wǎng)格中心點(diǎn)坐標(biāo)為：(0,0) (0,8) (0,16) (0,32) … (0,112)(8,0) (8,8) (8,16) (8,32) … (8,112)… … … … … (48,0) (48,8) (48,16) (48,32)…(48,112) 梯度計(jì)算 線性算子與核算子假設(shè) X 和Y 是兩個(gè)抽象的集合，X到Y(jié)的一個(gè)映射是D，D可以成為算子。如果D 是在圖像 f 上的算子，且生成圖像g。如果有： （32）其中是f1，f2圖像，a，b是變量，那么D可以看成是一個(gè)“線性算子”。例如有 5*5矩陣的二維圖像f和算子h，則有： （33）其中a，b只取 1，0，1，由公式（33）可以得到： （34） 圖像卷積對(duì)于函數(shù)f(x)、 h(x)，它們的卷積運(yùn)算可以表示為公式（35）： （35）可以將上式擴(kuò)展到二維情況有公式（36）： （36）公式（36）表示的是連續(xù)圖像的卷積，對(duì)于數(shù)字圖像的離散卷積可以表示成公式（37）： （37）因在實(shí)際情況中，圖像f以及核算子都是有限值，可以定義圖像以外看成是0，公式（37）又可以寫成：== （38）公式（38）中a，b是核算子下標(biāo)取值范圍。公式（33）定義的是核算子，公式（38）定義的則是卷積運(yùn)算。卷積：核算子最右邊元素乘以圖像中最左邊元素；核算子：相對(duì)應(yīng)的元素直接進(jìn)行相乘，即左邊與左邊相乘，右邊與右邊相乘。當(dāng)核算h對(duì)稱的情況下，公式(33)與公式(36)是等價(jià)的。算子一般情況下是對(duì)稱的（如用平滑或者用其他各向同性）。因?yàn)閮墒较嗨疲瑘D像處理時(shí)，這兩種情況都可視為卷積，并且通常直接用公式（34）來(lái)代替公式（38）。 梯度大小和方向計(jì)算本章中，將輸入彩色圖像R、G、B三個(gè)分量，分別用1,0,1沿著 X 、Y 軸進(jìn)行卷積，再計(jì)算梯度，對(duì)于這三個(gè)顏色分量，具有最大梯度大小的顏色分量可以被認(rèn)為是當(dāng)前圖像中像素點(diǎn)的值，這樣彩色圖像就轉(zhuǎn)化成了灰色圖像，可以得到所有像素點(diǎn)梯度大小和方向。本章中圖像卷積使用的模板是[1,0,1],根據(jù)差分運(yùn)算，可以將梯度大?。ü剑?9））和方向（公式（310））分別表示如下 :[ （39） （310）根據(jù)上述介紹就可以計(jì)算出圖像中所有像素點(diǎn)梯度的大小和方向，接下來(lái)就需要根據(jù)像素在圖像區(qū)域的位置，使用梯度大小為像素方向分配權(quán)值，再統(tǒng)計(jì)區(qū)域方向來(lái)構(gòu)成區(qū)域梯度直方圖特征向量。 分配權(quán)值 高斯濾波權(quán)值分配在統(tǒng)計(jì)區(qū)域梯度直方圖之前，需要對(duì)區(qū)域中圖像梯度進(jìn)行高斯窗口濾波。高斯濾波器，它是線性平滑濾波器的一種，其權(quán)值是根據(jù)高斯函數(shù)的形狀來(lái)進(jìn)行選擇，在很多領(lǐng)域都有重要作用。圖像的子空間中，高斯濾波器根據(jù)空間距離提供權(quán)值，用一個(gè)掩膜掃描圖像區(qū)域中的每個(gè)像素，用掩膜確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代掩膜中心點(diǎn)像素點(diǎn)，其中所掃描像素點(diǎn)自身分配權(quán)值最大，離該像素點(diǎn)越遠(yuǎn)分配的權(quán)值越小，一元高斯函數(shù)表示為（311）： （311）在公式（311）中，表示標(biāo)準(zhǔn)差，是高斯濾波器的唯一參數(shù)，的大小表示高斯函數(shù)的寬度。距離算子中心越遠(yuǎn)，像素對(duì)中心影響就越小，在2范圍中包含了95%的權(quán)值，在3以外的中心影響就可以忽略。在本章里面，=0 .5，??則表示像素點(diǎn)到自己所在區(qū)域網(wǎng)格中心距離?？梢钥闯?，離中心點(diǎn)越近像素點(diǎn)分配的權(quán)值就越大，反之離中心點(diǎn)越遠(yuǎn)權(quán)值分配就越小。二元高斯函數(shù)可以表示為公式（312）所示，這里的是關(guān)聯(lián)概率分布的標(biāo)準(zhǔn)確性差: （312）d 維多變量高斯函數(shù)形式如公式（313），X為d維向量，U表示均值向量，K 表示協(xié)方差矩陣： （313）高斯濾波幾個(gè)重要性質(zhì)：（1）離原點(diǎn)越遠(yuǎn)，權(quán)值就變的越來(lái)越小并逐漸趨近于0。說(shuō)明了距離中心點(diǎn)近的圖像值比遠(yuǎn)處的圖像值對(duì)中心點(diǎn)值影響更大，其中標(biāo)準(zhǔn)差決定距離范圍；（2）當(dāng)均值為零時(shí)，高斯函數(shù)橫坐標(biāo)是對(duì)稱的，把函數(shù)翻轉(zhuǎn)后進(jìn)行卷積，可以產(chǎn)生等價(jià)核；（3）高斯濾波的傅立葉變換在頻率域內(nèi)呈現(xiàn)為另一種高斯形式。這說(shuō)明在與空間域高斯模板做卷積時(shí)，空間頻率越高，圖像高頻部分就變得減??；（4）一維高斯函數(shù)的二階導(dǎo)數(shù)的中間突出部分是光滑的，為負(fù)值，其中兩個(gè)側(cè)邊突出部分也是光滑的，為正值。零交叉在和+處，和g(x)拐點(diǎn)和g(x)極值點(diǎn)相對(duì)應(yīng)。計(jì)算權(quán)值步驟：（1）標(biāo)準(zhǔn)差 Var=cellsize_*numcell_/(2*wtscale)，Var=Var2， cellsize _表示包含的像素?cái)?shù)，numcell_表示區(qū)域中包含的單元數(shù)，wtscale_則表示的是檢測(cè)窗口的寬度；（2）區(qū)域中心點(diǎn)位置 center_=extent_/2；其中center_網(wǎng)格中心點(diǎn)位置；（3）計(jì)算分配權(quán)值像素點(diǎn)距中心點(diǎn)距離；（4）運(yùn)用計(jì)算權(quán)值對(duì)圖像梯度進(jìn)行加權(quán)。 三線插值每個(gè)像素點(diǎn)權(quán)值對(duì)這個(gè)像素點(diǎn)所在單元位置的HOG向量都有影響，單元內(nèi)所有像素點(diǎn)的權(quán)值都被添加到梯度方向上。梯度方向范圍可以是0176。到180176。的無(wú)符號(hào)梯度，也可以是0176。~360176。的有符號(hào)梯度兩種，在本論文中使用0176。~180176。的無(wú)符號(hào)梯度，且將其分成9個(gè)方向（9bins）。再使用三線插值方法，把像素點(diǎn)梯度大小作為權(quán)值添加到梯度方向上構(gòu)成區(qū)域梯度直方圖向量。設(shè)h是直方圖、帶寬是b，h(x)指的是像素點(diǎn)中心處于x的直方圖值，如果要將權(quán)值w插入到直方圖x處，又設(shè) x1 和 x 2是點(diǎn)x在直方圖中最鄰近兩個(gè)bin 的端點(diǎn)坐標(biāo)（x1≤ x≤x2），那么線性插值權(quán)值w對(duì)x1和x2影響為分別公式（314）和公式（315）： （314） （315）上述是一維情況下的線性插值，將其擴(kuò)展到三維空間，w為三維空間中點(diǎn)x= [ x,y,z]權(quán)值，其中x1和x2為x在X軸方向上最鄰近兩個(gè)bin端點(diǎn)坐標(biāo)，梯度方圖中沿著X,Y,Z軸方向帶寬分別為。 梯度直方圖特征向量梯度直方圖特征向量是指檢測(cè)窗口中所有區(qū)域梯度直方圖描述符一起形成的最終人體特征描述符，是判斷檢測(cè)窗口是否為人體的依據(jù)。（1）單元方向角度：通過高斯濾波將圖像梯度為像素點(diǎn)賦予權(quán)值后，在所有單元內(nèi)統(tǒng)計(jì)像素點(diǎn)梯度方向，梯度直方圖角度范圍為0176。~180176。，每20176。一個(gè)直方柱，總共有9個(gè)柱，即一個(gè)區(qū)域中形成49=36維的特征向量，圖 33 所示即為單元梯度方向直方圖。圖 33 單元梯度直方圖（2）區(qū)域梯度直方圖：當(dāng)檢測(cè)窗口為64*128時(shí)，因?yàn)橛?05個(gè)網(wǎng)格，一個(gè)區(qū)域特征描述符為36維，所以檢測(cè)窗口特征向量總共3780維。（3）標(biāo)準(zhǔn)化方法為了降低光照和和前景背景對(duì)比度對(duì)檢測(cè)結(jié)果的影響（沒有標(biāo)準(zhǔn)化，梯度強(qiáng)度變化較大），需要對(duì)區(qū)域進(jìn)行標(biāo)準(zhǔn)化。以下是幾種標(biāo)準(zhǔn)化方法，其中v是沒有標(biāo)準(zhǔn)化區(qū)域描述符向量：①L2norm，②L2Hys，（與①相同，）③L1norm，④L1sqrt，在檢測(cè)窗口中，絕大多數(shù)區(qū)域都有重疊，所有單元對(duì)最終特征向量都有影響，對(duì)區(qū)域進(jìn)行標(biāo)準(zhǔn)化雖然看起來(lái)較多余，但是實(shí)際中很有用。 梯度直方圖人體檢測(cè)算法綜上所述，梯度直方圖（HOG）是在被稱為單元（Cell）和區(qū)域（Block）的網(wǎng)格內(nèi)進(jìn)行密集計(jì)算得到，Cell 由若干像素點(diǎn)構(gòu)成，而 Block 則由若干相鄰的 Cell 組成。HOG 人體檢測(cè)算法具體計(jì)算過程為：（1）將規(guī)范化大小的檢測(cè)窗口作為輸入，通過梯度算子計(jì)算水平和垂直方向上的梯度。（2）以各像素點(diǎn)的梯度幅度為權(quán)重，統(tǒng)計(jì)各 Cell 的梯度方向加權(quán)直方圖，得到Cell 的 HOGs(Cell_HOGs)。（3）對(duì)同一Block內(nèi)的Cell_HOGs進(jìn)行標(biāo)準(zhǔn)化處理，得到Block的HOGs(Block_HOGs)。（4）將待檢測(cè)窗口的所有Block_HOGs 串在一起構(gòu)成人體特征向量。 本章小結(jié)本章主要詳細(xì)介紹了圖像特征提取的一個(gè)特征——梯度直方圖人體檢測(cè)算法的基本原理，以及為之后的人體