【正文】 而在人體實(shí)際運(yùn)動(dòng)尺度上，該變量的維度會(huì)高達(dá)幾十甚至上百，建立以及求解高維狀態(tài)的數(shù)學(xué)模型是一個(gè)很大挑戰(zhàn)。機(jī)器視覺(jué)中可以將研究對(duì)象劃分為剛體、非剛體兩大類(lèi)。非剛體模型通常情況下很難建立，因此非剛體目標(biāo)的運(yùn)動(dòng)、姿態(tài)估算以及識(shí)別都很困難，對(duì)人體目標(biāo)也是一樣。雖然人體和人臉一樣都是非剛體物體，但是人體的分析難度遠(yuǎn)高于人臉，這主要因?yàn)槿四樏娌课骞俚淖兓瘍H僅是由肌肉驅(qū)動(dòng)產(chǎn)生，而人體姿態(tài)的形成則是由多個(gè)關(guān)節(jié)旋轉(zhuǎn)產(chǎn)生，又由于人體各肢體部位活動(dòng)靈活，肢體部件之間存在很多的自遮擋情況，這使得二義性問(wèn)題變的異常復(fù)雜。 本文的研究?jī)?nèi)容和結(jié)構(gòu)安排 本文的研究?jī)?nèi)容本文的主要研究?jī)?nèi)容是基于學(xué)習(xí)的方法進(jìn)行人體姿態(tài)估計(jì)，把基于Kinect設(shè)備得到的深度圖像信息作為圖像特征空間（輸入空間），從中獲取大量的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，并且從圖像特征空間到人體姿態(tài)空間（輸出空間）的線(xiàn)性回歸模型，將大量訓(xùn)練樣本濃縮表達(dá)為緊致的函數(shù)，從新觀測(cè)圖像中同樣提取圖像的深度信息代入學(xué)習(xí)得到的回歸模型，這樣即可估計(jì)當(dāng)前的人體姿態(tài)。最后，通過(guò)實(shí)驗(yàn)結(jié)果，分析、比較了這三種不同圖像特征空間下的人體姿態(tài)估計(jì)效果。第2章 圖像特征提取之深度信息以及介紹主成分分析法（PCA）并用它對(duì)輸入輸出數(shù)據(jù)進(jìn)行降維處理。第4章 圖像特征提取之形狀上下文（Shape Context）的算法原理介紹。第6章 工作總結(jié)及展望，在總結(jié)論文的基礎(chǔ)上，針對(duì)人體姿態(tài)估計(jì)發(fā)現(xiàn)的問(wèn)題，提出了下一步的研究?jī)?nèi)容與方向。特別是微軟推出Kinect設(shè)備，極大地激發(fā)了研究者們的興趣。以往的利用可見(jiàn)光圖像的單目識(shí)別常常遭遇光照變化、陰影、物體遮擋以及環(huán)境變化等因素的干擾。 深度圖像的研究現(xiàn)狀 深度圖像的概念與特征在3D 計(jì)算機(jī)圖形學(xué)中，深度圖像指從觀察視角看去，圖像所包含信息與場(chǎng)景物體表面距離相關(guān)的一種圖像或一個(gè)圖像通道。因此，深度圖像也稱(chēng)為距離圖像。在局部空間范圍內(nèi)和不需要顏色域信息時(shí)，深度圖像可以代替雙目成像。 圖22 理想深度圖像外觀示意圖根據(jù)深度圖像的定義，可以得到深度圖如下2個(gè)性質(zhì):1. 顏色無(wú)關(guān)性。2．灰度值變化方向與視場(chǎng)Z 方向相同。 深度圖像研究現(xiàn)狀深度攝像機(jī)按照成像原理劃分主要有飛行時(shí)間法( TOF) 、結(jié)構(gòu)( structured light) 、三維激光掃描( laser scanner) 等幾種，主要應(yīng)用于機(jī)器人、互動(dòng)游戲等領(lǐng)域。結(jié)構(gòu)光法是一種主動(dòng)光學(xué)測(cè)距技術(shù)，其基本原理是由結(jié)構(gòu)光投射器向被測(cè)物體表面投射可控制的光點(diǎn)、光條或光面結(jié)構(gòu)，并由圖像傳感器( 如攝像機(jī)) 獲得圖像，通過(guò)系統(tǒng)化的幾何關(guān)系，利用三角原理計(jì)算得到物體的三維坐標(biāo)。利用深度圖像進(jìn)行模式識(shí)別是近年來(lái)興起的一種方法。一家以色列的公司PrimeSense 于2010 年4 月推出為微軟XBOX 專(zhuān)用的三維測(cè)量技術(shù)的外部設(shè)備Kinect ( 由動(dòng)力學(xué)“kinetic”與連接“connect”2個(gè)詞匯組成的原創(chuàng)混合詞)。其中較為著名的應(yīng)用有人體檢測(cè)與跟蹤、姿勢(shì)識(shí)別和頭部識(shí)別等。圖22 所示，Kinect內(nèi)置了用于語(yǔ)音識(shí)別的陣列麥克風(fēng)系統(tǒng)，帶1個(gè)XBOX360 外接的3D 體感攝影機(jī)，利用即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語(yǔ)音辨識(shí)等功能讓玩家擺脫傳統(tǒng)游戲手柄地束縛，通過(guò)自己的肢體控制游戲。此外，Kinect 還搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨著對(duì)焦物體的移動(dòng)而轉(zhuǎn)動(dòng)。組成成像系統(tǒng)的三個(gè)核心元件包括: 激光發(fā)射器，不均勻透明介質(zhì)，CMOS 感光器件。其中，激光發(fā)射器與CMOS 感光器件成一定角度對(duì)準(zhǔn)目標(biāo)場(chǎng)景，而不均勻透明介質(zhì)放置于激光發(fā)射器鏡頭前。CMOS 感光元件可以拍攝散斑圖像。第1步，標(biāo)定。此時(shí)標(biāo)定完成。第2步，取樣。在圖23中，物體A 和物體B 表面形成散斑的位置是ZA，ZB。將測(cè)試圖像與所有參考圖像分別計(jì)算相關(guān)系數(shù)，選取產(chǎn)生相關(guān)系數(shù)最大的參考圖像，即物體在該參考圖像所在位置的可能性最大。同理，B 物體認(rèn)為在Z3 距離處。根據(jù)所選取的參考圖像與光源間的標(biāo)定關(guān)系，通過(guò)幾何變換計(jì)算得出物體到光源的距離，構(gòu)建3D 圖像。此時(shí)即完成對(duì)場(chǎng)景某一時(shí)刻的深度圖像拍攝，向外部處理系統(tǒng)輸出。第2步：取樣采集物體表面的激光散斑側(cè)視圖第3步：定位計(jì)算測(cè)試圖像與參考圖像相關(guān)度，選取相關(guān)度最大的參考圖像第4步：重建基于所選取的參考圖與光源間的偏移量構(gòu)建3D圖像輸出向外部處理系統(tǒng)輸出深度圖像圖24 光編碼技術(shù)成像過(guò)程圖 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理如第一章所介紹的那樣，我們需要提取圖像特征的深度信息，由于原本圖像的灰度矩陣大小為240*320=76800維，維數(shù)很大，并且其中包含有大量的零元素，即對(duì)實(shí)驗(yàn)結(jié)果影響幾乎沒(méi)有的元素，這時(shí)候，我們?yōu)榱颂岣哂?jì)算機(jī)的運(yùn)行效率以及減少計(jì)算成本，在保留原始數(shù)據(jù)的盡可能完整性的前提下，我們需要對(duì)原始數(shù)據(jù)降維處理。 PCA算法的概念與應(yīng)用PCA（Principal Component Analysis),稱(chēng)主成分分析，從統(tǒng)計(jì)學(xué)的角度來(lái)說(shuō)是一種多元統(tǒng)計(jì)方法。它往往可以有效地從過(guò)于“豐富”的數(shù)據(jù)信息中獲取最重要的元素和結(jié)構(gòu)，去除數(shù)據(jù)的噪音和冗余，將原來(lái)復(fù)雜的數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)單結(jié)構(gòu)。PCA方法是一個(gè)高普適用方法，它的一大優(yōu)點(diǎn)是能夠?qū)?shù)據(jù)進(jìn)行降維處理，我們通過(guò)PCA方法求出數(shù)據(jù)集的主元，選取最重要的部分，將其余的維數(shù)省去，從而達(dá)到降維和簡(jiǎn)化模型的目的，間接地對(duì)數(shù)據(jù)進(jìn)行了壓縮處理，同時(shí)很大程度上保留了原數(shù)據(jù)的信息，所以在機(jī)器學(xué)習(xí)和模式識(shí)別及計(jì)算機(jī)視覺(jué)領(lǐng)域，PCA方法被廣泛的運(yùn)用。而相應(yīng)的基向量組應(yīng)滿(mǎn)足正交性且由基向量組構(gòu)成的地位子空間最優(yōu)地考慮了數(shù)據(jù)的相關(guān)性。 圖25 紅點(diǎn)代表原始數(shù)據(jù)點(diǎn)；綠點(diǎn)代表被映射到低維空間后的點(diǎn)；紫線(xiàn)代表映射平面。那么什么樣的低維空間才符合我們要求的呢。假設(shè)我們有N個(gè)樣本數(shù)據(jù){xn},每個(gè)樣本數(shù)據(jù)是D維，我們希望樣本數(shù)據(jù)映射到MD維的子空間，并且使映射后的數(shù)據(jù)方差最大化。我們?cè)O(shè)低維空間的方向向量為D維單位向量u1,并且具有正交性,即u1Tu1=1。我們令原始N個(gè)樣本數(shù)據(jù)均值向量為： （21）那么映射后的數(shù)據(jù)方差就為： （22）式中，S為原始數(shù)據(jù)集的協(xié)方差矩陣 （23）我們所希望的低維空間是能使等式（22）值最大的空間，即方差最大化。因?yàn)閡1向量是正交向量，所以我們引入拉格朗日乘子法求解等式（22）得最大值。我們將由1維情況擴(kuò)展到M1維情況，協(xié)方差矩陣S應(yīng)該有M個(gè)特征特征值：，其對(duì)應(yīng)的特征向量應(yīng)為： 誤差最小化PCA的另一種構(gòu)造形式是基于誤差最小化。我們構(gòu)造一個(gè)目標(biāo)函數(shù): （210）其通俗的含義是我們希望通過(guò)M維表達(dá)的出的數(shù)據(jù)點(diǎn)逼近D維樣本數(shù)據(jù)點(diǎn),這里我們采用歐式距離衡量?jī)蓚€(gè)數(shù)據(jù)點(diǎn)的相似性。通過(guò)求導(dǎo)，我們可以得出： （211） （212）反代回等式（210），得： （213）因此我們只要找尋協(xié)方差矩陣S的（DM）個(gè)最小特征值就可。奇異值分解可以將一個(gè)比較復(fù)雜的矩陣分解為幾個(gè)更小更簡(jiǎn)單的子矩陣相乘的形式來(lái)表達(dá)，而這些子矩陣描述的是原矩陣的重要的特性。在PCA方法中，我們選取P個(gè)最大特征根及其所對(duì)應(yīng)的特征向量，對(duì)A進(jìn)行逼近： （215）線(xiàn)性代數(shù)理論證明：A與A’在最小二乘法的意義下是逼近的。所以當(dāng)我們選取的P遠(yuǎn)小于N時(shí)，所需要存儲(chǔ)的信息量就會(huì)越小，達(dá)到了降維和壓縮的目的。其中總共含有567個(gè)深度圖像序列,23797幀，每幀圖像的分辨率是320*240，并且都是由Kinect設(shè)備拍攝所得。骨架信息由u,v,d,c四個(gè)不同的變量表示，其中（u，v）表示屏幕坐標(biāo)，d表示深度值，c表示可信指數(shù)。實(shí)驗(yàn)樣本深度圖像和骨架圖分別如圖26,圖27所示： 圖26 輸入深度圖像樣本圖27 輸出骨架模型樣本 輸入數(shù)據(jù)和輸出數(shù)據(jù)處理結(jié)果本章節(jié)中，我們把深度圖像當(dāng)做輸入空間，記為矩陣X，骨架信息當(dāng)做輸出空間，記為矩陣Y，本次實(shí)驗(yàn)中，矩陣X大小為76800*1205，矩陣Y大小為60*1205，如之前章節(jié)所說(shuō)，為了降低計(jì)算成本和提高計(jì)算機(jī)運(yùn)行速度，我們利用PCA對(duì)Ｘ和Y分別都進(jìn)行降維處理，處理結(jié)果分別如圖28，圖29所示：圖28 輸入數(shù)據(jù)降維后的維數(shù)實(shí)驗(yàn)分析：即使當(dāng)PCA降維能量比在99%的時(shí)候，即保存了大量的原始數(shù)據(jù)的能量，輸入數(shù)據(jù)能從76800維降到只剩下775維，在降維能量比在90%的時(shí)候，即不失數(shù)據(jù)的準(zhǔn)確性的前提下，輸入數(shù)據(jù)降到了120維。 本章小結(jié)本章節(jié)當(dāng)中首先詳細(xì)介紹了深度圖像的原理和基于Kinect的技術(shù)，其次介紹了主成分分析法（PCA）的算法原理，最后介紹了本次實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)的簡(jiǎn)單特點(diǎn)以及對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了預(yù)處理，為之后的實(shí)驗(yàn)分析打下基礎(chǔ)。 梯度直方圖特征描述符 梯度直方圖使用梯度方向直方圖作為目標(biāo)檢測(cè)特征描述符的基本思想是目標(biāo)物體的局部外觀和形狀可以很好的用目標(biāo)物體的局部強(qiáng)度梯度分布或邊緣方向的分布來(lái)描述，即使沒(méi)有相應(yīng)梯度或邊緣位置的精確信息。常用的梯度直方圖描述符向量有矩形梯度直方圖特征描述符（RHOG），如圖 31（a）、圓形梯度直方圖特征描述符（CHOG），其中心單元進(jìn)行過(guò)角度分割描述形狀信息，如圖 31（b）、只有一個(gè)中心單元的圓形梯度直方圖（Single centre CHOG），如圖 31（c），它們都是使用統(tǒng)一的密集網(wǎng)格單元，將圖像梯度信息統(tǒng)計(jì)到直方圖中代表圖像的局部形狀信息，可以使用重疊的局部標(biāo)準(zhǔn)化方法來(lái)減少光照變化帶來(lái)的影響圖31 梯度直方圖描述符的幾種形式 矩形梯度直方圖描述符在傳統(tǒng)梯度直方圖人體檢測(cè)算法中和相關(guān)改進(jìn)算法中，基于矩形的梯度方向直方圖都給出了較其他兩種模型較好的結(jié)果，故本節(jié)也就矩形梯度直方圖進(jìn)行描述，如圖32（a）所示，每個(gè)區(qū)域（Block）包含 2*2個(gè)單元（Cell），且每個(gè)單元是由 8*8個(gè)像素點(diǎn)構(gòu)成。通常情況下，區(qū)域間的平移間距大小和單元的邊長(zhǎng)是相同的，所以在一個(gè)檢測(cè)窗口中，區(qū)域的描述符都是重疊的，絕大多數(shù)單元對(duì)多個(gè)區(qū)域的描述符都有貢獻(xiàn)，如圖 32（b），其中紅色邊框的一個(gè)區(qū)域與上下的綠色區(qū)域（兩個(gè)區(qū)域）有重疊部分。在上述檢測(cè)窗口下，設(shè)起始點(diǎn)為(0,0)，所有105個(gè)網(wǎng)格中心點(diǎn)坐標(biāo)為：(0,0) (0,8) (0,16) (0,32) … (0,112)(8,0) (8,8) (8,16) (8,32) … (8,112)… … … … … (48,0) (48,8) (48,16) (48,32)…(48,112) 梯度計(jì)算 線(xiàn)性算子與核算子假設(shè) X 和Y 是兩個(gè)抽象的集合，X到Y(jié)的一個(gè)映射是D，D可以成為算子。如果有： （32）其中是f1，f2圖像，a，b是變量，那么D可以看成是一個(gè)“線(xiàn)性算子”。公式（33）定義的是核算子，公式（38）定義的則是卷積運(yùn)算。當(dāng)核算h對(duì)稱(chēng)的情況下，公式(33)與公式(36)是等價(jià)的。因?yàn)閮墒较嗨?，圖像處理時(shí)，這兩種情況都可視為卷積，并且通常直接用公式（34）來(lái)代替公式（38）。本章中圖像卷積使用的模板是[1,0,1],根據(jù)差分運(yùn)算，可以將梯度大?。ü剑?9））和方向（公式（310））分別表示如下 :[ （39） （310）根據(jù)上述介紹就可以計(jì)算出圖像中所有像素點(diǎn)梯度的大小和方向，接下來(lái)就需要根據(jù)像素在圖像區(qū)域的位置，使用梯度大小為像素方向分配權(quán)值，再統(tǒng)計(jì)區(qū)域方向來(lái)構(gòu)成區(qū)域梯度直方圖特征向量。高斯濾波器，它是線(xiàn)性平滑濾波器的一種，其權(quán)值是根據(jù)高斯函數(shù)的形狀來(lái)進(jìn)行選擇，在很多領(lǐng)域都有重要作用。距離算子中心越遠(yuǎn)，像素對(duì)中心影響就越小，在2范圍中包含了95%的權(quán)值，在3以外的中心影響就可以忽略。可以看出，離中心點(diǎn)越近像素點(diǎn)分配的權(quán)值就越大，反之離中心點(diǎn)越遠(yuǎn)權(quán)值分配就越小。說(shuō)明了距離中心點(diǎn)近的圖像值比遠(yuǎn)處的圖像值對(duì)中心點(diǎn)值影響更大，其中標(biāo)準(zhǔn)差決定距離范圍；（2）當(dāng)均值為零時(shí)，高斯函數(shù)橫坐標(biāo)是對(duì)稱(chēng)的，把函數(shù)翻轉(zhuǎn)后進(jìn)行卷積，可以產(chǎn)生等價(jià)核；（3）高斯濾波的傅立葉變換在頻率域內(nèi)呈現(xiàn)為另一種高斯形式。零交叉在和+處，和g(x)拐點(diǎn)和g(x)極值點(diǎn)相對(duì)應(yīng)。 三線(xiàn)插值每個(gè)像素點(diǎn)權(quán)值對(duì)這個(gè)像素點(diǎn)所在單元位置的HOG向量都有影響，單元內(nèi)所有像素點(diǎn)的權(quán)值都被添加到梯度方向上。到180176。~360176。~180176。再使用三線(xiàn)插值方法，把像素點(diǎn)梯度大小作為權(quán)值添加到梯度方向上構(gòu)成區(qū)域梯度直方圖向量。 梯度直方圖特征向量梯度直方圖特征向量是指檢測(cè)窗口中所有區(qū)域梯度直方圖描述符一起形成的最終人體特征描述符，是判斷檢測(cè)窗口是否為人體的依據(jù)。~180176。一個(gè)直方柱，總共有9個(gè)柱，即一個(gè)區(qū)域中形成49=36維的特征向量，圖 33 所示即為單元梯度方向直方圖。（3）標(biāo)準(zhǔn)化方法為了降低光照和和前景背景對(duì)比度對(duì)檢測(cè)結(jié)果的影響（沒(méi)有標(biāo)準(zhǔn)化，梯度強(qiáng)度變化較大），需要對(duì)區(qū)域進(jìn)行標(biāo)準(zhǔn)化。 梯度直方圖人體檢測(cè)算法綜上所述，梯度直方圖（HOG）是在被稱(chēng)為單元（Cell）和區(qū)域（Block）的網(wǎng)格內(nèi)進(jìn)行密集計(jì)算得到，Cell 由若干像素點(diǎn)構(gòu)