【正文】 本次實(shí)驗(yàn)中我們隨機(jī)選取了一個(gè)動(dòng)作（高抬揮手），由十個(gè)不同人分別各自做3次，其中總共包含圖像幀數(shù)為1205,即1205組數(shù)據(jù)。實(shí)驗(yàn)方法就是利用訓(xùn)練輸出樣本（Ytrain）和訓(xùn)練輸入樣本（Xtrain）學(xué)習(xí)得到W的值，然后用這個(gè)訓(xùn)練得到的W值和測試輸入樣本值（Xtest）代入到線性回歸方程當(dāng)中得到一個(gè)新的計(jì)算輸出值（Ycal）值，實(shí)驗(yàn)誤差就是Ycal和Ytest（每個(gè)輸入測試樣本也一一對應(yīng)一個(gè)輸出測試樣本）的差值，差值越小，說明我們得到的估計(jì)效果越好。類似地。這種情況下，我們可以對每一個(gè)t引入一組不同的基函數(shù)，就可以形成多個(gè)并且相互獨(dú)立的回歸問題。圖53 不同q值下的正則函數(shù)輪廓曲線 多個(gè)輸出到目前為止，我們已經(jīng)考慮了對于單目標(biāo)變量t的情況。有時(shí)候我們需要用到一種更為普遍的正則化矩陣，它的正則化誤差表示如下： （527）式中，q=2對應(yīng)于二次正則化矩陣（527）。由于誤差函數(shù)保持了的二次函數(shù)，所以它的精確的及消化變量就可以閉式找到。一種正則化矩陣的最簡單的形式就是采用權(quán)重向量元素的平方和： （523）如果我們考慮平方和誤差函數(shù)如下： （524）那么整個(gè)誤差函數(shù)就變成： （525）這種正則化矩陣的特定選取方式在機(jī)器學(xué)習(xí)的相關(guān)文獻(xiàn)當(dāng)中被稱作權(quán)重衰減，因?yàn)樵谛蛄袑W(xué)習(xí)算法當(dāng)中，它允許權(quán)重值衰減到零，除非數(shù)據(jù)的特定支持。這種產(chǎn)生數(shù)值困難可以通過奇異值分解或是SVD的方法來解決。在實(shí)際應(yīng)用當(dāng)中，如果是個(gè)接近奇異的矩陣，那么直接求解一組標(biāo)準(zhǔn)方程將會(huì)變得非常的困難。因此w的最小二乘解對應(yīng)于在子空間中找到y(tǒng)使得與t的距離最小。因?yàn)閥是一個(gè)向量的任意線性組合，所以它可以是M維子空間中的任意一個(gè)向量。如果基礎(chǔ)函數(shù)的個(gè)數(shù)M小于數(shù)據(jù)點(diǎn)的個(gè)數(shù)N，那么這M個(gè)向量就會(huì)超過這個(gè)M維的線性子空間。每一個(gè)由N個(gè)數(shù)據(jù)點(diǎn)評估的基礎(chǔ)函數(shù)也可以在相同的空間當(dāng)中表示成一個(gè)向量并且命名為，正如圖52所示那樣。圖52 最小二乘法的幾何學(xué)解釋 最小二乘法的幾何解釋就從這一點(diǎn)上講，從幾何學(xué)的角度來解釋最小二乘法的求解是非常具有意義的。如果我們讓這個(gè)偏移參量變成顯式的，那么誤差函數(shù)就變成了： （518）設(shè)置對的倒數(shù)為零并且為了解得，我們得到 （519）式中，我們定義 （520）因此這個(gè)偏移量補(bǔ)償了目標(biāo)值的平均值和偏移函數(shù)值的加權(quán)和這兩者之間的區(qū)別。事實(shí)上，如果矩陣Φ是個(gè)方陣且可逆，如果利用性質(zhì)我們就可以認(rèn)為。這里Φ是一個(gè)N*M型的矩陣，叫做設(shè)計(jì)矩陣，矩陣當(dāng)中的元素是 （516）變量 （517）就是所謂的矩陣Φ偽逆矩陣。先考慮的最大化，正如之前說的一樣，我們認(rèn)為線性模型，在條件高斯噪聲分布條件下的極大似然函數(shù)等價(jià)于給定的平方和誤差函數(shù)的最小化。因此會(huì)常常出現(xiàn)在條件變量當(dāng)中，并且從現(xiàn)在開始，為了保證符號的整潔性，我們停止在諸如此類當(dāng)中的顯式表達(dá)。我們把目標(biāo)值{tn}分成一個(gè)列向量，我們設(shè)想這些數(shù)據(jù)點(diǎn)從分布（58）中獨(dú)立的繪畫出來，我們就得到了如下的似然函數(shù)的表達(dá)式，它具有自適應(yīng)的參變量和，形式如下 （510）式中，我們用到了式子（53）。在一個(gè)高斯條件分布的情形下，如式子（58），條件均值就可以簡化成 （59）注意到，由于存在高斯噪聲的假設(shè)意味著tX的條件分布是單峰值的，所以也就是意味著對于有一些應(yīng)用可能是不合適的。 極大似然法和最小二乘法正如之前一樣，我們假設(shè)目標(biāo)變量t是由一個(gè)確定的函數(shù)y（X,W）和一個(gè)附加的高斯噪聲決定的，如下 （57）式中，e均值為零，精度為（方差倒數(shù)）的高斯隨機(jī)變量。事實(shí)上，大多數(shù)我們的談?wù)搶?huì)應(yīng)用到如下的情景當(dāng)中，基礎(chǔ)函數(shù)的向量僅僅是等于。當(dāng)輸入值是在一個(gè)常規(guī)晶格中時(shí)，小波分析顯得最適合，比如說一個(gè)時(shí)間序列當(dāng)中的一些連續(xù)時(shí)間點(diǎn)，或者說是一幅圖片當(dāng)中的像素點(diǎn)。在許許多多的信號處理應(yīng)用當(dāng)中，考慮基礎(chǔ)函數(shù)在空間和頻率上的定位是有益可循的，這樣就形成了一簇所謂的小波分析函數(shù)。每一個(gè)基礎(chǔ)函數(shù)都代表了其特定的頻率和無窮大的空間延拓。這些所有的基礎(chǔ)函數(shù)在圖51當(dāng)中有所顯示。這些通常讓我們聯(lián)想到高斯基礎(chǔ)函數(shù)，盡管需要指出的是他們并不需要概率性的解釋，而且特別地說，由于這些基礎(chǔ)函數(shù)通過自適應(yīng)參變量wj會(huì)大量增加，所以歸一化系數(shù)也就顯得不那么重要了。不過這個(gè)問題可以這樣解決，我們把輸入空間分割成不同的區(qū)域，并且對每一塊小區(qū)間分別擬合一個(gè)不用的多項(xiàng)式，這樣就形成了所謂的樣條函數(shù)。多項(xiàng)式回歸的例子是這種回歸模型的一種特殊情況，它只有單個(gè)輸入變量x，并且它的基礎(chǔ)函數(shù)采用x的能量的形式xj。正是參變量的線性程度會(huì)很大程度上簡化這一類模型的分析。因?yàn)檫^程當(dāng)中我們使用了一些非線性的基礎(chǔ)函數(shù)，所以我們允許函數(shù)y（X，W）可以是輸入向量X的一個(gè)非線性函數(shù)。在許多模式識(shí)別的實(shí)際應(yīng)用當(dāng)中，我們會(huì)對原始數(shù)據(jù)變量采取一些固定的預(yù)處理或者是特征提取。這個(gè)參變量w0在數(shù)據(jù)當(dāng)中存在任意的固定補(bǔ)償，有時(shí)候我們把它稱作“偏移參變量”（不要和統(tǒng)計(jì)學(xué)意義上的“偏移”混淆）。因此，我們采取輸入變量的固定的非線性函數(shù)的線性組合來推廣這種線性模型，形式如下 （52）式中，是一個(gè)基礎(chǔ)函數(shù)。這種模型的關(guān)鍵屬性就是，它是參變量w1,…,wD的一種線性函數(shù)。 線性基函數(shù)模型線性回歸模型當(dāng)中最簡單的一種方法就是對輸入變量做一些線性組合 （51） 式中。一種常見的對于實(shí)值變量的損失函數(shù)就是平方損失，最佳的解決方法就是得到目標(biāo)值t的條件期望值。更寬泛的說，從概率學(xué)角度來講，由于我們對每一個(gè)觀測值x不能很確定的獲得相對應(yīng)的目標(biāo)值t，所以我們旨在模擬得到預(yù)測分布p（t/x）。 線性回歸模型現(xiàn)給定一組由N個(gè)觀測值{xn}(n= 1,2,3……)和與之相對應(yīng)的目標(biāo)值{tn}組成的訓(xùn)練數(shù)據(jù)，我們的目標(biāo)是，給定任意一個(gè)新的觀測值x的時(shí)候能夠估計(jì)目標(biāo)值t。然而，我們可以通過利用一些基本函數(shù)把一組原本固定的輸入變量的非線性函數(shù)做一些線性組合，來得到一些更多更有用的函數(shù)?；貧w分析的主要目標(biāo)就是：在給定一組由輸入變量組成的D維向量的前提下，能夠估計(jì)一個(gè)或是多個(gè)連續(xù)的目標(biāo)變量t。最后對基于的形狀上下文的形狀匹配的不變形做了簡要的分析,為之后的人體估計(jì)算法打下基礎(chǔ)。針對形狀匹配中中的各種形狀變化的原因和處理這些形狀變化較好的方法做了簡要的介紹。由此可見，形狀上下文是目前比較有價(jià)值的形狀描繪子之一，它本身有形狀分辨能力強(qiáng)、計(jì)算簡單、噪聲的影響不敏感等特征。第二，我們是計(jì)算點(diǎn)的距離后基于所有輪廓點(diǎn)間的距離的算術(shù)平均值進(jìn)行了歸一化的處理。5，利用公式(45)計(jì)算兩個(gè)目標(biāo)中所有輪廓點(diǎn)匹配待見最小值之和,就是兩個(gè)目標(biāo)形狀的相似度。3，統(tǒng)計(jì)以Pi點(diǎn)為中心的極坐標(biāo)系中每份區(qū)域即bin內(nèi)落入的像素點(diǎn)的數(shù)目,建立極坐標(biāo)直方圖。我們先求出兩個(gè)形狀中所有點(diǎn)之間的匹配代價(jià)后，形狀匹配的首要任務(wù)就是尋求一個(gè)下式最小的值,即: (46)綜上基于形狀上下文的形狀匹配的算法主要流程如下:1，選取物體形狀的輪廓點(diǎn)，這些輪廓點(diǎn)應(yīng)最大程度的表示輪廓的形狀,Belongie采用質(zhì)心點(diǎn)的方法,提取輪廓點(diǎn)的質(zhì)心坐標(biāo)與目標(biāo)的質(zhì)心點(diǎn)坐標(biāo)盡量一致。在這過程中,我們需要把加權(quán)求和這些描繪子的匹配代價(jià)就可以把形狀描述子的特點(diǎn)綜合起來,以增加我們匹配的準(zhǔn)確性。因?yàn)樾螤钌舷挛谋旧硎且环N用直方圖來表示的方式，所以我們用分布: (45) 在這里分別代表的分別是歸一化后的直方圖的第K級，K表明了直方圖的量化的等級。(a)、 (b)兩個(gè)形狀中P1， P2，q1三個(gè)點(diǎn)的形狀上下文直方圖分別是(d)，(e)，（f）,顯然通過比較發(fā)現(xiàn)P1，P2兩者的形狀上下文更接近；(g)是(a)、(b)的匹配結(jié)果。最終的輪廓的形狀上下文我們用矩陣存儲(chǔ)，因?yàn)檩喞械?個(gè)輪廓點(diǎn)有32個(gè)屬性值可把他們構(gòu)成一個(gè)序列，那么n個(gè)輪廓點(diǎn)就可以組成一個(gè)矩陣來存儲(chǔ)整個(gè)形狀的輪廓點(diǎn)集的信息，即: (44)如圖42所示，(a)、(b)分別是兩個(gè)形狀提取的輪廓點(diǎn)集。由上文我們知道,每一輪廓點(diǎn)的對數(shù)極坐標(biāo)空間的區(qū)域都是32,那么點(diǎn)Pi的直方圖就有32個(gè)屬性。那么對于點(diǎn)Pi,我們用以為坐標(biāo)中心的坐標(biāo)區(qū)域內(nèi)32個(gè)bin內(nèi)落入的像素點(diǎn)的個(gè)數(shù)來描述它的屬性,具體公式如下: (43)其中k的值為0，1，2，3，…，32，如果第25區(qū)域落入的輪廓點(diǎn)的個(gè)數(shù)是14，則hi(25)=14。對數(shù)極坐標(biāo)空間即對數(shù)極坐標(biāo)系,具體方法是在方向上將整個(gè)空間分成8個(gè)方向,然后基于弦按劃分為四份,那么整個(gè)空間被分為32份,我們把每一份定義為bin。所以我們可以將向量的極半徑與極角離散化處理,基于向量在離散空間里的具體分布來描繪形狀。但是我們把所有的向量都拿來用作形狀描繪子不太現(xiàn)實(shí)的，那樣的計(jì)算量將是一個(gè)天文數(shù)字。在輪廓的點(diǎn)集合P中，任意一點(diǎn)Pi與P中剩余的n1個(gè)點(diǎn)就構(gòu)成了一組向量，這組向量描繪了Pi在整個(gè)形狀中所處的相對位置關(guān)系。 形狀上下文的具體定義形狀上下文的具體歩驟是:首先是提取形狀的邊緣的輪廓點(diǎn),而提取這些形狀的輪廓點(diǎn)集為了最大程度的表示目標(biāo)的真實(shí)的形狀，所以Belongie提出這些輪廓點(diǎn)的質(zhì)心坐標(biāo)應(yīng)該盡量與原形狀的質(zhì)心坐標(biāo)一致。 形狀上下文的定義我們用一組點(diǎn)的坐標(biāo)P1，P2，P3，…，Pn來組成形狀的輪廓點(diǎn)集,這種表示直接體現(xiàn)了每個(gè)輪廓點(diǎn)的空間位置,但是對形狀匹配和識(shí)別更加具有意義的信息比如點(diǎn)與點(diǎn)之間的相對距離、點(diǎn)在形狀中的相對位置關(guān)系卻并不能直接的體現(xiàn)，它們包含在點(diǎn)的坐標(biāo)內(nèi)我們需要利用其它方法來對這些信息進(jìn)行挖掘。但在實(shí)際應(yīng)用中我們只需要對輪廓進(jìn)行采樣，只要采樣的樣本n足夠大并且采樣均勻我們就能很好的描述形狀而并不需要得到所有的像素點(diǎn)。我們通過對形狀的輪廓釆樣從而得到像素點(diǎn)，那么集合P中的每個(gè)元素都表示一個(gè)像素點(diǎn)。在圖像中像素的大小對整個(gè)形狀的影響可以忽略，雖然曲線是由相鄰的緊密的像素點(diǎn)組成，但是我們在整體觀察形狀的尺度下離散的像素點(diǎn)一樣能夠達(dá)到描繪連續(xù)曲線的效果，所以我們可以利用有限點(diǎn)集來近似的表示物體的形狀并且可以不損失物體形狀的信息。另外像關(guān)鍵點(diǎn)提取的方法造成了目標(biāo)輪廓上有關(guān)平滑部分的信息的丟失。其中簡化輪廓[17]的方法實(shí)質(zhì)上是提取圖像一些有意義和重要的關(guān)鍵點(diǎn)，我們可以利用樣條近似、多邊形近似或者基于關(guān)鍵點(diǎn)來獲取另外的形狀描述子從而來提取這些關(guān)鍵點(diǎn)。本節(jié)主要概括了形狀輪廓點(diǎn)集的表示方法以及形狀上下文的定義和算法。 形狀的輪廓點(diǎn)集表示 引言 在模式識(shí)別和計(jì)算機(jī)視覺的方法中,物體的形狀可以用二維圖形來表示，它可以形式上體現(xiàn)物體的邊緣輪廓。神經(jīng)網(wǎng)絡(luò)和遺傳算法[16]在近年來非常流行,在有遮掩形狀的匹配問題中更是得到了廣泛的應(yīng)用。其中哈夫(Hough)變換[15]方法是利用圖像得全局特性而對目標(biāo)輪廓進(jìn)行直接檢測的方法。 基于局部特征的形狀匹配上面主要介紹了基于全局特征的形狀匹配方法,他們有一個(gè)共同的缺點(diǎn)即在形狀如果有遮掩和發(fā)生形變的時(shí)候不再可靠。通過兩種尺度的描述形狀的小波表示能夠描繪出形狀的輪廓并且它不受輪廓的平移和縮放的影響,同時(shí)它還能夠根據(jù)目標(biāo)和輸入圖像在識(shí)別或者匹配的時(shí)候進(jìn)行自動(dòng)調(diào)整。傅里葉描繪子實(shí)質(zhì)是先用角累加函數(shù)來對形狀邊界進(jìn)行表示,然后用傅里葉變換變換這些對角累加函數(shù)得到的系數(shù)可以判斷輪廓圖的類別從而來描述形狀輪廓,它是適合識(shí)別目標(biāo)描述形狀的經(jīng)典方法。人們研究最多的基于變換域的不變量是各種不同的矩、傅里葉(Fourier)描繪子[13]、形態(tài)描繪子、小波描繪子[14]等。偏心率是區(qū)域形狀的長軸和短軸的比值,用來區(qū)分不同的寬度目標(biāo)。下面就緊密度、實(shí)心度、偏心率作一簡要介紹,其中實(shí)心度實(shí)質(zhì)上是既在任意集合的凸殼中同時(shí)也在集合中的像素?cái)?shù)目的比例，它可以描述形狀里有明顯凸凹的區(qū)域的凸凹性。 基于全局特征的形狀匹配人們根據(jù)拓?fù)淅碚摵蛶缀螌W(xué)中給出的許多變換得到的結(jié)果提出了各種變換的不變量?；诔叨瓤臻g特征點(diǎn)的方法也比較流行，其中特征點(diǎn)是圖像中具有明顯特性的能標(biāo)示出圖像中的目標(biāo)的點(diǎn),一般為物體的輪廓點(diǎn)。樣條是山一組給定點(diǎn)集生成平滑曲線的柔性帶,它本身具有最小化曲率的優(yōu)點(diǎn)，在函數(shù)插值和曲線近似上曾經(jīng)很流行，廣泛的應(yīng)用在形狀設(shè)計(jì)、形狀表示和恢復(fù)上。 形狀的表示方法形狀表示方法的方法中簡化輪廓就是提取一部分有意義且重要的關(guān)鍵點(diǎn)。針對這些變化的原因我們也有各種不同的處理方法，比如用信號處理的方法來處理圖像系統(tǒng)中的噪聲；而針對各種變換我們已經(jīng)取得了良好的效果。還有的利用形狀匹配時(shí)基于輪廓或者是區(qū)域來劃分,在這兩類之間又分為基于全局還是基于結(jié)構(gòu)化的方法，如下圖41是基于輪廓和區(qū)域的形狀匹配分類方法：
圖41基于輪廓或區(qū)域的形狀匹配方法示意圖但是在形狀匹配的過程中我們還必須面對各種不同的形狀變化,而引起這些變化的原因則是:圖像信號的噪聲；相似、仿射、射影等各種變換。不同標(biāo)準(zhǔn)下的形狀匹配分類方法很多，例如可以利用其處理形變的能力分為:一，通過搜索各種變化里的不變量來處理形狀變化,這些不變量主要有:相似不變量、仿射不變量、透視不變量等。一般的形狀描述子是基于幾何、統(tǒng)計(jì)、變換域特征和放射及射影不變量等各種描述子。形狀描述實(shí)際上是基于一些特定的方法來獲得數(shù)值描述子,通過這些描述子來對形狀進(jìn)行描繪。常見的形狀表示方法有兩種[10]，一種是鏈碼、游程碼、freeman碼等這些根據(jù)編碼方式劃分的形狀表