【正文】 回歸分析的主要目標(biāo)就是：在給定一組由輸入變量組成的D維向量的前提下，能夠估計一個或是多個連續(xù)的目標(biāo)變量t。線性回歸模型的最簡單的一種形式就是輸入變量的線性函數(shù)。然而，我們可以通過利用一些基本函數(shù)把一組原本固定的輸入變量的非線性函數(shù)做一些線性組合，來得到一些更多更有用的函數(shù)。這樣獲得的模型就可以當(dāng)做是一些參量的線性函數(shù)，能夠給他們一些簡單的分析屬性并且對于輸入變量來說是非線性的。 線性回歸模型現(xiàn)給定一組由N個觀測值{xn}(n= 1,2,3……)和與之相對應(yīng)的目標(biāo)值{tn}組成的訓(xùn)練數(shù)據(jù)，我們的目標(biāo)是，給定任意一個新的觀測值x的時候能夠估計目標(biāo)值t。在最簡單的一種方法中，我們可以通過直接構(gòu)造適當(dāng)?shù)暮瘮?shù)y（x）——它的輸出值t由相應(yīng)的輸入值x預(yù)測獲得。更寬泛的說，從概率學(xué)角度來講，由于我們對每一個觀測值x不能很確定的獲得相對應(yīng)的目標(biāo)值t，所以我們旨在模擬得到預(yù)測分布p（t/x）。有了這個條件分布，對于任意一個新的觀測值x，我們就可以比較準(zhǔn)確地預(yù)測目標(biāo)值t，這種方法的關(guān)鍵是通過選取適當(dāng)?shù)膿p失函數(shù)來最小化期望值。一種常見的對于實值變量的損失函數(shù)就是平方損失，最佳的解決方法就是得到目標(biāo)值t的條件期望值。盡管線性模型作為一種實用技術(shù)應(yīng)用于模式識別，尤其是解決高維度輸入空間的問題時具有很大的局限性，但是線性模型具有非常良好的分析屬性并且構(gòu)成了一些復(fù)雜模型的基礎(chǔ)，所以仍然具有其論價值。 線性基函數(shù)模型線性回歸模型當(dāng)中最簡單的一種方法就是對輸入變量做一些線性組合 （51） 式中。這就是通常所說的線性回歸。這種模型的關(guān)鍵屬性就是，它是參變量w1,…,wD的一種線性函數(shù)。然后，它同時也是輸入變量的線性函數(shù)并且顯示了這種模型的重要的局限性。因此，我們采取輸入變量的固定的非線性函數(shù)的線性組合來推廣這種線性模型，形式如下 （52）式中，是一個基礎(chǔ)函數(shù)。通過把下標(biāo)j的最大值表示成M1，在這個模型當(dāng)中參變量的總個數(shù)就變成M。這個參變量w0在數(shù)據(jù)當(dāng)中存在任意的固定補償，有時候我們把它稱作“偏移參變量”（不要和統(tǒng)計學(xué)意義上的“偏移”混淆）。通常情況下，我們可以很方便的定義一個附加的虛擬的“偏移函數(shù)”，所以上式又可以寫成 （53）式中，W=(w0,…,wM1)T和。在許多模式識別的實際應(yīng)用當(dāng)中，我們會對原始數(shù)據(jù)變量采取一些固定的預(yù)處理或者是特征提取。如果原始數(shù)據(jù)變量由向量X組成，那么它的一些特征可以用基礎(chǔ)函數(shù){}來表達(dá)。因為過程當(dāng)中我們使用了一些非線性的基礎(chǔ)函數(shù)，所以我們允許函數(shù)y（X，W）可以是輸入向量X的一個非線性函數(shù)。如式子（52）的函數(shù)就叫做線性模型，然而，因為這個函數(shù)對W而言是線性的。正是參變量的線性程度會很大程度上簡化這一類模型的分析。然而，正如之前討論的那樣，它同樣導(dǎo)致了一些重大的局限性。多項式回歸的例子是這種回歸模型的一種特殊情況，它只有單個輸入變量x，并且它的基礎(chǔ)函數(shù)采用x的能量的形式xj。多項式基礎(chǔ)函數(shù)的其中一個局限性就是他們是輸入變量的整體意義上的函數(shù)，以至于輸入空間的某一塊發(fā)生變化的時候會影響到剩余的其他的空間也發(fā)生變化。不過這個問題可以這樣解決，我們把輸入空間分割成不同的區(qū)域，并且對每一塊小區(qū)間分別擬合一個不用的多項式，這樣就形成了所謂的樣條函數(shù)。我們還可以采用許多不用的基礎(chǔ)函數(shù)，比如說這個 （54）式中，uj決定了基礎(chǔ)函數(shù)在輸入空間當(dāng)中的分布位置，參變量s決定了他們的空間大小。這些通常讓我們聯(lián)想到高斯基礎(chǔ)函數(shù)，盡管需要指出的是他們并不需要概率性的解釋，而且特別地說，由于這些基礎(chǔ)函數(shù)通過自適應(yīng)參變量wj會大量增加，所以歸一化系數(shù)也就顯得不那么重要了。另外一種基礎(chǔ)函數(shù)的形式可以是反曲函數(shù)的 （55）式中，（a）是一個符號邏輯反曲函數(shù)，定義如下 （56）同樣地，由于這個是和符號邏輯反曲函數(shù)tanh（a）=21有關(guān)，所以我們可以使用“tanh”函數(shù)，這樣的話，一個符號邏輯反曲函數(shù)的一般線性組合就等價于一個“tanh”函數(shù)的一般線性組合。這些所有的基礎(chǔ)函數(shù)在圖51當(dāng)中有所顯示。然而，另外一種可行的基礎(chǔ)函數(shù)就是傅里葉基礎(chǔ)函數(shù)，它是正弦函數(shù)簇的延拓。每一個基礎(chǔ)函數(shù)都代表了其特定的頻率和無窮大的空間延拓。相比之下，基礎(chǔ)函數(shù)由不同空間頻率的頻譜圖在輸入空間的有限區(qū)域當(dāng)中獲取定位。在許許多多的信號處理應(yīng)用當(dāng)中，考慮基礎(chǔ)函數(shù)在空間和頻率上的定位是有益可循的，這樣就形成了一簇所謂的小波分析函數(shù)。為了簡化他們的應(yīng)用，他們往往是定義成相互正交的。當(dāng)輸入值是在一個常規(guī)晶格中時，小波分析顯得最適合，比如說一個時間序列當(dāng)中的一些連續(xù)時間點，或者說是一幅圖片當(dāng)中的像素點。圖51基礎(chǔ)函數(shù)舉例：左邊是多項式形式，中間是高斯形式，右邊是反曲形式然而，這一章節(jié)的大多數(shù)討論都是獨立于基礎(chǔ)函數(shù)簇的選取，并且對大多數(shù)的討論而言，我們不需要詳細(xì)說明基礎(chǔ)函數(shù)的特定形式，除非需要做一些數(shù)值顯示的時候。事實上，大多數(shù)我們的談?wù)搶?yīng)用到如下的情景當(dāng)中，基礎(chǔ)函數(shù)的向量僅僅是等于。更進(jìn)一步地說，為了使得符號簡單明了，我們應(yīng)該重點考慮單個目標(biāo)變量t的情形。 極大似然法和最小二乘法正如之前一樣，我們假設(shè)目標(biāo)變量t是由一個確定的函數(shù)y（X,W）和一個附加的高斯噪聲決定的，如下 （57）式中，e均值為零，精度為（方差倒數(shù)）的高斯隨機變量。因此我們可以寫成 （58）如果我們假設(shè)一個平方損失函數(shù)，那么對于給定一個新變量的值，它的最優(yōu)預(yù)測就會由目標(biāo)變量的條件均值所給定。在一個高斯條件分布的情形下，如式子（58），條件均值就可以簡化成 （59）注意到，由于存在高斯噪聲的假設(shè)意味著tX的條件分布是單峰值的，所以也就是意味著對于有一些應(yīng)用可能是不合適的?，F(xiàn)在我們考慮一組輸入數(shù)據(jù)和與之相對應(yīng)的目標(biāo)值。我們把目標(biāo)值{tn}分成一個列向量，我們設(shè)想這些數(shù)據(jù)點從分布（58）中獨立的繪畫出來，我們就得到了如下的似然函數(shù)的表達(dá)式，它具有自適應(yīng)的參變量和，形式如下 （510）式中，我們用到了式子（53）。注意到，在比如回歸（和分類）的有監(jiān)督學(xué)習(xí)的問題中，我們并不是尋找輸入變量的分布模型。因此會常常出現(xiàn)在條件變量當(dāng)中，并且從現(xiàn)在開始，為了保證符號的整潔性，我們停止在諸如此類當(dāng)中的顯式表達(dá)。采用似然函數(shù)的對數(shù)形式，我們得到 （511）式中平方和誤差函數(shù)定義如下 （512）在已經(jīng)有了似然函數(shù)之后，我們可以用極大似然來決定和的值。先考慮的最大化，正如之前說的一樣，我們認(rèn)為線性模型，在條件高斯噪聲分布條件下的極大似然函數(shù)等價于給定的平方和誤差函數(shù)的最小化。似然函數(shù)的對數(shù)形式的梯度形式如下 （513）令這個梯度為零，我們得到 （514）為了解得我們得到 （515）這就是所知的最小二乘法問題的標(biāo)準(zhǔn)式方程。這里Φ是一個N*M型的矩陣，叫做設(shè)計矩陣，矩陣當(dāng)中的元素是 （516）變量 （517）就是所謂的矩陣Φ偽逆矩陣?？梢园阉斫獬煞欠疥嚨姆崔D(zhuǎn)的一般化表示。事實上，如果矩陣Φ是個方陣且可逆，如果利用性質(zhì)我們就可以認(rèn)為。這時候，我們你就可以對偏移參變量有一個更深入的了解。如果我們讓這個偏移參量變成顯式的，那么誤差函數(shù)就變成了： （518）設(shè)置對的倒數(shù)為零并且為了解得，我們得到 （519）式中，我們定義 （520）因此這個偏移量補償了目標(biāo)值的平均值和偏移函數(shù)值的加權(quán)和這兩者之間的區(qū)別。我們還可以對噪聲精確度參變量的似然函數(shù)的對數(shù)形式（511）進(jìn)行最大化，給定 （521）所以我們認(rèn)為噪聲精確度的倒數(shù)是由回歸函數(shù)的目標(biāo)值的參與方差獲得的。圖52 最小二乘法的幾何學(xué)解釋 最小二乘法的幾何解釋就從這一點上講，從幾何學(xué)的角度來解釋最小二乘法的求解是非常具有意義的。在這之前，我們假設(shè)一個坐標(biāo)由的值決定的N維空間，其中是這個空間當(dāng)中的一個向量。每一個由N個數(shù)據(jù)點評估的基礎(chǔ)函數(shù)也可以在相同的空間當(dāng)中表示成一個向量并且命名為，正如圖52所示那樣。注意到，對應(yīng)于矩陣當(dāng)中的第j列，而對應(yīng)于矩陣當(dāng)中的第n行。如果基礎(chǔ)函數(shù)的個數(shù)M小于數(shù)據(jù)點的個數(shù)N，那么這M個向量就會超過這個M維的線性子空間。我們定義一個y是一個N維的向量，它的第n個元素是的值。因為y是一個向量的任意線性組合，所以它可以是M維子空間中的任意一個向量。平方和誤差（512）等于y和t之間的歐式距離的平方。因此w的最小二乘解對應(yīng)于在子空間中找到y(tǒng)使得與t的距離最小。從圖52直觀的可以看到，我們期望的最優(yōu)解是t在子空間上的正交投影。在實際應(yīng)用當(dāng)中，如果是個接近奇異的矩陣，那么直接求解一組標(biāo)準(zhǔn)方程將會變得非常的困難。特別地，如果兩個或兩個以上的基礎(chǔ)向量是共線的，或者幾乎共線，那么產(chǎn)生的參數(shù)值就會有很大的量級。這種產(chǎn)生數(shù)值困難可以通過奇異值分解或是SVD的方法來解決。 規(guī)范化的最小二乘法為了避免過度擬合，我們在一個誤差函數(shù)當(dāng)中引入一個正則項，所以整個誤差函數(shù)又可以表示成如下形式： （522）式中，是一個控制依賴數(shù)據(jù)的誤差的相對重要性的一個標(biāo)準(zhǔn)系數(shù)。一種正則化矩陣的最簡單的形式就是采用權(quán)重向量元素的平方和： （523）如果我們考慮平方和誤差函數(shù)如下： （524）那么整個誤差函數(shù)就變成： （525）這種正則化矩陣的特定選取方式在機器學(xué)習(xí)的相關(guān)文獻(xiàn)當(dāng)中被稱作權(quán)重衰減，因為在序列學(xué)習(xí)算法當(dāng)中，它允許權(quán)重值衰減到零，除非數(shù)據(jù)的特定支持。在統(tǒng)計學(xué)中，它提供了一種參數(shù)收縮的例子，因為它可以把參數(shù)衰減到零。由于誤差函數(shù)保持了的二次函數(shù)，所以它的精確的及消化變量就可以閉式找到。特別地，設(shè)置梯度（527）從w到0并且結(jié)合之前解得的w，我們得到： （526）這就是最小二乘法解（515）的一種簡單延伸。有時候我們需要用到一種更為普遍的正則化矩陣，它的正則化誤差表示如下： （527）式中，q=2對應(yīng)于二次正則化矩陣（527）。圖53顯示了對于不同的q值正則函數(shù)的大概輪廓。圖53 不同q值下的正則函數(shù)輪廓曲線 多個輸出到目前為止，我們已經(jīng)考慮了對于單目標(biāo)變量t的情況。在一些應(yīng)用當(dāng)中，我們可能會遇到目標(biāo)變量數(shù)K大于1的情形。這種情況下，我們可以對每一個t引入一組不同的基函數(shù)，就可以形成多個并且相互獨立的回歸問題。然后，一種更有趣且更為常見的方法是對每一個目標(biāo)變量采用相同的基函數(shù)，所以： （528）式中，y是一個K維的列向量，W是一個M*K的參數(shù)矩陣，是一個由組成的一個M維的列向量，如下： （529）如果我們現(xiàn)有一組觀測值，我們可以把它放入一個大小為N*K的矩陣T當(dāng)中，第n行元素就等于的值。類似地。此時，極大似然函數(shù)的對數(shù)形式就如下：（530）和之前一樣，我們可以最大化這個函數(shù)，如下 （531） 實驗結(jié)果比較分析 回歸模型在實驗中的應(yīng)用如之前章節(jié)介紹的那樣，本文當(dāng)中，我們所討論的是基于學(xué)習(xí)方法，從圖像特征空間（輸入空間）到人體骨架空間（輸出空間）訓(xùn)練得到線性回歸模型，正是運用本章之前介紹的線性回歸模型原理，我們的實驗數(shù)據(jù)滿足Y=WX，（X是輸入空間，即本文當(dāng)中的深度圖像，梯度直方圖和形狀上下文，Y是輸出空間，即本文當(dāng)中的人體骨架模型）。實驗方法就是利用訓(xùn)練輸出樣本（Ytrain）和訓(xùn)練輸入樣本（Xtrain）學(xué)習(xí)得到W的值，然后用這個訓(xùn)練得到的W值和測試輸入樣本值（Xtest）代入到線性回歸方程當(dāng)中得到一個新的計算輸出值（Ycal）值，實驗誤差就是Ycal和Ytest（每個輸入測試樣本也一一對應(yīng)一個輸出測試樣本）的差值，差值越小，說明我們得到的估計效果越好。 不同實驗誤差的比較分析如第二章，第三章，第四章所介紹的那樣，本次實驗我們采取了三個不同的圖像特征作為輸入空間，分別是深度信息，梯度直方圖和形狀上下文。本次實驗中我們隨機選取了一個動作（高抬揮手），由十個不同人分別各自做3次，其中總共包含圖像幀數(shù)為1205,即1205組數(shù)據(jù)。實驗思路是，在對同一個輸入空間，即選定一個圖像特征的時候，把1205組數(shù)據(jù)分成訓(xùn)練樣本和測試樣本兩個部分，當(dāng)分別測試訓(xùn)練樣本占50%，60%，70%，80%，90%的時候（剩下的數(shù)據(jù)作測試樣本）的實驗誤差，為了保證每次實驗的誤差具有代表性，能夠代表總體性質(zhì)，我們