【正文】 –1 3 0 0 –1 3 0 4 三 、最小平方誤差準則 非迭代法 前面我們討論的線性分類器訓練方法，其共同點是企圖找一個權向量 W，使錯分樣本最小。 現(xiàn)在我們把不等式組變成如下形式： WTXi=bi0 則有聯(lián)立方程 XW=b 這是矛盾方程組 ， 方程數(shù)大于未知 數(shù) ， 所以沒有精確解的存在 。 ??????????????????????????NnNNnN XXXXXXXXXXX......................... . . .. . . . .21211121121? ?N ... .. 2,1, XXX TX ?令? ? 給定的任意正常數(shù)N .... . 2,1, bbb Tb ?每個樣本有 n個特征 定義誤差向量： e=XWb≠0 把平方誤差作為目標函數(shù) W的優(yōu)化就是使 J(W)最小 。 于是 ， 求 J(W)的梯度并令其為 0， 即 解上方程得 XTXW=XTb 這樣把求解 XW=b的問題 ， 轉化為對 XTXW=XTb求解 ， 這 樣最大好處是：因 XTX是方陣且通常是非奇異的 ， 所以可 以得到 W的唯一解 。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi 選取合適的 b，只要計算出 X+就可以得到 W。 若取 b： 此時，最小平方誤差法同 Fisher法是一致（見邊肇祺書 102頁）。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱為其中 XXXX TX T? ?? 1?????????????????????221.... ..... .1/. . . . . .///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個， N/N2有 N2個 四、 Fisher分類準則 現(xiàn)在討論通過 映射投影來降低 維數(shù)的方法。 X空間 X=WTXW0 0 X∈ ω1 X=WTXW0 0 X∈ ω2 映射 Y空間 Y=WTXW0 0 X∈ ω1 Y=WTXW0 0 X∈ ω2 把 X空間各點投影到 Y空間得一直線上，維數(shù)由 2維降為一 維。若適當選擇 W的方向，可以使二類分開。下面我們從 數(shù)學上尋找最好的投影方向，即尋找最好的變換向量 W的 問題 ——Fisher法解決的基本問題 。 w(y) w y1 y2 x2 x1 ω1 ω2 投影樣本之間的分離性用投影樣本之差表示： 投影樣本類內(nèi)離散度 : TT11 WWYXiy iii iiY y x xNNyx? ? ?????在 空 間 的 投 影 均 值1iii xXXx x N?? ?在 空 間 的 均 值 ：11 WY XT?? 22 WY XT?類間分離性越大越好|)(||| 2121 XXWYY T ???? ? ? ? 222 WWi T ii iiiTT WWSxyy xy Y x X? ? ? ???????WSW T 121 ?? WSW T 222 ??i=1,2 i=1,2 ? ?? ? Tii iiS x x xxxX?? ???其 中? ? ? ?1 1 11TS x x x xxX? ? ???? ?2122212() ||YYF is h e r J W?????所 以 , 準 則 函 數(shù) 有? ? ? ? 22 1212() T bTTJ W x x W S Wyy WW? ? ??的 分 子? ? ? ?1 2 1 2 TbS x x x x? ? ?其 中WSWWSWWSWWJ wTTT ???? 212 21 2)( ??的分母小越好。投影樣本的總離散度越）來表示，要求用（投影樣本總的離散度可 2 21 2 ?? ?類間散布矩陣 12wS S S??其 中? ? ? ?2 2 22TS x x x xxX? ? ??? 上式稱為廣義 Rayleigh商，其極值可用 Lagrange乘 子法求解（具體求解過程，參見邊肇祺書 89頁）。 其極值解是 n維 x空間向一維 y空間 的最好投影方 向，它實際是多維空間向一維空間的一種映射。 ? ?1 12() wJ W W x xS ???對 求 極 值 得WSWWSW)(wTbT?WJ所以其中 Sw為類內(nèi)散布矩陣 , Sb為類間散布矩陣 現(xiàn)在我們已把一個 n維的問題轉化為一維的問題 。 在該一 維空間設計 Fisher分類器 : 因此 ， 此時只要確定一個合適的閾值 W0， 將投影點 y與 W0比較即可進行分類決策 。 W0的選擇 ： ??2010????????XWXWYXWXWYTT1201 . 2yyW ??1 2 1 212 1201 2 1 22 . TTNN NNyy WWxxWN N N N? ????? yki表示第 i類中第 k個樣本的投影值 N1為 ω1樣本數(shù) ， N2為 ω2樣本數(shù) 當 W0選定后 ， 對任一樣本 X， 只要判斷 Y=WTXW0 則 X∈ ω1。 Y=WTXW0， 則 X∈ ω2。 于是 ， 分類問題就解決了 。 ? ?? ? ? ?111 2 1121221102212113 . ( ) kkkkkkNy yy y yWNNyy yy????? ? ?? ? ????作業(yè) 1. 對于二維線性判別函數(shù)： (1)將判別函數(shù)寫成 的形式，并畫出 的幾何圖像； (2)映射成廣義齊次線性判別函數(shù) ； (3)指出上述 X空間實際是 Y空間的一個子空間，且 對 X子空間的劃分與原空間中 對原空間的 劃分相同，并在圖上表示出來。 2. 一個三類問題，其判別函數(shù)為： (1) 設這些函數(shù)是在多類情況 1條件下確定的，繪出其判別界面和每一個模式類別的區(qū)域； ? ? 22 21 ??? xxxg? ? 0g x w???wx? ? 0gx ?? ?gx ?? ay0? ?ay0 0w? ??wx? ? ? ? ? ?1 1 2 1 2 3 1 2, 1 , 1g x x g x x x g x x x? ? ? ? ? ? ? ?(2)設為多類情況 2，并使 繪出其判別界面和多類情況 2的區(qū)域； (3)設 是在多類情況 3的條件下確定的，繪 出其判別界面和每類的區(qū)域。 3. 用感知器算法求下列模式分類的解向量 w： 設 W(1)=(1,2,2,0)，繪出其判別面。 4. 試指出在 Fisher線性判別中， W的比例因子對Fisher判別結果無影響的原因。 ? ? ? ? ? ? ? ? ? ? ? ?1 2 1 1 3 2 2 3 3,g x g x g x g x x g x? ? ?? ? ? ? ? ?1 2 3,g x g x g x? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ?12: 0 , 0 , 0 , 1 , 0 , 0 , 1 , 0 , 1 , 1 , 1 , 0: 0 , 0 , 1 , 0 , 1 , 1 , 0 , 1 , 0 , 1 , 1 , 1??