【正文】 趨于極值的優(yōu)化算法 ， 不同的算法有不同的準則函數(shù) 。 r1111( ) ( 0)()Tnnnng x W x w w xWgxrqWWWqW????? ? ? ?? ? ? ???因 為 因 原 點成正比的距離與原點到 11 ??? nn WH,WWq?性質③： q2X1X0H?性質④： 通過原點。 ? W是此空間的加權向量，它決定模式的分界面 H， W與 H正交。 ?對于第一種情況，每個判別函數(shù)都要把一種類別（比如 i類）的模式與其余 M1種類別的模式劃分開，而不是僅將一類與另一類劃分開。 都為不確 定區(qū)域。 當 n=3時，判別邊界為一平面。 當 n=2時，二維情況的判別邊界為一直線。 IR1， IR2，IR3， IR4。 ?對于 M（ M≥2）類模式分類，第一、三種情況需要M個判別函數(shù)，第兩種情況需要 M(M1)/2個判別函數(shù)。 線性判別函數(shù)的性質 一、模式空間與加權空間： ? 模式空間：由 構成的 n維歐氏空間 。在因為?這是超平面的第二個性質，矢量 x到超平面的正交投影 正比與 g(x)的函數(shù)值。 求解時： ① 只有對線性可分的問題 ， g(x) =WTX才有解 ② 聯(lián)立方程的解是非單值 ， 在不同條件下 ， 有不同的解 ， 所以就產(chǎn)生了 求最優(yōu)解的問題 ③ 求解 W的過程就是訓練的過程 。理想情況為 ，即求 最小值 的問題。若適當選擇 W的方向，可以使二類分開。 3. 用感知器算法求下列模式分類的解向量 w： 設 W(1)=(1,2,2,0)，繪出其判別面。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi 選取合適的 b，只要計算出 X+就可以得到 W。 21若令 W=Wk+1上式為 J(Wk+1)=J(Wk)+▽ JT(Wk+1Wk)+(Wk+1Wk)TD(Wk+1Wk)T/2 對 Wk+1求導 ， 并令導數(shù)為零可得： 最佳迭代公式： Wk+1= Wk D1▽ J —牛頓法的迭代公式 D1是 D的逆陣 討論： 牛頓法比梯度法收斂的更快 ， 但是 D的計算量大并且要計算 D1。 J必須滿足： a) J是樣本集 X和 、 的函數(shù)； b) J的值反映分類器的性能，其極值解對應于“最好”的決策。即 Ω1,Ω2空間，當x在 Ω1空間時 g(x)0,W指向 Ω1，為H的正側，反之為 H的負側。實際上，一般 r只取 2。 假設判別函數(shù)為： 則判別邊界為： ?????????????23212211)(1)()(xxgxxxgxxxg????????????????????012)()(02)()(012)()(21322131121xxxgxgxxxgxgxxgxg2?)()( 21 xgxg ?)()( 32 xgxg ?)()( 31 xgxg ?1?3?結論： 不確定區(qū)間沒有了，所以這種是最好情況 。 3?????????0)(0)(0)(321xgxgxg1?2? ????????000321)x(g)x(g)x(g????????0)(0)(0)(321xgxgxg? ?????4IR 3IR1IR2IR1x2x0)(1 ?xg0)(2 ?xg0)(3 ?xg551必須指出，如果某個 X使二個以上的判別函數(shù) gi(x) 0 。 線性判別函數(shù) 我們現(xiàn)在對兩類問題和多類問題分別進行討論。 這種情況， M類可有 M個判別函數(shù)，且具有以下性質： 權向量。 判別函數(shù)： 判別邊界： 判別條件： jixg ij ????????????jix0x0)( 當當?shù)诙N情況： XW)x(g Tijij ?o)x(g ij ?每個模式類和其它模式類間可 分別 用判別平面分開，一個判別界面只能分開兩個類別，不一定能把其余所有的類別分開；這種情況可理解為 二分法。 ?基本思想 設一模式集 {x}，在模式空間 x中線性不可分，但在模式空間x*中線性可分，其中 x*的各個分量是 x的單值實函數(shù)， x*的維數(shù) k高于 x的維數(shù) n，即 x* = (f1(x), f2(x), …., f k(x)), kn 則分類界面在 x*空間是線性的，在 x空間是非線性的，此時只要將模式 x進行非線性變換，使之變換后得到維數(shù)更高的模式 x*，就可用線性判別函數(shù)進行分類。 TW ),( 321?32211)( wxwxwxg ???? 在三維空間里，令 w3 = 0，則為 二維權空間 。在 的 正 側 ， 否 則 ， 反 之 。 解決此類問題的方法是梯度下降法 。對正確分類的模式則“賞”（此處用“不罰”，即權向量W不變）；對錯誤分類的模式則“罰”，使 W加上一個正比于錯誤模式樣本 X的分量。 ? ?1 12() wJ W W x xS ???對 求 極 值 得WSWWSW)(wTbT?WJ所以其中 Sw為類內(nèi)散布矩陣 , Sb為類間散布矩陣 現(xiàn)在我們已把一個 n維的問題轉化為一維的問題 。 W0的選擇 ： ??2010????????XWXWYXWXWYTT1201 . 2yyW ??1 2 1 212 1201 2 1 22 . TTNN NNyy WWxxWN N N N? ????? yki表示第 i類中第 k個樣本的投影值 N1為 ω1樣本數(shù) ， N2為 ω2樣本數(shù) 當 W0選定后 ， 對任一樣本 X， 只要判斷 Y=WTXW0 則 X∈ ω1。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ?感知器算法只對線性可分樣本有收斂的解 ,對非線性可分樣本集會造成訓練過程的振蕩 ,這是它的缺點。 這樣一步步迭代 就可以收斂于解矢量 ， 步長 ρk取值很重要 。 線性分類器的設計 上面我們討論了線性判別函數(shù)形式為 :g(x)=WTX 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn , Wn+1) n維權向量 ?通常通過特征抽取可以獲得 n維特征向量 ， 因此 n維權向量是要按某種準則 （ 準則函數(shù) ） 求解的 。 ? 解向量的變動范圍稱為解區(qū)。 ?廣義線性判別函數(shù)的意義 ?線性的判別函數(shù) ：若 fi(x)=ax+b是一次函數(shù)，這相當于把 x空間進行了尺度放縮和平移，并且在相同的尺度因子和位移因子上做變換，那么變換后仍然具有相似的線性特征。 1)(,1)(,2)( 231312 ?????? xgxgxg1)(,1)(,2)( 323121 ??? xgxgxg0)(3 ?xg j2212300gg???判 別 區(qū)1121300gg???判 別 區(qū)0)(12 ?xg?0)(23 ?xg0)(13 ?xg?????5530032313??gg判別區(qū)?1x2x第三種情況： 判別函數(shù)： 判別規(guī)則： 判別邊界： gi(x) =gj(x) 或 gi(x) gj(x) =0 就是說，要判別模式 X屬于那一類，先把 X代入 M個判別函數(shù)中，判別函數(shù)最大的那個類別就是 X所屬類別。 ii ?? 下圖所示，每一類別可用單個判別邊界與其它類別相分開 。 167。 2?1x?????? 0)(2 ?xg0)(3 ?xg2x0)(1 ?xg1?3???????????????1)(5)()(23212211xxgxxxgxxxg例：已知三類 ω1,ω2,ω3的判別函數(shù)分別為： 因此，三個判別邊界為： ?????????????????01)(05)(0)(23212211xxgxxxgxxxg作圖如下： 3?????????0)(0)(0)(3