【正文】 +1) n維權向量 ?通常通過特征抽取可以獲得 n維特征向量 ， 因此 n維權向量是要按某種準則 （ 準則函數(shù) ） 求解的 。在 的 正 側(cè) ， 否 則 ， 反 之 。則在原點正側(cè)，若則若HxWxgWHWHWTnnn???????)(,0,0,01111()( ) ( )( ) 0 ,na H W Wb H Wc g x x Hx H g x??結(jié) 論 ：（ ） 超 平 面 的 平 面 與 正 交 ， 方 向 由 決 定超 平 面 的 位 置 由 來 決 定 。 r1111( ) ( 0)()Tnnnng x W x w w xWgxrqWWWqW????? ? ? ?? ? ? ???因 為 因 原 點成正比的距離與原點到 11 ??? nn WH,WWq?性質(zhì)③： q2X1X0H?性質(zhì)④： 通過原點。 ()gxrW??性質(zhì) ②： WWrxrxxpp ????)(xgx rWW q2X1XpxWxHpr?另一方面 : 11 )()( ?? ????? npTnT wrxWwxWxg1???? nTpT wrWxW)(,)()()(021WWWrWxgrWrWWWrWWrWrWxgwxWHpTTTTnpT????????????是投影的絕對值上。 上矢量一定在 HxxxxWwxWwxWTnTnT)(,0)(021211211???????? ??三、超平面的幾何性質(zhì) 1x2X1X2xWHΩ1 Ω2 g(x)0 g(x)0 矢量到 H的正交投影 與 值成正比 其中： x p是 x在 H 的投影向量， r是 x 到 H 的垂直距離。 一般說，超平面 H把特征空間分成兩個半空間。 ? 如右圖 : 二、解向量和解區(qū) 0)( ?? XWxg T1w2w1x4x3x2x解區(qū)W解向量解向量與解區(qū)分解面 H 把不等式方程正規(guī)化： 正規(guī)化： ?????????????????????00003422411332231132222113122111wxwxwwxwxwwxwxwwxwxw),...,(0)(121 ????nnTiwWXWxg1w2w1x4x3x2x解區(qū)解向量3x?4x?正規(guī)化H分界面 樣本的正規(guī)化，令： 1j2 , ,iinjXXXXX?????? ?? ????對 所 有對 所 有由此可見，可以不管樣本原來的類別標識，只要找到一個對全部樣本 都滿足 的權向量即可， 叫做正規(guī)化增廣樣本向量。 ? 解向量的變動范圍稱為解區(qū)。 TW ),( 321?32211)( wxwxwxg ???? 在三維空間里，令 w3 = 0，則為 二維權空間 。 加權空間構造為： 設 是加權空間分界面上的一點，代入上式得： 這是加權空間的邊界,0)(31221111 ???? wxwxwxgTxxx ),( 12111 ?23422411332231100 ??????????wxwxwwxwxw13222211312211100 ??????????wxwxwwxwxw243121,????xxxx設：12( ) 0 xgx x ???? ??最 終 形 成 凸 多 面 錐?這是一個不等式方程組，它的解 處于由ω 1類所有模式?jīng)Q定的平面的正邊和由 ω 2類所有模式?jīng)Q定的平面的負邊，它的解區(qū)即為凸多面錐。 ? W是此空間的加權向量，它決定模式的分界面 H， W與 H正交。 ? ?!!!rnrnCN rrnw????? ? cxxxxg ????? bA167。 (2)采用二次多項式函數(shù) fi(x)的判別函數(shù)也可用矩陣形式表示： 式中， A為實對稱矩陣。,2,1,21212211???rrspspspisssnpppxxxxf rr???? 其中于是，判別函數(shù) g(x)可按如下遞推： ? ? ? ?0 1ng x w ??? ? ? ? ? ? ? ?11110npppg x w x g x???? ? ? ? ? ? ? ?1 2 1 21 2 121nnp p p pp p pg x w x x g x?????? ? ? ?? ? ? ?1 2 1 21 2 1 121 rrrrn n np p p p p pp p p p prg x w x x xgx??????? ? ?討論： (1) g(x)的總項數(shù)為： 顯然， Nw隨 r和 n的增加會迅速增大，即使原來模式 x的維數(shù)不高，若采用次數(shù) r較高的多項式來變換，也會使變換后的模式 x*的維數(shù)很高，給分類帶來很大困難（稱為 維數(shù)災難 ）。 x*的各分量的一般式為 ? ? 12 12, , 1 , 2 , , 。 ?廣義線性判別函數(shù)的意義 ?線性的判別函數(shù) ：若 fi(x)=ax+b是一次函數(shù)，這相當于把 x空間進行了尺度放縮和平移，并且在相同的尺度因子和位移因子上做變換，那么變換后仍然具有相似的線性特征。 ?基本思想 設一模式集 {x}，在模式空間 x中線性不可分，但在模式空間x*中線性可分，其中 x*的各個分量是 x的單值實函數(shù)， x*的維數(shù) k高于 x的維數(shù) n，即 x* = (f1(x), f2(x), …., f k(x)), kn 則分類界面在 x*空間是線性的，在 x空間是非線性的，此時只要將模式 x進行非線性變換，使之變換后得到維數(shù)更高的模式 x*，就可用線性判別函數(shù)進行分類。 167。 ?對于第一種情況，每個判別函數(shù)都要把一種類別（比如 i類）的模式與其余 M1種類別的模式劃分開，而不是僅將一類與另一類劃分開。 2?)()(),()( 1232 xgxgxgxg ??1)(,1)(,0)( 321 ???? xgxgxg).(),(),( 321 xgxgxg1??????)()()()(3121xgxgxgxg2??????)()()()(3212xgxgxgxg?????)()()()(1323 xgxg xgxg3?0)()( 32 ?? xgxg????? ?0)()( 21 ?? xgxg0)()( 31 ?? xgxg關于線性判別函數(shù)的結(jié)論： ?模式類別若可用任一線性判別函數(shù)來劃分，這些模式就稱為線性可分；一旦線性判別函數(shù)的參數(shù)確定，這些函數(shù)即可作為模式分類的基礎。 用上列方程組作圖如下： 1??????)()()()(3121xgxgxgxg2??????)()()()(3212xgxgxgxg?????)()()()(1323xgxgxgxg3?0)()( 32 ?? xgxg??????0)()( 21 ?? xgxg0)()( 31 ?? xgxg問假設未知模式 x= (x1,x2)T= (1,1)T ，則 x屬于那一類。對于 ω 1類模式， 必然滿足 g1(x) g2(x) 和 g1(x) g3(x) 。 XWxg Kk ?)( MK , . . . ,2,1???? ??小，其它最大，當 iTkixXWxg ?)(每類都 有一個判別函數(shù) ,存在 M個判別函數(shù)，這種情況可理解為無不確定區(qū)的 二分法。 1)(,1)(,2)( 231312 ?????? xgxgxg1)(,1)(,2)( 323121 ??? xgxgxg0)(3 ?xg j2212300gg???判 別 區(qū)1121300gg???判 別 區(qū)0)(12 ?xg?0)(23 ?xg0)(13 ?xg?????5530032313??gg判別區(qū)?1x2x第三種情況： 判別函數(shù)： 判別規(guī)則：