【文章內(nèi)容簡介】 ? 加權(quán)空間：以 為 變量構(gòu)成的歐氏空間 ? 模式空間與加權(quán)空間的幾何表示如下圖： XWxg Ti?)(TnxxxxX ), . . .,( 321?121 ,..., ?n模式空間 2X1X1?2?1x3x4x0)( ?xg邊界? ?2xHW?該式表示一個通過加權(quán)空間原點的平面，比如同樣令 g (x2) =g (x3) =g (x4)=0，可分別作出通過加權(quán)空間原點的其他平面。 加權(quán)空間構(gòu)造為： 設(shè) 是加權(quán)空間分界面上的一點，代入上式得： 這是加權(quán)空間的邊界,0)(31221111 ???? wxwxwxgTxxx ),( 12111 ?23422411332231100 ??????????wxwxwwxwxw13222211312211100 ??????????wxwxwwxwxw243121,????xxxx設(shè)：12( ) 0 xgx x ???? ??最 終 形 成 凸 多 面 錐?這是一個不等式方程組，它的解 處于由ω 1類所有模式?jīng)Q定的平面的正邊和由 ω 2類所有模式?jīng)Q定的平面的負邊，它的解區(qū)即為凸多面錐。 ?加權(quán)空間的性質(zhì)：加權(quán)空間的所有分界面都通過坐標原點。 TW ),( 321?32211)( wxwxwxg ???? 在三維空間里，令 w3 = 0，則為 二維權(quán)空間 。如圖： ? 給定一個模式 X，就決定一條直線： ? 即分界面 H， W與 H正交， W稱為解向量。 ? 解向量的變動范圍稱為解區(qū)。 ? 因 x1,x2∈ ω1， x3,x4∈ ω2由圖可見 x1,x3離的最近，所以 分界面 H可以是 x1,x3之間的任一直線，由垂直于這些直線的 W就構(gòu)成解區(qū)，解區(qū)為一扇形平面，即陰影區(qū)域。 ? 如右圖 : 二、解向量和解區(qū) 0)( ?? XWxg T1w2w1x4x3x2x解區(qū)W解向量解向量與解區(qū)分解面 H 把不等式方程正規(guī)化： 正規(guī)化： ?????????????????????00003422411332231132222113122111wxwxwwxwxwwxwxwwxwxw),...,(0)(121 ????nnTiwWXWxg1w2w1x4x3x2x解區(qū)解向量3x?4x?正規(guī)化H分界面 樣本的正規(guī)化，令： 1j2 , ,iinjXXXXX?????? ?? ????對 所 有對 所 有由此可見，可以不管樣本原來的類別標識，只要找到一個對全部樣本 都滿足 的權(quán)向量即可， 叫做正規(guī)化增廣樣本向量。 nX? 0T nWX ? ? nX?? g(x)=WTX=0決定一個決策界面 ，當 g(x)為線性時，該決策界面便是一個超平面 H，并有以下性質(zhì)： ? 性質(zhì) ①： W與 H正交（如圖所示） 假設(shè) x1,x2是 H上的兩個向量 所以 W 與 (x1x2) 垂直，即 W與 H正交。 一般說，超平面 H把特征空間分成兩個半空間。即 Ω1,Ω2空間，當x在 Ω1空間時 g(x)0,W指向 Ω1，為H的正側(cè)，反之為 H的負側(cè)。 上矢量一定在 HxxxxWwxWwxWTnTnT)(,0)(021211211???????? ??三、超平面的幾何性質(zhì) 1x2X1X2xWHΩ1 Ω2 g(x)0 g(x)0 矢量到 H的正交投影 與 值成正比 其中： x p是 x在 H 的投影向量， r是 x 到 H 的垂直距離。 是 W方向的單位向量。 ()gxrW??性質(zhì) ②： WWrxrxxpp ????)(xgx rWW q2X1XpxWxHpr?另一方面 : 11 )()( ?? ????? npTnT wrxWwxWxg1???? nTpT wrWxW)(,)()()(021WWWrWxgrWrWWWrWWrWrWxgwxWHpTTTTnpT????????????是投影的絕對值上。在因為?這是超平面的第二個性質(zhì)，矢量 x到超平面的正交投影 正比與 g(x)的函數(shù)值。 r1111( ) ( 0)()Tnnnng x W x w w xWgxrqWWWqW????? ? ? ?? ? ? ???因 為 因 原 點成正比的距離與原點到 11 ??? nn WH,WWq?性質(zhì)③： q2X1X0H?性質(zhì)④： 通過原點。，說明超平面則若在原點負側(cè)。則在原點正側(cè)，若則若HxWxgWHWHWTnnn???????)(,0,0,01111()( ) ( )( ) 0 ,na H W Wb H Wc g x x Hx H g x??結(jié) 論 ：（ ） 超 平 面 的 平 面 與 正 交 ， 方 向 由 決 定超 平 面 的 位 置 由 來 決 定 。正 比 于 到 的 代 數(shù) 距 離 。在 的 正 側(cè) ， 否 則 ， 反 之 。 167。 線性分類器的設(shè)計 上面我們討論了線性判別函數(shù)形式為 :g(x)=WTX 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn , Wn+1) n維權(quán)向量 ?通常通過特征抽取可以獲得 n維特征向量 ， 因此 n維權(quán)向量是要按某種準則 （ 準則函數(shù) ） 求解的 。 ?求解權(quán)向量的過程就是分類器的訓練過程 ， 使用已知類別的有限學習樣本來獲得分類器的權(quán)向量被稱為 有監(jiān)督的分類 。 ???????0)(,0)(,21xgxxgx??分類準則?設(shè)計線性分類器的主要步驟： ?(1)收集一組具有類別標識的樣本 。若把每個樣本看成確定的觀測值，則這組樣本稱為確定性樣本集；若把每個樣本看成隨機變量，則這組樣本稱為隨機樣本集。 ?(2)根據(jù)實際情況確定一個準則函數(shù) J。 J必須滿足： a) J是樣本集 X和 、 的函數(shù)； b) J的值反映分類器的性能，其極值解對應于“最好”的決策。 ?(3)用最優(yōu)化技術(shù)求出準則函數(shù)的極值解 。 ? ?NXXX , 21 ?*W1nW?W*1nW?權(quán)向量的訓練過程： 利用已知類別學習樣本來獲得權(quán)向量的訓練過程如下： 已知 x1 ∈ ω1, 通過檢測調(diào)整權(quán)向量，最終使 x1 ∈ ω1 已知 x2 ∈ ω2, 通過檢測調(diào)整權(quán)向量，最終使 x2 ∈ ω2 這樣就可以通過有限的樣本去決定權(quán)向量。 0 x∈ ω1 0 x∈ ω2 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ 檢測 (已知類別 ) W1 X1 W2 X2 Wn Xn Wn+1 g(x)=wTx ??? WW 1利用方程組來求解權(quán)向量 對二類判別函數(shù) g(x) = W1X1+ W2X2 +W3 已知訓練集： Xa, Xb, Xc, Xd且 當 (Xa, Xb) ∈W 1時 g(x)＞ 0 當 (Xc, Xd) ∈W 2時 g(x)＜ 0 設(shè) Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判別函數(shù)可聯(lián)立成： X1aW1+ X2aW2+ W3＞ 0 ① X1bW1+ X2bW2+ W3＞ 0 ② X1cW1+ X2cW2+ W3＜ 0 ③ X1dW1+ X2dW2+ W3＜ 0 ④ 求出 W1 , W2, W3 將③ ④式正規(guī)化，得 X1cW1 X2cW2 W3 0 X1dW1 X2dW2 W3 0 所以 g(x) =WTX 0 其中 W = (W1 , W2, W3)T 為各模式增 1矩陣 為 N*(n+1） 矩陣 N為樣本數(shù) ， n為特征數(shù) ???????????????????1111