1672-1、判別函數(shù)1672-2、線性判別函數(shù)1672-3、線性判別函數(shù)的(編輯修改稿)
2024-11-22 21:42 本頁面
【文章內(nèi)容簡介】 211312211100 ??????????wxwxwwxwxw243121,????xxxx設(shè)：最終形成圖多面錐210)(??????xxxg?32211)( wxwxwxg ???2020/11/23 26 這是一個不等式方程組，它的解 處于由 ω 1類所有模式?jīng)Q定的平面的正邊和由 ω 2類所有模式?jīng)Q定的平面的負邊，它的解區(qū)即為凸多面錐。 如圖所示： (b)為加權(quán)空間，（ c） 為正規(guī)化后的加權(quán)空間。 由上可以得到結(jié)論：加權(quán)空間的所有分界面都通過坐標(biāo)原點。這是加權(quán)空間的性質(zhì)。 為了更清楚，下面用二維權(quán)空間來表示解向量和解區(qū)。 TW ),( 321?2020/11/23 27 加權(quán)空間判別界面2020/11/23 28 正規(guī)化后的加權(quán)空間 2020/11/23 29 ? 在三維空間里，令 w3 = 0 則為二維權(quán)空間。如圖： ? 給定一個模式 X， 就決定一條直線： ? 即分界面 H， W與 H正交， W稱為解向量。 ? 解向量的變動范圍稱為解區(qū)。 ? 因 x1,x2∈ ω1， x3,x4∈ ω2由圖可見 x1,x3離的最近，所以 分界面 H可以是x1,x3之間的任一直線，由垂直于這些直線的 W就構(gòu)成解區(qū)，解區(qū)為一扇形平面，即陰影區(qū)域。 ? 如右圖 : 解向量和解區(qū) 0)( ?? XWxg T1w2w1x4x3x2x解區(qū)W解向量解向量與解區(qū)分界面 2020/11/23 30 把不等式方程正規(guī)化： 正規(guī)化： ?????????????????????00003422411332231132222113122111wxwxwwxwxwwxwxwwxwxw1 2 1( ) 0( , , . . . , , )Tnng x W XW w w w w ????2020/11/23 31 g(x)=WTX=0決定一個決策界面 ， 當(dāng) g(x)為線性時，這個決策界面便是一個超平面 H， 并有以下性質(zhì)： 性質(zhì) ①： W與 H正交（如下圖所示） 假設(shè) x1,x2是 H上的兩個向量 所以 W 與 (x1x2) 垂直，即 W與 H正交。 一般說，超平面 H把特征空間分成兩個半空間。即 Ω1,Ω2空間，當(dāng) x在 Ω1空間時 g(x)0,W指向 Ω1，為 H的正側(cè)，反之為 H的負側(cè) . 上矢量一定在 HxxxxWwxWwxWTnTnT)(,0)(021211211???????? ??超平面的幾何性質(zhì) 2020/11/23 32 1x2X1X2xWHΩ1 Ω2 g(x)0 g(x)0 2020/11/23 33 矢量到 H的正交投影 與 值成正比 其中： x p： x在 H 的投影向量 ， r是 x 到 H 的垂直距離。 是 W方向的單位向量。 W)x(gr ? 性質(zhì) ②： WWrxrxxpp ????)(xgx rWWq2X1XpxWxHpr2020/11/23 34 另一方面 : 11 )()( ?? ????? npTnT wrxWwxWxg1???? nTpT wrWxW)(,)()()(021WWWrWxgrWrWWWrWWrWrWxgwxWHpTTTTnpT????????????是投影的絕對值上。在因為 這是超平面的第二個性質(zhì)，矢量 x到超平面的正交投影 正比與 g(x)的函數(shù)值． r2020/11/23 35 WWqqrHxxqWWWxgrxwwxWxgnnnnT11110)()0()(????????????????的投影為到時因因原點因為成正比的距離與原點到 11 ??? nn WH,WWq性質(zhì)③： q2X1X0H2020/11/23 36 性質(zhì)④： 通過原點。，說明超平面則若在原點負側(cè)。則在原點正側(cè)，若則若HxWxgWHWHWTnnn???????)(,0,0,0111否則，反之。的正側(cè)，在代數(shù)距離。到正比于來決定。的位置由超平面決定正交，方向由的平面與）超平面（結(jié)論：,0)()()()(1??xgHxHxxgcWHbWWHan2020/11/23 37 一組模式樣本不一定是線性可分的，所以需要研究線性分類能力的方法，對任何容量為 N的樣本集，線性可分的概率多大呢？ （如下圖（ a）， 線性不可分） 例： 4個樣本有幾種分法。 圖（ b）① 直線把 x1分開，每條直線可把 4個樣本分成ω 1 ω 2 類， 4個樣本分成二類的總的可能的分法為24=16類，其中有二種是不能用線性分類實現(xiàn)的，線性可分的是 14。即概率為 14/16。 4．二分法能力 （ a） x1 x2 x3 x4 ① ⑥ ③ ② ④ ⑤ ⑦ （ b） 2020/11/23 38 結(jié)論： N個樣品線性可分數(shù)目 (條件：樣本分布良好）： 為特征數(shù)為樣本數(shù)其中 nNkNk NC kN ,])!1(
鄂ICP備17016276號-1