【正文】 )()()()(1323 xgxg xgxg3?0)()( 32 ?? xgxg????? ?0)()( 21 ?? xgxg0)()( 31 ?? xgxg關(guān)于線性判別函數(shù)的結(jié)論： ?模式類(lèi)別若可用任一線性判別函數(shù)來(lái)劃分，這些模式就稱(chēng)為線性可分；一旦線性判別函數(shù)的參數(shù)確定，這些函數(shù)即可作為模式分類(lèi)的基礎(chǔ)。 ?廣義線性判別函數(shù)的意義 ?線性的判別函數(shù) ：若 fi(x)=ax+b是一次函數(shù)，這相當(dāng)于把 x空間進(jìn)行了尺度放縮和平移，并且在相同的尺度因子和位移因子上做變換，那么變換后仍然具有相似的線性特征。 ? ?!!!rnrnCN rrnw????? ? cxxxxg ????? bA167。 ? 解向量的變動(dòng)范圍稱(chēng)為解區(qū)。 ()gxrW??性質(zhì) ②： WWrxrxxpp ????)(xgx rWW q2X1XpxWxHpr?另一方面 : 11 )()( ?? ????? npTnT wrxWwxWxg1???? nTpT wrWxW)(,)()()(021WWWrWxgrWrWWWrWWrWrWxgwxWHpTTTTnpT????????????是投影的絕對(duì)值上。 線性分類(lèi)器的設(shè)計(jì) 上面我們討論了線性判別函數(shù)形式為 :g(x)=WTX 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn , Wn+1) n維權(quán)向量 ?通常通過(guò)特征抽取可以獲得 n維特征向量 ， 因此 n維權(quán)向量是要按某種準(zhǔn)則 （ 準(zhǔn)則函數(shù) ） 求解的 。 0 x∈ ω1 0 x∈ ω2 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ 檢測(cè) (已知類(lèi)別 ) W1 X1 W2 X2 Wn Xn Wn+1 g(x)=wTx ??? WW 1利用方程組來(lái)求解權(quán)向量 對(duì)二類(lèi)判別函數(shù) g(x) = W1X1+ W2X2 +W3 已知訓(xùn)練集： Xa, Xb, Xc, Xd且 當(dāng) (Xa, Xb) ∈W 1時(shí) g(x)＞ 0 當(dāng) (Xc, Xd) ∈W 2時(shí) g(x)＜ 0 設(shè) Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判別函數(shù)可聯(lián)立成： X1aW1+ X2aW2+ W3＞ 0 ① X1bW1+ X2bW2+ W3＞ 0 ② X1cW1+ X2cW2+ W3＜ 0 ③ X1dW1+ X2dW2+ W3＜ 0 ④ 求出 W1 , W2, W3 將③ ④式正規(guī)化，得 X1cW1 X2cW2 W3 0 X1dW1 X2dW2 W3 0 所以 g(x) =WTX 0 其中 W = (W1 , W2, W3)T 為各模式增 1矩陣 為 N*(n+1） 矩陣 N為樣本數(shù) ， n為特征數(shù) ???????????????????111121212121ddccbbaaXXXXXXXXX 由此可見(jiàn) ：訓(xùn)練過(guò)程就是對(duì)已知類(lèi)別的樣本集求解權(quán)向量 Ｗ ， 這是一個(gè)線性聯(lián)立不等式方程組求解的過(guò)程 。 這樣一步步迭代 就可以收斂于解矢量 ， 步長(zhǎng) ρk取值很重要 。 基本思路： 通過(guò)對(duì) W的調(diào)整 ， 可實(shí)現(xiàn)判別函數(shù)： g(x) =WTX RT 其中 RT為響應(yīng)閾值 定義感知準(zhǔn)則函數(shù)：只考慮錯(cuò)分樣本，于是 定義 ： ，其中 X0為錯(cuò)分樣本 當(dāng)分類(lèi)發(fā)生錯(cuò)誤時(shí)就有 WTX 0，或－ WTX 0, 所以 J(W) 總是正值，錯(cuò)誤分類(lèi)愈少， J(W)就愈小。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ?感知器算法只對(duì)線性可分樣本有收斂的解 ,對(duì)非線性可分樣本集會(huì)造成訓(xùn)練過(guò)程的振蕩 ,這是它的缺點(diǎn)。 X空間 X=WTXW0 0 X∈ ω1 X=WTXW0 0 X∈ ω2 映射 Y空間 Y=WTXW0 0 X∈ ω1 Y=WTXW0 0 X∈ ω2 把 X空間各點(diǎn)投影到 Y空間得一直線上，維數(shù)由 2維降為一 維。 W0的選擇 ： ??2010????????XWXWYXWXWYTT1201 . 2yyW ??1 2 1 212 1201 2 1 22 . TTNN NNyy WWxxWN N N N? ????? yki表示第 i類(lèi)中第 k個(gè)樣本的投影值 N1為 ω1樣本數(shù) ， N2為 ω2樣本數(shù) 當(dāng) W0選定后 ， 對(duì)任一樣本 X， 只要判斷 Y=WTXW0 則 X∈ ω1。 4. 試指出在 Fisher線性判別中， W的比例因子對(duì)Fisher判別結(jié)果無(wú)影響的原因。 ? ?1 12() wJ W W x xS ???對(duì) 求 極 值 得WSWWSW)(wTbT?WJ所以其中 Sw為類(lèi)內(nèi)散布矩陣 , Sb為類(lèi)間散布矩陣 現(xiàn)在我們已把一個(gè) n維的問(wèn)題轉(zhuǎn)化為一維的問(wèn)題 。 若取 b： 此時(shí)，最小平方誤差法同 Fisher法是一致（見(jiàn)邊肇祺書(shū) 102頁(yè)）。對(duì)正確分類(lèi)的模式則“賞”（此處用“不罰”，即權(quán)向量W不變）；對(duì)錯(cuò)誤分類(lèi)的模式則“罰”，使 W加上一個(gè)正比于錯(cuò)誤模式樣本 X的分量。 當(dāng) D為奇異時(shí) ， 無(wú)法用牛頓法 。 解決此類(lèi)問(wèn)題的方法是梯度下降法 。 ?(3)用最優(yōu)化技術(shù)求出準(zhǔn)則函數(shù)的極值解 。在 的 正 側(cè) ， 否 則 ， 反 之 。 上矢量一定在 HxxxxWwxWwxWTnTnT)(,0)(021211211???????? ??三、超平面的幾何性質(zhì) 1x2X1X2xWHΩ1 Ω2 g(x)0 g(x)0 矢量到 H的正交投影 與 值成正比 其中： x p是 x在 H 的投影向量， r是 x 到 H 的垂直距離。 TW ),( 321?32211)( wxwxwxg ???? 在三維空間里，令 w3 = 0，則為 二維權(quán)空間 。 (2)采用二次多項(xiàng)式函數(shù) fi(x)的判別函數(shù)也可用矩陣形式表示： 式中， A為實(shí)對(duì)稱(chēng)矩陣。 ?基本思想 設(shè)一模式集 {x}，在模式空間 x中線性不可分，但在模式空間x*中線性可分，其中 x*的各個(gè)分量是 x的單值實(shí)函數(shù)， x*的維數(shù) k高于 x的維數(shù) n，即 x* = (f1(x), f2(x), …., f k(x)), kn 則分類(lèi)界面在 x*空間是線性的，在 x空間是非線性的，此時(shí)只要將模式 x進(jìn)行非線性變換，使之變換后得到維數(shù)更高的模式 x*，就可用線性判別函數(shù)進(jìn)行分類(lèi)。 用上列方程組作圖如下： 1??????)()()()(3121xgxgxgxg2??????)()()()(3212xgxgxgxg?????)()()()(1323xgxgxgxg3?0)()( 32 ?? xgxg??????0)()( 21 ?? xgxg0)()( 31 ?? xgxg問(wèn)假設(shè)未知模式 x= (x1,x2)T= (1,1)T ，則 x屬于那一類(lèi)。 判別函數(shù)： 判別邊界： 判別條件： jixg ij ????????????jix0x0)( 當(dāng)當(dāng)?shù)诙N情況： XW)x(g Tijij ?o)x(g ij ?每個(gè)模式類(lèi)和其它模式類(lèi)間可 分別 用判別平面分開(kāi)，一個(gè)判別界面只能分開(kāi)兩個(gè)類(lèi)別，不一定能把其余所有的類(lèi)別分開(kāi)；這種情況可理解為 二分法。則此模式 X就無(wú)法作出確切的判決。 這種情況， M類(lèi)可有 M個(gè)判別函數(shù)，且具有以下性質(zhì)： 權(quán)向量。 一、兩類(lèi)問(wèn)題： 即 : 1. 二維情況 ：取兩個(gè)特