模式識(shí)別導(dǎo)論ppt課件(完整版)
【正文】 器 : 設(shè) 兩類(lèi)情況 ω1， ω2。 Y=WTX0 則 X∈ ω2。 ???????????????????????????101110111100Xx2 x1 1 1 ?????????????????????2/12/12/12/31111111121Xx4 x1 x3 x2 2022/5/29 32 六 Fisher分類(lèi)準(zhǔn)則 現(xiàn)在討論通過(guò) 映射投影來(lái)降低 維數(shù)的方法。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準(zhǔn)則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi2022/5/29 24 只要計(jì)算出 就可以得到 W ?。? 最小平方誤差法同 Fisher法是一致的。 例：在樣本 ω1: X1 =（ 0,2） X3 =（ 2,0） X5 =（ 1,1） ω2: X2 =（ 1,1） X4 =（ 0,2） X6 =（ 2,0） 求權(quán)向量的近似解 x2 x1 x6 x1 x3 － 2 x5 － 2 x4 x2 1 1 H 2022/5/29 20 解：此為線(xiàn)性不可分問(wèn)題，利用感知器法求權(quán)向量 權(quán)向量產(chǎn)生循環(huán) (1, 2, 0), (0, 2, 2), (1, 1, 1), (1, 1, 1) (1, 1, 1), (0, 0, 0), (1, 2, 0) 因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取 W=(0,2,2)T 則判別函數(shù)為： g(x)= 2x1+2x2 判別面方程為： g(x)= 2x1+2x2＝ 0 所以 x1+x2＝ 0 由圖看出判別面 H把二類(lèi)分開(kāi)，但其中 x2 錯(cuò)分到 ω1類(lèi)， 而 x5錯(cuò)分到 ω2類(lèi)，但大部分分類(lèi)還是正確的。 當(dāng) D為奇異時(shí) ， 無(wú)法用牛頓法 。 解決 此類(lèi)問(wèn)題的方法是梯度下降法 。 31 線(xiàn)性分類(lèi)器的設(shè)計(jì) 上一章我們論討了線(xiàn)性判別函數(shù)形式為 : g(x)=WTX +Wn+1 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn ) n維權(quán)向量 通常通過(guò)特征抽取可以獲得 n維特征向量 ， 因此 n維 權(quán)向量是要求解的 。 算法可以分為迭代法和非迭代法 。 應(yīng)該選最佳 ρk。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ? 感知器算法只對(duì)線(xiàn)性可分樣本有收斂的解 ,對(duì)非線(xiàn)性可分樣本集會(huì)造成訓(xùn)練過(guò)程的振蕩 ,這是它的缺點(diǎn) . 訓(xùn)練樣本 wkTx 修正式 修正后的權(quán)值 wk＋ 1 迭代次數(shù) x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1x3 w2x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 w3+x1 w4 w4x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 4 2022/5/29 19 線(xiàn)性不可分樣本集的分類(lèi)解 (取近似解 ) 對(duì)于線(xiàn)性可分的樣本集，可以用上述方法解到正確分 類(lèi)的權(quán)向量。 ??????????????????????????NnNNnN XXXXXXXXXXX.................................21211121121? ?N ..... 2,1, XXX TX ?令每個(gè)樣本有 n個(gè)特征 ? ? N ..... 2,1,i bbb Tb ? 給定的任意正常數(shù) 2022/5/29 23 定義誤差向量： e=XWb≠0 把平方誤差作為目標(biāo)函數(shù) W的優(yōu)化就是使 J(W)最小 。 最小平方誤差法不論樣本是否線(xiàn)性可分都能給出 一加權(quán)矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測(cè)迭代過(guò)程中是否線(xiàn)性可分 。投影樣本的總離散度越）來(lái)表示，要求用（投影樣本總的離散度可 2 21 2 ?? ?類(lèi)間散布矩陣 SSS w 21 ??2022/5/29 35 上式就是 n維 x空間向一維 y空間 的最好投影方向， 它實(shí)際是多維空間向一維空間的一種映射。 若有某個(gè)或某 幾 個(gè)子類(lèi)不滿(mǎn)足條件即： 存在 Wi n(k)使 Wj n (k) xj ≤Wi n (k)l xj i≠j 所以 xj 錯(cuò)分類(lèi)，要修改權(quán)向量。 w1Tx0 w4Tx≥0 w3Tx≥0 w2Tx≥0 Y N Y Y N N ω1 ω1 ω2 ω2 N Y ω1 樹(shù)狀決策框圖 2022/5/29 42 167。 雖然它 可以把線(xiàn)性不可分的樣本分開(kāi) ， 但當(dāng)樣本很多時(shí) ， 使方 程的項(xiàng)數(shù)太多 ， 增大計(jì)算量 。 α為系數(shù) xk為某一特定點(diǎn) 上圖是這些函數(shù)在一維時(shí)的圖形 ， 第三條是振蕩曲線(xiàn) ， 只有第一周期才是可用范圍 。 ρkxj ③ 重復(fù)以上迭代 ,直到收斂 ,此法 類(lèi)似于固定增量法 . 2022/5/2
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1