模式識(shí)別導(dǎo)論ppt課件-wenkub
2023-05-16 02:36:37 本頁(yè)面
【正文】 || 2121 XXWYY T ???? ? ? ? WSWNX XTXTyY YY iTi iiii ?? ??? ?? ?? WW 222?WSW T 121 ?? WSW T 222 ??i=1,2 i=1,2 ? ? ? ?i Tiii XXNX XXS ?? ?? ?其中2022/5/29 34 ? ?? ?? ????2222 NX XXXXST? ?? ?? ?? ?? 1111 NX XXXXS T? ?2 21 2212||)(?? ??? YYWJFi s h e r 準(zhǔn)則函數(shù)有所以? ? ? ? 22 1212() T bTTJ W X X WYY W W W S? ? ??的 分 子? ? ? ?2121 XXXXS Tb ???其中WSWWSWWSWWJ wTTT ???? 212 21 2)( ??的分母小越好。 ???????????????????????????101110111100Xx2 x1 1 1 ?????????????????????2/12/12/12/31111111121Xx4 x1 x3 x2 2022/5/29 32 六 Fisher分類準(zhǔn)則 現(xiàn)在討論通過(guò) 映射投影來(lái)降低 維數(shù)的方法。 若訓(xùn)練樣本無(wú)限的重復(fù)出現(xiàn) ， 則簡(jiǎn)化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數(shù) k而減少 ， 以保證算法收斂于滿意 的 W值 k1K ?? ?取2022/5/29 27 五 何 — 卡氏法 （判斷迭代過(guò)程中是否線性可分） 若訓(xùn)練樣本線性可分時(shí) ， 感知器法可求出界面 ， 但對(duì)不可分問(wèn)題不 收斂只能取平均 。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準(zhǔn)則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi2022/5/29 24 只要計(jì)算出 就可以得到 W ?。? 最小平方誤差法同 Fisher法是一致的。 現(xiàn)在我們把不等式組變成如下形式： WTXi=bi0 則有聯(lián)立方程 XW=b 這是矛盾方程組 ， 方程數(shù)大于未知 數(shù) ， 所以沒有精確解的存在 。 例：在樣本 ω1: X1 =（ 0,2） X3 =（ 2,0） X5 =（ 1,1） ω2: X2 =（ 1,1） X4 =（ 0,2） X6 =（ 2,0） 求權(quán)向量的近似解 x2 x1 x6 x1 x3 － 2 x5 － 2 x4 x2 1 1 H 2022/5/29 20 解：此為線性不可分問(wèn)題，利用感知器法求權(quán)向量 權(quán)向量產(chǎn)生循環(huán) (1, 2, 0), (0, 2, 2), (1, 1, 1), (1, 1, 1) (1, 1, 1), (0, 0, 0), (1, 2, 0) 因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取 W=(0,2,2)T 則判別函數(shù)為： g(x)= 2x1+2x2 判別面方程為： g(x)= 2x1+2x2＝ 0 所以 x1+x2＝ 0 由圖看出判別面 H把二類分開，但其中 x2 錯(cuò)分到 ω1類， 而 x5錯(cuò)分到 ω2類，但大部分分類還是正確的。 x1 x2 x3 2 H 3 H1 4 H2 5 W區(qū)間 2022/5/29 15 ? 感知器算法： wk 如 wkTx≤0并且 x∈ ω1 wk+1= wk+ρkx 如 wkTx≥0并且 x∈ ω2 wk+1= wkρkx ， wk不修正 如 wkTx＞ 0并且 x∈ ω1 如 wkTx＜ 0并且 x∈ ω2 wk+1= wk + H wk+1 ρkx wk 權(quán)值修正過(guò)程 2022/5/29 16 ? ρk選擇準(zhǔn)則 ① 固定增量原則 ρk固定非負(fù)數(shù) ② 絕對(duì)修正規(guī)則 ρk ③ 部分修正規(guī)則 ρk=λ 0＜ λ≤2 xXxwTT ||xXxwTT ||2022/5/29 17 例題：有兩類樣本 ω1=（ x1,x2） ={(1,0,1),(0,1,1)} ω2=（ x3,x4） ={(1,1,0),(0,1,0)} 解：先求四個(gè)樣本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假設(shè)初始權(quán)向量 w1=(1,1,1,1) ρk=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=30 所以修正 w1 w2=w1x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正 w2 w3=w2x4=(0,1,1,1) 第一次迭代后 ,權(quán)向量 w3=(0,1,1,1),再進(jìn)行第 2,3,… 次迭代 如下表 x1 x2 x3 x1 x2 x3 x4 1 1 1 2022/5/29 18 直到在一個(gè)迭代過(guò)程中權(quán)向量相同 ， 訓(xùn)練結(jié)束 。 當(dāng) D為奇異時(shí) ， 無(wú)法用牛頓法 。 ρk太小 ， 迭代太慢 。 解決 此類問(wèn)題的方法是梯度下降法 。 訓(xùn)練方法的共同點(diǎn)是 ，先給出準(zhǔn)則函數(shù) ， 再尋找使準(zhǔn)則函數(shù)趨于極值的優(yōu)化算法 ， 不同的算法有不同的準(zhǔn)則函數(shù) 。 31 線性分類器的設(shè)計(jì) 上一章我們論討了線性判別函數(shù)形式為 : g(x)=WTX +Wn+1 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn ) n
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1