模式識(shí)別導(dǎo)論ppt課件-在線瀏覽
2025-06-18 02:36本頁(yè)面
【正文】 1222 ||||||||)( MSE準(zhǔn)則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi2022/5/29 24 只要計(jì)算出 就可以得到 W 取： 最小平方誤差法同 Fisher法是一致的。 求 J(W)的梯度 ▽ J(W) =2XT(XWb) 代入迭代公式 W1任意設(shè)定 Wk+1 = WkρkXT(XWkb) 此法可收斂于 W值 。 若訓(xùn)練樣本無(wú)限的重復(fù)出現(xiàn) ， 則簡(jiǎn)化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數(shù) k而減少 ， 以保證算法收斂于滿意 的 W值 k1K ?? ?取2022/5/29 27 五 何 — 卡氏法 （判斷迭代過程中是否線性可分） 若訓(xùn)練樣本線性可分時(shí) ， 感知器法可求出界面 ， 但對(duì)不可分問題不 收斂只能取平均 。 因最小平方誤差法的 J(W)的解為 因?yàn)?XW=b b應(yīng) 為正值 c為矯正系數(shù) 當(dāng) （ XWkbk） ≤0 時(shí) 當(dāng) （ XWkbk） ＞ 0 時(shí) ? ? bXbXXX TW T ?? ?? 1|]|[ kkkkk bXWbXWcbb ?? ?＝的增量為 ?kkk bbbb ???? 1前后兩次迭代后，對(duì)的增量為其中 bb k?0＝kb?][2 kkk bXWcb ?＝?2022/5/29 28 引入誤差矢量 ek ek=XWkbk判斷是否線性可分 所以 J(W)的解為 初始條件 W1=X+b1并且 b10 迭代時(shí)檢測(cè) 如果 ek≥0時(shí) ， XW b， 系統(tǒng)線性可分 ， 迭代收斂 如果 ek0時(shí) ， XW b， 系統(tǒng)線性不可分 ， 迭代不收斂 我們用下面的例子來(lái)說(shuō)明 ek的作用 |]|[ kkk eeCb ???]|[][ |11 kKkkKkKKk eeXcWbXbXbbXbXW ???????? ??????? ??因此上式可以寫成 2022/5/29 29 例題： ω1={(0,0)T,(0,1)T} ω2={(1,0)T,(1,1)T} 解：正規(guī)化 對(duì) ω2取負(fù) ， 有 ????????????????????????????111101110100X? ???????????????????????2/12/12/12/311111111211XXX TX TX的規(guī)范矩陣為 x2 x1 x1 x2 x3 x4 2022/5/29 30 取 b1=(1,1,1,1)T c=1 W1=X+b1=(2,0,1)T 所以 W1為所求解 e1=XW1b1=0 系統(tǒng)線性可分 ? ? 01111102111101110100,1 ???????????? ???????????????????TWX因?yàn)? 2022/5/29 31 若四個(gè)樣本變成： ω1={(0,0)T,(1,1)T} ω2={(0,1)T,(1,0)T} 解： 取 b1=(1,1,1,1)T c=1 W1=X+b1=(0,0,0)T e1=XW1b1=(1,1,1,1)T0 系統(tǒng)線性不可分 C為校正系數(shù) ,取 0＜ C ≤1 在算法進(jìn)行過程中 ， 應(yīng)在每一次迭代時(shí) ， 檢測(cè) ek 的值 。 ???????????????????????????101110111100Xx2 x1 1 1 ?????????????????????2/12/12/12/31111111121Xx4 x1 x3 x2 2022/5/29 32 六 Fisher分類準(zhǔn)則 現(xiàn)在討論通過 映射投影來(lái)降低 維數(shù)的方法。 若適當(dāng)選擇 W的方向 ,可以使二類分開。 w(y) w y1 y2 x2 x1 ω1 ω2 2022/5/29 33 投影樣本之間的分離性用投影樣本之差表示 投影樣本類內(nèi)離散度 : TT11 WWi iii iiY Y Y X xNNY y X N? ? ?????在 空 間 的 投 影 均 值???NxiiiXNxX 1空間的均值在11 WY XT?? 22 WY XT?類間分離性越大越好|)(||| 2121 XXWYY T ???? ? ? ? WSWNX XTXTyY YY iTi iiii ?? ??? ?? ?? WW 222?WSW T 121 ?? WSW T 222 ??i=1,2 i=1,2 ? ? ? ?i Tiii XXNX XXS ?? ?? ?其中2022/5/29 34 ? ?? ?? ????2222 NX XXXXST? ?? ?? ?? ?? 1111 NX XXXXS T? ?2 21 2212||)(?? ??? YYWJFi s h e r 準(zhǔn)則函數(shù)有所以? ? ? ? 22 1212() T bTTJ W X X WYY W W W S? ? ??的 分 子? ? ? ?2121 XXXXS Tb ???其中WSWWSWWSWWJ wTTT ???? 212 21 2)( ??的分母小越好。 ? ?XXSWWJ w 211)( ?? ?求極值得對(duì)WSWWSW)(wTbT?WJ所以其中 Sw為類內(nèi)散布矩陣 , Sb為類間散布矩陣 2022/5/29 36 現(xiàn)在我們已把一個(gè) n維的問題轉(zhuǎn)化為一維的問題 。 Y=WTX0 則 X∈ ω2。 ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1