模式識(shí)別導(dǎo)論(三)ppt-分類器的設(shè)計(jì)線性分類器的設(shè)計(jì)分段線性(編輯修改稿)
2025-02-03 21:46 本頁面
【文章內(nèi)容簡介】 量 W， 使錯(cuò)分樣本最小 。 現(xiàn)在我們把不等式組變成如下形式： WTXi=bi0 則有聯(lián)立方程 XW=b 這是矛盾方程組 ， 方程數(shù)大于未知 數(shù) ， 所以沒有精確解的存在 。 ??????????????????????????NnNNnN XXXXXXXXXXX. . .. . .. . .. . .. . .. . .. . .. . .. . . .. . . . .21211121121? ?N ..... 2,1, XXX TX ?令? ? 給定的任意正常數(shù)N ..... 2,1, bbb Tb ?每個(gè)樣本有 n個(gè)特征 定義誤差向量： e=XWb≠0 把平方誤差作為目標(biāo)函數(shù) W的優(yōu)化就是使 J(W)最小 。 求 J(W)的梯度并為 0。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問題 ， 轉(zhuǎn)化為對(duì) XTXW=XTb求解 ， 這 一有名的方程最大好處是因 XTX是方陣且通常是非奇異的 ， 所以可以得到 W的唯一解 。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準(zhǔn)則函數(shù) ? ? 0)(22J (W )1????? ? ??bXWXXb iX iW T TiNi 只要計(jì)算出 X+就可以得到 W ?。? 最小平方誤差法同 Fisher法是一致的。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱為其中 XXXX TX T? ?? 1?????????????????????221..........1/. .. .. .///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個(gè)， N/N2有 N2個(gè) 四 韋 — 霍氏法（ LMS法）迭代法 上節(jié)得到 MSE法的 W解為： W=X+b 在計(jì)算 X+時(shí) ， 1． 要求 XTX矩陣為非奇異 2． 由于計(jì)算量太大而引入比較大誤差 所以要用迭代法來求 求 J(W)的梯度 ▽ J(W) =2XT(XWb) 代入迭代公式 W1任意設(shè)定 Wk+1 = WkρkXT(XWkb) 此法可收斂于 W值 。 W滿足 : XT(XWb)=0 為任意常數(shù)其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計(jì)算量很大 因此下降算法不論 XTX是否奇異 ， 總能產(chǎn)生一個(gè)解 。 若訓(xùn)練樣本無限的重復(fù)出現(xiàn) ， 則簡化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數(shù) k而減少 ， 以保證算法收斂于滿意 的 W值 k1K???取五 何 — 卡氏法 （判斷迭代過程中是否線性可分） 若訓(xùn)練樣本線性可分時(shí) ， 感知器法可求出界面 ， 但對(duì)不可分問題不 收斂只能取平均 。 最小平方誤差法不論樣本是否線性可分都能給出 一加權(quán)矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測(cè)迭代過程中是否線性可分 。 ? 因最小平方誤差法的 J(W)的解為 ? 因?yàn)?XW=b b應(yīng) 為正值 ? c為矯正系數(shù) 當(dāng) （ XWkbk） ≤0 時(shí) 當(dāng) （ XWkbk） ＞ 0 時(shí) ? ? bXbXXX TW T ?? ?? 1|]|[ kkkkk bXWbXWcbb ?? ?＝的增量為 ?kkk bbbb ???? 1前后兩次迭代后，對(duì)的增量為其中 bb k?0＝kb?][2 kkk bXWcb ?＝?? 引入誤差矢量 ek ek=XWkbk判斷是否線性可分 ? 所以 J(W)的解為 初始條件 W1=X+b1并且 b10 ? 迭代時(shí)檢測(cè) 如果 ek≥0時(shí) ， XW b， 系統(tǒng)線性可分 ， 迭代收斂 如果 ek0時(shí) ， XW b， 系統(tǒng)線性不可分 ， 迭代不收斂 ? 我們用下面的例子來說明 ek的作用 |]|[ kkk eeCb ???]|[][ |11 kKkkKkKKk eeXcWbXbXbbXbXW ???????? ??????? ??因此上式可以寫成 ? 例題： ω1={(0,0)T,(0,1)T} ω2={(1,0)T,(1,1)T} ? 解：正規(guī)化 對(duì) ω2取負(fù) ， 有 ????????????????????????????111101110100X? ???????????????????????2/12/12/12/311111111211XXX TX TX的規(guī)范矩陣為 x2 x1 x1 x2 x3 x4 取 b1=(1,1,1,1)T c=1 W1=X+b1=(2,0,1)T 所以 W1為所求解 e1=XW1b1=0 系統(tǒng)線性可分 ? ? 01111102111101110100,1 ???????????? ???????????????????TWX因?yàn)? 若四個(gè)樣本變成： ω1={(0,0)T,(1,1)T} ω2={(0,1)T,(1,0)T} 解： 取 b1=(1,1,1,1)T c=1 W1=X+b1=(0,0,0)T e1=XW1b1=(1,1,1,1)T0 系統(tǒng)線性不可分 C為校正系數(shù) ,取 0＜ C ≤1 在算法進(jìn)行過程中 ， 應(yīng)在每一次迭代時(shí) ， 檢測(cè) ek 的值 。 只要出現(xiàn) ek0 ， 迭代就應(yīng)立即停止 。 ??????????????????
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1