[信息與通信]模式識別導(dǎo)論第03章分類器的設(shè)計(編輯修改稿)
2024-11-14 22:20 本頁面
【文章內(nèi)容簡介】 是企圖找一個權(quán)向量 W， 使錯分樣本最小 。 現(xiàn)在我們把不等式組變成如下形式： WTXi=bi0 則有聯(lián)立方程 XW=b 這是矛盾方程組 ， 方程數(shù)大于未知 數(shù) ， 所以沒有精確解的存在 。 ??????????????????????????NnNNnN XXXXXXXXXXX......................... . . .. . . . .21211121121? ?N ... .. 2,1, XXX TX ?令? ? 給定的任意正常數(shù)N .... . 2,1, bbb Tb ?每個樣本有 n個特征 定義誤差向量： e=XWb≠0 把平方誤差作為目標函數(shù) W的優(yōu)化就是使 J(W)最小 。 求 J(W)的梯度并為 0。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問題 ， 轉(zhuǎn)化為對 XTXW=XTb求解 ， 這 一有名的方程最大好處是因 XTX是方陣且通常是非奇異的 ， 所以可以得到 W的唯一解 。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準則函數(shù) ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi 只要計算出 X+就可以得到 W ?。? 最小平方誤差法同 Fisher法是一致的。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱為其中 XXXX TX T? ?? 1?????????????????????221.... ..... .1/. . . . . .///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個， N/N2有 N2個 四 韋 — 霍氏法（ LMS法）迭代法 上節(jié)得到 MSE法的 W解為： W=X+b 在計算 X+時 ， 1． 要求 XTX矩陣為非奇異 2． 由于計算量太大而引入比較大誤差 所以要用迭代法來求 求 J(W)的梯度 ▽ J(W) =2XT(XWb) 代入迭代公式 W1任意設(shè)定 Wk+1 = WkρkXT(XWkb) 此法可收斂于 W值 。 W滿足 : XT(XWb)=0 為任意常數(shù)其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計算量很大 因此下降算法不論 XTX是否奇異 ， 總能產(chǎn)生一個解 。 若訓(xùn)練樣本無限的重復(fù)出現(xiàn) ， 則簡化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數(shù) k而減少 ， 以保證算法收斂于滿意 的 W值 k1K???取五 何 — 卡氏法 （判斷迭代過程中是否線性可分） 若訓(xùn)練樣本線性可分時 ， 感知器法可求出界面 ， 但對不可分問題不 收斂只能取平均 。 最小平方誤差法不論樣本是否線性可分都能給出 一加權(quán)矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測迭代過程中是否線性可分 。 ? 因最小平方誤差法的 J(W)的解為 ? 因為 XW=b b應(yīng) 為正值 ? c為矯正系數(shù) 當 （ XW kbk） ≤0 時 當 （ XW kbk） ＞ 0 時 ? ? bXbXXX TW T ?? ?? 1|]|[ kkkkk bXWbXWcbb ?? ?＝的增量為 ?kkk bbbb ???? 1前后兩次迭代后，對的增量為其中 bb k?0＝kb?][2 kkk bXWcb ?＝?? 引入誤差矢量 ek ek=XWkbk判斷是否線性可分 ? 所以 J(W)的解為 初始條件 W1=X+b1并且 b10 ? 迭代時檢測 如果 ek≥0時 ， XW b， 系統(tǒng)線性可分 ， 迭代收斂 如果 ek0時 ， XW b， 系統(tǒng)線性不可分 ， 迭代不收斂 ? 我們用下面的例子來說明 ek的作用 |]|[ kkk eeCb ???]|[][ |11 kKkkKkKKk eeXcWbXbXbbXbXW ???????? ??????? ??因此上式可以寫成 ? 例題： ω1={(0,0)T,(0,1)T} ω2={(1,0)T,(1,1)T} ? 解：正規(guī)化 對 ω2取負 ， 有 ????????????????????????????111101110100X? ???????????????????????2/12/12/12/311111111211XXX TX TX的規(guī)范矩陣為 x2 x1 x1 x2 x3 x4 取 b1=(1,1,1,1)T c=1 W1=X+b1=(2,0,1)T 所以 W1為所求解 e1=XW1b1=0 系統(tǒng)線性可分 ? ? 01111102111101110100,1 ???????????? ???????????????????TWX因為 若四個樣本變成： ω1={(0,0)T,(1,1)T} ω2={(0,1)T,(1,0)T} 解： 取 b1=(1,1,1,1)T c=1 W1=X+b1=(0,0,0)T e1=XW1b1=(1,1,1,1)T0 系統(tǒng)線性不可分 C為校正系數(shù) ,取 0＜ C ≤1 在算法進行過程中 ， 應(yīng)在每一次迭代時 ， 檢測 ek 的值 。 只要出現(xiàn) ek0 ， 迭代就應(yīng)立即停止 。 ?????????????????
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1