模式識別導論三ppt課件(編輯修改稿)
2025-05-28 02:36 本頁面
【文章內容簡介】 則有聯立方程 XW=b 這是矛盾方程組 ， 方程數大于未知 數 ， 所以沒有精確解的存在 。 ??????????????????????????NnNNnN XXXXXXXXXXX.................................21211121121? ?N ..... 2,1, XXX TX ?令? ? 給定的任意正常數N ..... 2,1, bbb Tb ?每個樣本有 n個特征 定義誤差向量： e=XWb≠0 把平方誤差作為目標函數 W的優(yōu)化就是使 J(W)最小 。 求 J(W)的梯度并為 0。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問題 ， 轉化為對 XTXW=XTb求解 ， 這 一有名的方程最大好處是因 XTX是方陣且通常是非奇異的 ， 所以可以得到 W的唯一解 。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準則函數 ? ? 0)(22J ( W )1????? ? ??bXWXXb iX iW T TiNi 只要計算出 X+就可以得到 W ?。? 最小平方誤差法同 Fisher法是一致的。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱為其中 XXXX TX T? ?? 1?????????????????????221..........1/......///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個， N/N2有 N2個 四 韋 — 霍氏法（ LMS法）迭代法 上節(jié)得到 MSE法的 W解為： W=X+b 在計算 X+時 ， 1． 要求 XTX矩陣為非奇異 2． 由于計算量太大而引入比較大誤差 所以要用迭代法來求 求 J(W)的梯度 ▽ J(W) =2XT(XWb) 代入迭代公式 W1任意設定 Wk+1 = WkρkXT(XWkb) 此法可收斂于 W值 。 W滿足 : XT(XWb)=0 為任意常數其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計算量很大 因此下降算法不論 XTX是否奇異 ， 總能產生一個解 。 若訓練樣本無限的重復出現 ， 則簡化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數 k而減少 ， 以保證算法收斂于滿意 的 W值 k1K???取五 何 — 卡氏法 （判斷迭代過程中是否線性可分） 若訓練樣本線性可分時 ， 感知器法可求出界面 ， 但對不可分問題不 收斂只能取平均 。 最小平方誤差法不論樣本是否線性可分都能給出 一加權矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測迭代過程中是否線性可分 。 ? 因最小平方誤差法的 J(W)的解為 ? 因為 XW=b b應 為正值 ? c為矯正系數 當 （ XWkbk） ≤0 時 當 （ XWkbk） ＞ 0 時 ? ? bXbXXX TW T ?? ?? 1|]|[ kkkkk bXWbXWcbb ?? ?＝的增量為 ?kkk bbbb ???? 1前后兩次迭代后，對的增量為其中 bb k?0＝kb?][2 kkk bXWcb ?＝?? 引入誤差矢量 ek ek=XWkbk判斷是否線性可分 ? 所以 J(W)的解為 初始條件 W1=X+b1并且 b10 ? 迭代時檢測 如果 ek≥0時 ， XW b， 系統(tǒng)線性可分 ， 迭代收斂 如果 ek0時 ， XW b， 系統(tǒng)線性不可分 ， 迭代不收斂 ? 我們用下面的例子來說明 ek的作用 |]|[ kkk eeCb ???]|[][ |11 kKkkKkKKk eeXcWbXbXbbXbXW ???????? ??????? ??因此上式可以寫成 ? 例題： ω1={(0,0)T,(0,1)T} ω2={(1,0)T,(1,1)T} ? 解：正規(guī)化 對 ω2取負 ， 有 ????????????????????????????111101110100X? ???????????????????????2/12/12/12/311111111211XXX TX TX的規(guī)范矩陣為 x2 x1 x1 x2 x3 x4 取 b1=(1,1,1,1)T c=1 W1=X+b1=(2,0,1)T 所以 W1為所求解 e1=XW1b1=0 系統(tǒng)線性可分 ? ? 01111102111101110100,1 ???????????? ???????????????????TWX因為 若四個樣本變成： ω1={(0,0)T,(1,1)T} ω2={(0,1)T,(1,0)T} 解： 取 b1=(1,1,1,1)T c=1 W1=X+b1=(0,0,0)T e1=XW1b1=(1,1,1,1)T0 系統(tǒng)線性不可分 C為校正系數 ,取 0＜ C ≤1 在算法進行過程中 ， 應在每一次迭代時 ， 檢測 ek 的值 。 只要出現 ek0 ， 迭代就應立即停止 。 ???????????????????????????101110111100Xx2 x1 1 1
教學課件相關推薦
鄂ICP備17016276號-1