模式識(shí)別導(dǎo)論三ppt課件-wenkub
2023-05-16 02:36:37 本頁面
【正文】 影方向，即尋找最好的變換向量 W的 問題。 只要出現(xiàn) ek0 ， 迭代就應(yīng)立即停止 。 W滿足 : XT(XWb)=0 為任意常數(shù)其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計(jì)算量很大 因此下降算法不論 XTX是否奇異 ， 總能產(chǎn)生一個(gè)解 。 求 J(W)的梯度并為 0。 三 最小平方誤差準(zhǔn)則 (MSE法 )非迭代法 前面我們研究了線性不等式方程組 g(x) =WTX0的解法 。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ? 感知器算法只對(duì)線性可分樣本有收斂的解 ,對(duì)非線性可分樣本集會(huì)造成訓(xùn)練過程的振蕩 ,這是它的缺點(diǎn) . 訓(xùn)練樣本 wkTx 修正式 修正后的權(quán)值 wk＋ 1 迭代次數(shù) x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1x3 w2x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 w3+x1 w4 w4x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 4 線性不可分樣本集的分類解 (取近似解 ) 對(duì)于線性可分的樣本集，可以用上述方法解到正確分 類的權(quán)向量。 二 感知器法 感知器的原理結(jié)構(gòu)為： 通過對(duì) W的調(diào)整 ， 可實(shí)現(xiàn)判別函數(shù) g(x) =WTX RT 其中 RT為響應(yīng)閾值 定義感知準(zhǔn)則函數(shù)：只考慮錯(cuò)分樣本 定義： 其中 x0為錯(cuò)分樣本 當(dāng)分類發(fā)生錯(cuò)誤時(shí)就有 WTX 0，或－ WTX 0, 所以 J(W) 總是正值，錯(cuò)誤分類愈少， J(W)就愈小。 應(yīng)該選最佳 ρk。 解決 此類問題的方法是梯度下降法 。 訓(xùn)練方法的共同點(diǎn)是 ， 先給出準(zhǔn)則函數(shù) ， 再尋找使準(zhǔn)則函數(shù)趨于極值的優(yōu)化算法 ， 不同的算法有不同的準(zhǔn)則函數(shù) 。 31 線性分類器的設(shè)計(jì) 上一章我們討論了線性判別函數(shù)形式為 :g(x)=WTX 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn , Wn+1) n維權(quán)向量 通常通過特征抽取可以獲得 n維特征向量 ， 因此 n維 權(quán)向量是要求解的 。 求解權(quán)向量的過程就是分類器的訓(xùn)練過程 ， 使用已 知類別的有限的學(xué)習(xí)樣本來獲得分類器的權(quán)向量被稱為 有監(jiān)督的分類 。 算法可以分為迭代法和非迭代法 。 方法就是從起始值 W1開始 ， 算出 W1處目標(biāo)函數(shù)的梯度 矢量 ▽ J(W1)， 則下一步的 w值為： W2 = W1ρ 1▽ J(W1) W1為起始權(quán)向量 ρ1為迭代步長(zhǎng) J(W1) 為目標(biāo)函數(shù) ▽ J(W1)為 W1處的目標(biāo)函數(shù)的梯度矢量 在第 K步的時(shí)候 Wk+1 = Wkρ k▽ J(Wk) ρk為正比例因子 這就是梯度下降法的迭代公式 。 選最佳 ρk 目標(biāo)函數(shù) J(W)二階臺(tái)勞級(jí)數(shù)展開式為 J(W)≈J(Wk)+ ▽ JT(W Wk)+(W Wk)TD(W Wk)T/2 ① 其中 D為當(dāng) W = Wk時(shí) J(W)的二階偏導(dǎo)數(shù)矩陣 將 W=Wk+1 = Wkρk▽ J(Wk)代入 ① 式得： J(Wk+1) ≈J(Wk) ρk||▽ J||2+ ρk2▽ JT D▽ J 其中 ▽ J=▽ J(Wk) 對(duì) ρk求導(dǎo)數(shù) ， 并令導(dǎo)數(shù)為零有 最佳步長(zhǎng)為 ρk=||▽ J||2/▽ JTD▽ J 這就是最佳 ρk的計(jì)算公式 ， 但因二階偏導(dǎo)數(shù)矩陣 D的計(jì)算 量太大 ， 因此此公式很少用 。 理想情況為 即求最小值的問題。當(dāng)樣本集線性不可分時(shí)，用上述方法求權(quán) 值時(shí)算法不收斂。它們共同點(diǎn)是企圖找一個(gè)權(quán)向量 W， 使錯(cuò)分樣本最小 。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問題 ， 轉(zhuǎn)化為對(duì) XTXW=XTb求解 ， 這 一有名的方程最大好處是因 XTX是方陣且通常是非奇異的 ， 所以可以得到 W的唯一解 。 若訓(xùn)練樣本無限的重復(fù)出現(xiàn) ， 則簡(jiǎn)化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數(shù) k而減少 ， 以保證算法收斂于滿意 的 W值 k1K???取五 何 — 卡氏法 （判斷迭代過程中是否線性可分） 若訓(xùn)練樣本線性可分時(shí) ， 感知器法可求出界面 ， 但對(duì)不可分問題不 收斂只能取平均 。 ???????????????????????????101110111100Xx2 x1 1 1 ?????????????????????2/12/12/12/31111111121X六 Fisher分類準(zhǔn)則 現(xiàn)在討論通過 映射投影來降低 維數(shù)的方法。 w(y) w y1 y2 x2 x1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1