模式識別導(dǎo)論ppt課件-文庫吧資料
2025-05-07 02:36本頁面
【正文】 訓(xùn)練樣本 wkTx 修正式 修正后的權(quán)值 wk＋ 1 迭代次數(shù) x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1x3 w2x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 w3+x1 w4 w4x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 4 2022/5/29 19 線性不可分樣本集的分類解 (取近似解 ) 對于線性可分的樣本集，可以用上述方法解到正確分 類的權(quán)向量。 ? ?????0)(XXXWWJ T0)( ?WJ2022/5/29 13 求最小值對 W求梯度 代入迭代公式中 Wk+1 = Wkρk▽ J 由 J(W)經(jīng)第 K+1次迭代的時(shí)候， J(W)趨于 0，收斂于所求的 W值 ? ??? ??????0)(XX XWWJJ?????01 XX XWW kkk ?即感知器迭代公式：2022/5/29 14 W的訓(xùn)練過程： 例如 :x1, x2, x3∈ ω1 作 x1, x3的垂直線可得解區(qū) (如圖 ) 假設(shè) 起始權(quán)向量 w1=0 ρ k = 1 １ ． x1, x2, x3三個(gè)矢量相加得矢量 2,垂直于矢量 2的超平面 H將 x3錯(cuò)分 . ２ ． x3與矢量 2相加得矢量 3,垂直于矢量 3的超平面 H1,將 x1錯(cuò)分 . ３ ． 依上法得矢量 4,垂直于矢量 4做超平面 , H2將 x3錯(cuò)分 ４ ． x3與矢量 4相加得矢量 5,矢量 5在解區(qū)內(nèi) ,垂直于矢量 5的超平面可以把 x1, x2, x3分成一類 。 2022/5/29 11 二 感知器法 感知器的原理結(jié)構(gòu)為： 2022/5/29 12 通過對 W的調(diào)整 ， 可實(shí)現(xiàn)判別函數(shù) g(x) =WTX RT 其中 RT為響應(yīng)閾值 定義感知準(zhǔn)則函數(shù)：只考慮錯(cuò)分樣本 定義： 其中 x0為錯(cuò)分樣本 當(dāng)分類發(fā)生錯(cuò)誤時(shí)就有 WTX 0，或－ WTX 0, 所以 J(W) 總是正值，錯(cuò)誤分類愈少， J(W)就愈小。 212022/5/29 10 若令 W=Wk+1上式為 J(Wk+1)=J(Wk)+▽ JT(Wk+1Wk)+(Wk+1Wk)TD(Wk+1Wk)T/2 對 Wk+1求導(dǎo) ， 并令導(dǎo)數(shù)為零可得： 最佳迭代公式： Wk+1= Wk D1▽ J — 牛頓法的迭代公式 D1是 D的逆陣 討論：牛頓法比梯度法收斂的更快 ， 但是 D的計(jì)算量大并且要計(jì)算 D1。 應(yīng)該選最佳 ρk。 ρk太大 ， 迭代太快 ， 引起振蕩 ， 甚至發(fā)散 。 方法就是從起始值 W1開始 ， 算出 W1處目標(biāo)函數(shù)的梯度 矢量 ▽ J(W1)， 則下一步的 w值為： W2 = W1ρ 1▽ J(W1) W1為起始權(quán)向量 ρ1為迭代步長 J(W1) 為目標(biāo)函數(shù) ▽ J(W1)為 W1處的目標(biāo)函數(shù)的梯度矢量 2022/5/29 8 在第 K步的時(shí)候 Wk+1 = Wkρ k▽ J(Wk) ρk為正比例因子 這就是梯度下降法的迭代公式 。 因此求解權(quán)向量的 問題就轉(zhuǎn)化為對一標(biāo)量函數(shù)求極值的問題 。 算法可以分為迭代法和非迭代法 。 求解時(shí)： ① 只有對線 性 可分的問題 ， g(x) =WTX才有解 ② 聯(lián)立方程的解是非單值 ， 在不同條件下 ， 有不同的解 ，所以就產(chǎn)生了求最優(yōu)解的問題 ③ 求解 W的過程就是訓(xùn)練的過程 。 求解權(quán)向量的過程就是分類器的訓(xùn)練過程 ， 使用已 知類別的有限的學(xué)習(xí)樣本來獲得分類器的權(quán)向量被稱為 有監(jiān)督的分類 。2022/5/29 1 第三章 分類器的設(shè)計(jì) ? 線性分類器的設(shè)計(jì) ? 分段線性分類器的設(shè)計(jì) ? 非線性分類器的設(shè)計(jì) 2022/5/29 2 167。 31 線性分類器的設(shè)計(jì) 上一章我們論討了線性判別函數(shù)形式為 : g(x)=WTX +Wn+1 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn ) n維權(quán)向量 通常通過特征抽取可以獲得 n維特征向量 ， 因此 n維 權(quán)向量是要求解的 。 12, ( ) 0, ( ) 0x g xx g x?????? ???分 類 準(zhǔn) 則2022/5/29 3 利用已知類別學(xué)習(xí)樣本來獲得權(quán)向量的訓(xùn)練過程如下 已知 x1 ∈ ω1, 通過檢測調(diào)整權(quán)向量，最終使 x1 ∈ ω1 已知 x2 ∈ ω2, 通過檢測調(diào)整權(quán)向量，最終使 x2 ∈ ω2 這樣就可以通過有限的樣本去決定權(quán)向量 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ 0 x∈ ω1 檢測 (已知類別 ) W1 X1 W2 X2 Wn Xn Wn+1 0 x∈ ω2 g(x)=wTx ??? WW 12022/5/29 4 利用方程組來求解權(quán)向量 對二類判別函數(shù) g(x) = W1X1+ W2X2 +W3 已知訓(xùn)練集： Xa, Xb, Xc, Xd且 當(dāng) (Xa, Xb) ∈ 時(shí) g(x)＞ 0 當(dāng) (Xc, Xd) ∈ 時(shí) g(x)＜ 0 設(shè) Xa = (X1a, X2a)T Xb =
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1