《模式識(shí)別導(dǎo)論》ppt課件-全文預(yù)覽
【正文】 x)= K0(x)+K(xx1) 若 x∈ ω2 K1(x)= K0(x)K(xx1) 設(shè) ω1為正電荷 ,ω2為負(fù)電荷 在 K0(x)=0時(shí) 若 x1∈ ω1 K1(x)= K(xx1) 若 x1∈ ω2 K1(x)= K(xx1) 2022/5/29 44 2. 輸入樣本 x2計(jì)算積累電荷有以下幾種情況 a. 若 x2∈ ω1 并且 K1(x2)0 若 x2∈ ω2 并且 K1(x2)0 K1(x)= K2(x) 不修正 b. 若 x2∈ ω1 并且 K1(x2)≤0 若 x2∈ ω2 并且 K1(x2)≥0 K2(x)= K1(x)177。 雖然它 可以把線性不可分的樣本分開(kāi) ， 但當(dāng)樣本很多時(shí) ， 使方 程的項(xiàng)數(shù)太多 ， 增大計(jì)算量 。 K1(xx1)177。 α為系數(shù) xk為某一特定點(diǎn) 上圖是這些函數(shù)在一維時(shí)的圖形 ， 第三條是振蕩曲線 ， 只有第一周期才是可用范圍 。 ③ 如果每個(gè)部分仍包含兩類(lèi) , 繼續(xù)上面的過(guò)程 。 ρkxj ③ 重復(fù)以上迭代 ,直到收斂 ,此法 類(lèi)似于固定增量法 . 2022/5/29 40 當(dāng)每類(lèi)應(yīng)分成的子類(lèi)數(shù)也不知 時(shí) ， 這是最一般情況 ， 方法很 多 ， 舉例如下 。 32 分段線形分類(lèi)器的設(shè)計(jì) 先求子類(lèi)的權(quán)向量 Wi l，再求總的權(quán)向量 Wi 1. 已知子類(lèi)劃分時(shí)的設(shè)計(jì)方法 把每一個(gè)子類(lèi)作為獨(dú)立類(lèi)，利用每個(gè)子類(lèi)的訓(xùn)練樣本， 求每個(gè)子類(lèi)的線性判別函數(shù)，總的判別函數(shù)就可獲得。 現(xiàn)在一維空間設(shè)計(jì) Fisher分類(lèi)器 : W0的選擇 ??2010????????XWXWYXWXWYTT 210 YYW??1 2 1 21 2 1 201 2 1 22. TTN N N NWWY Y X XW N N N N????2022/5/29 37 Yki表示第 i類(lèi)中第 k個(gè)樣本的投影值 N1為 ω1樣本數(shù) N2為 ω2樣本數(shù) 當(dāng) W0選定后 ， 對(duì)任一樣本 X， 只要判斷 Y=WTX0 則 X∈ ω1。下面我們從數(shù)學(xué)上尋 找最好的投影方向即尋找最好的變換向量 W的問(wèn)題。 只要出現(xiàn) ek0 ， 迭代就應(yīng)立即停止 。 W滿足 : XT(XWb)=0 為任意常數(shù)其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計(jì)算量很大 2022/5/29 26 因此下降算法不論 XTX是否奇異 ， 總能產(chǎn)生一個(gè)解 。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問(wèn)題 ， 轉(zhuǎn)化為對(duì) XTXW=XTb求解 ， 這 一有名的方程 ,最大好處是因 XTX是方陣且通常是非奇的 ， 所以可以得到 W的唯一解 。 它們共同點(diǎn)是企圖找一個(gè)權(quán)向量 W， 使錯(cuò)分樣本最小 。如果我們把循環(huán)的權(quán)向量取平均值作 為待求的權(quán)向量，或就取其中之一為權(quán)向量，一般可以 解到較滿意的近似結(jié)果。 ? ?????0)(XXXWWJ T0)( ?WJ2022/5/29 13 求最小值對(duì) W求梯度 代入迭代公式中 Wk+1 = Wkρk▽ J 由 J(W)經(jīng)第 K+1次迭代的時(shí)候， J(W)趨于 0，收斂于所求的 W值 ? ??? ??????0)(XX XWWJJ?????01 XX XWW kkk ?即感知器迭代公式：2022/5/29 14 W的訓(xùn)練過(guò)程： 例如 :x1, x2, x3∈ ω1 作 x1, x3的垂直線可得解區(qū) (如圖 ) 假設(shè) 起始權(quán)向量 w1=0 ρ k = 1 １ ． x1, x2, x3三個(gè)矢量相加得矢量 2,垂直于矢量 2的超平面 H將 x3錯(cuò)分 . ２ ． x3與矢量 2相加得矢量 3,垂直于矢量 3的超平面 H1,將 x1錯(cuò)分 . ３ ． 依上法得矢量 4,垂直于矢量 4做超平面 , H2將 x3錯(cuò)分 ４ ． x3與矢量 4相加得矢量 5,矢量 5在解區(qū)內(nèi) ,垂直于矢量 5的超平面可以把 x1, x2, x3分成一類(lèi) 。 212022/5/29 10 若令 W=Wk+1上式為 J(Wk+1)=J(Wk)+▽ JT(Wk+1Wk)+(Wk+1Wk)TD(Wk+1Wk)T/2 對(duì) Wk+1求導(dǎo) ， 并令導(dǎo)數(shù)為零可得： 最佳迭代公式： Wk+1= Wk D1▽ J — 牛頓法的迭代公式 D1是 D的逆陣 討論：牛頓法比梯度法收斂的更快 ， 但是 D的計(jì)算量大并且要計(jì)算 D1。 ρk太大 ， 迭代太快 ， 引起振蕩 ， 甚至發(fā)散 。 因此求解權(quán)向量的 問(wèn)題就轉(zhuǎn)化為對(duì)一標(biāo)量函數(shù)求極值的問(wèn)題 。 求解時(shí)： ① 只有對(duì)線 性 可分的問(wèn)題 ， g(x) =WTX才有解 ② 聯(lián)立方程的解是非單值 ， 在不同條件下 ， 有不同的解 ，所以就產(chǎn)生了求最優(yōu)解的問(wèn)題 ③ 求解 W的過(guò)程就是訓(xùn)練的過(guò)程 。2022/5/29 1 第三章 分類(lèi)器的設(shè)計(jì) ? 線性分類(lèi)器的設(shè)計(jì) ? 分段線性分類(lèi)器的設(shè)計(jì) ? 非線性分類(lèi)器的設(shè)計(jì) 2022/5/29 2 167。 12, ( ) 0, ( ) 0x g xx g x?????? ???分 類(lèi) 準(zhǔn) 則2022/5/29 3 利用已知類(lèi)別學(xué)習(xí)樣本來(lái)獲得權(quán)向量的訓(xùn)練過(guò)程如下 已知 x1 ∈ ω1, 通過(guò)檢測(cè)調(diào)整權(quán)向量，最終使 x1 ∈ ω1 已知 x2 ∈ ω2, 通過(guò)檢測(cè)調(diào)整權(quán)向量，最終使 x2 ∈ ω2 這樣就可以通過(guò)有限的樣本去決定權(quán)向量 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ 0 x∈ ω1 檢測(cè) (已知類(lèi)別 ) W1 X1 W2 X2 Wn Xn Wn+1 0 x∈ ω2 g(x)=wTx ??? WW 12022/5/29 4 利用方程組來(lái)求解權(quán)向量 對(duì)二類(lèi)判別函數(shù) g(x) = W1X1+ W2X2 +W3 已知訓(xùn)練集： Xa, Xb, Xc, Xd且 當(dāng) (Xa, Xb) ∈ 時(shí) g(x)＞ 0 當(dāng) (Xc, Xd) ∈ 時(shí) g(x)＜ 0 設(shè) Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判別函數(shù)可聯(lián)立成： X1aW1+ X2aW2+ W3＞ 0 ① X1bW1+ X2bW2+ W3＞ 0 ② X1cW1+ X2cW2+ W3＜ 0
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1