模式識別導(dǎo)論ppt課件(參考版)
2025-05-04 02:36本頁面
【正文】 雖然它 可以把線性不可分的樣本分開 ， 但當(dāng)樣本很多時 ， 使方 程的項數(shù)太多 ， 增大計算量 。 K1(xx1)177。 算法 : 設(shè)初始電位為 K0(x)=0 x1計算積累電位 K1(x) 若 x∈ ω1 K1(x)= K0(x)+K(xx1) 若 x∈ ω2 K1(x)= K0(x)K(xx1) 設(shè) ω1為正電荷 ,ω2為負(fù)電荷 在 K0(x)=0時 若 x1∈ ω1 K1(x)= K(xx1) 若 x1∈ ω2 K1(x)= K(xx1) 2022/5/29 44 2. 輸入樣本 x2計算積累電荷有以下幾種情況 a. 若 x2∈ ω1 并且 K1(x2)0 若 x2∈ ω2 并且 K1(x2)0 K1(x)= K2(x) 不修正 b. 若 x2∈ ω1 并且 K1(x2)≤0 若 x2∈ ω2 并且 K1(x2)≥0 K2(x)= K1(x)177。 α為系數(shù) xk為某一特定點 上圖是這些函數(shù)在一維時的圖形 ， 第三條是振蕩曲線 ， 只有第一周期才是可用范圍 。 w1Tx0 w4Tx≥0 w3Tx≥0 w2Tx≥0 Y N Y Y N N ω1 ω1 ω2 ω2 N Y ω1 樹狀決策框圖 2022/5/29 42 167。 ③ 如果每個部分仍包含兩類 , 繼續(xù)上面的過程 。 如圖所示 ① 先用兩類線性判別函數(shù)求 出 W1,超平面 H1分成兩個區(qū) 間 ,每個區(qū)間包含兩類 。 ρkxj ③ 重復(fù)以上迭代 ,直到收斂 ,此法 類似于固定增量法 . 2022/5/29 40 當(dāng)每類應(yīng)分成的子類數(shù)也不知 時 ， 這是最一般情況 ， 方法很 多 ， 舉例如下 。 若有某個或某 幾 個子類不滿足條件即： 存在 Wi n(k)使 Wj n (k) xj ≤Wi n (k)l xj i≠j 所以 xj 錯分類，要修改權(quán)向量。 32 分段線形分類器的設(shè)計 先求子類的權(quán)向量 Wi l，再求總的權(quán)向量 Wi 1. 已知子類劃分時的設(shè)計方法 把每一個子類作為獨立類，利用每個子類的訓(xùn)練樣本， 求每個子類的線性判別函數(shù)，總的判別函數(shù)就可獲得。 分類問題就解決了 。 現(xiàn)在一維空間設(shè)計 Fisher分類器 : W0的選擇 ??2010????????XWXWYXWXWYTT 210 YYW??1 2 1 21 2 1 201 2 1 22. TTN N N NWWY Y X XW N N N N????2022/5/29 37 Yki表示第 i類中第 k個樣本的投影值 N1為 ω1樣本數(shù) N2為 ω2樣本數(shù) 當(dāng) W0選定后 ， 對任一樣本 X， 只要判斷 Y=WTX0 則 X∈ ω1。投影樣本的總離散度越）來表示，要求用（投影樣本總的離散度可 2 21 2 ?? ?類間散布矩陣 SSS w 21 ??2022/5/29 35 上式就是 n維 x空間向一維 y空間 的最好投影方向， 它實際是多維空間向一維空間的一種映射。下面我們從數(shù)學(xué)上尋 找最好的投影方向即尋找最好的變換向量 W的問題。 X空間 X=WTXW0 0 X∈ ω1 X=WTXW0 0 X∈ ω2 映射 Y空間 Y=WTXW0 0 X∈ ω1 Y=WTXW0 0 X∈ ω2 把 X空間各點投影到 Y空間得一直線上 ,維數(shù)由 2維降為一維。 只要出現(xiàn) ek0 ， 迭代就應(yīng)立即停止 。 最小平方誤差法不論樣本是否線性可分都能給出 一加權(quán)矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測迭代過程中是否線性可分 。 W滿足 : XT(XWb)=0 為任意常數(shù)其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計算量很大 2022/5/29 26 因此下降算法不論 XTX是否奇異 ， 總能產(chǎn)生一個解 。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱為其中 XXXX TX T? ?? 1?????????????????????221..........1/......///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個， N/N2有 N2個 ?X2022/5/29 25 四 韋 — 霍氏法（ LMS法）迭代法 上節(jié)得到 MSE法的 W解為： W=X+b 在計算 X+時 ， 1． 要求 XTX矩陣為非奇異 2． 由于計算量太大而引入比較大誤差 所以要用迭代法來求 。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問題 ， 轉(zhuǎn)化為對 XTXW=XTb求解 ， 這 一有名的方程 ,最大好處是因 XTX是方陣且通常是非奇的 ， 所以可以得到 W的唯一解 。 ??????????????????????????NnNNnN XXXXXXXXXXX.................................21211121121? ?N ..... 2,1, XXX TX ?令每個樣本有 n個特征 ? ? N ..... 2,1,i bbb Tb ? 給定的任意正常數(shù) 2022/5/29 23 定義誤差向量： e=XWb≠0 把平方誤差作為目標(biāo)函數(shù) W的優(yōu)化就是使 J(W)最小 。 它們共同點是企圖找一個權(quán)向量 W， 使錯分樣本最小 。 2022/5/29 21 ? 作業(yè)：已知四個訓(xùn)練樣本 w1={(0,0),(0,1)} w2={(1,0),(1,1)} 使用感知器固定增量法求判別函數(shù) 設(shè) w1=(1,1,1) ρk=1 要求編寫程序上機運行 ， 寫出判別函數(shù) ， 并打出圖表 。如果我們把循環(huán)的權(quán)向量取平均值作 為待求的權(quán)向量，或就取其中之一為權(quán)向量，一般可以 解到較滿意的近似結(jié)果。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ? 感知器算法只對線性可分樣本有收斂的解 ,對非線性可分樣本集會造成訓(xùn)練過程的振蕩 ,這是它的缺點 .
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1