《模式識(shí)別導(dǎo)論》ppt課件(文件)
【正文】 維權(quán)向量 通常通過(guò)特征抽取可以獲得 n維特征向量 ， 因此 n維 權(quán)向量是要求解的 。 求解權(quán)向量的過(guò)程就是分類器的訓(xùn)練過(guò)程 ， 使用已 知類別的有限的學(xué)習(xí)樣本來(lái)獲得分類器的權(quán)向量被稱為 有監(jiān)督的分類 。 算法可以分為迭代法和非迭代法 。 方法就是從起始值 W1開(kāi)始 ， 算出 W1處目標(biāo)函數(shù)的梯度 矢量 ▽ J(W1)， 則下一步的 w值為： W2 = W1ρ 1▽ J(W1) W1為起始權(quán)向量 ρ1為迭代步長(zhǎng) J(W1) 為目標(biāo)函數(shù) ▽ J(W1)為 W1處的目標(biāo)函數(shù)的梯度矢量 2022/5/29 8 在第 K步的時(shí)候 Wk+1 = Wkρ k▽ J(Wk) ρk為正比例因子 這就是梯度下降法的迭代公式 。 應(yīng)該選最佳 ρk。 2022/5/29 11 二 感知器法 感知器的原理結(jié)構(gòu)為： 2022/5/29 12 通過(guò)對(duì) W的調(diào)整 ， 可實(shí)現(xiàn)判別函數(shù) g(x) =WTX RT 其中 RT為響應(yīng)閾值 定義感知準(zhǔn)則函數(shù)：只考慮錯(cuò)分樣本 定義： 其中 x0為錯(cuò)分樣本 當(dāng)分類發(fā)生錯(cuò)誤時(shí)就有 WTX 0，或－ WTX 0, 所以 J(W) 總是正值，錯(cuò)誤分類愈少， J(W)就愈小。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ? 感知器算法只對(duì)線性可分樣本有收斂的解 ,對(duì)非線性可分樣本集會(huì)造成訓(xùn)練過(guò)程的振蕩 ,這是它的缺點(diǎn) . 訓(xùn)練樣本 wkTx 修正式 修正后的權(quán)值 wk＋ 1 迭代次數(shù) x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1x3 w2x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 w3+x1 w4 w4x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 4 2022/5/29 19 線性不可分樣本集的分類解 (取近似解 ) 對(duì)于線性可分的樣本集，可以用上述方法解到正確分 類的權(quán)向量。 2022/5/29 21 ? 作業(yè)：已知四個(gè)訓(xùn)練樣本 w1={(0,0),(0,1)} w2={(1,0),(1,1)} 使用感知器固定增量法求判別函數(shù) 設(shè) w1=(1,1,1) ρk=1 要求編寫(xiě)程序上機(jī)運(yùn)行 ， 寫(xiě)出判別函數(shù) ， 并打出圖表 。 ??????????????????????????NnNNnN XXXXXXXXXXX.................................21211121121? ?N ..... 2,1, XXX TX ?令每個(gè)樣本有 n個(gè)特征 ? ? N ..... 2,1,i bbb Tb ? 給定的任意正常數(shù) 2022/5/29 23 定義誤差向量： e=XWb≠0 把平方誤差作為目標(biāo)函數(shù) W的優(yōu)化就是使 J(W)最小 。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱為其中 XXXX TX T? ?? 1?????????????????????221..........1/......///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個(gè)， N/N2有 N2個(gè) ?X2022/5/29 25 四 韋 — 霍氏法（ LMS法）迭代法 上節(jié)得到 MSE法的 W解為： W=X+b 在計(jì)算 X+時(shí) ， 1． 要求 XTX矩陣為非奇異 2． 由于計(jì)算量太大而引入比較大誤差 所以要用迭代法來(lái)求 。 最小平方誤差法不論樣本是否線性可分都能給出 一加權(quán)矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測(cè)迭代過(guò)程中是否線性可分 。 X空間 X=WTXW0 0 X∈ ω1 X=WTXW0 0 X∈ ω2 映射 Y空間 Y=WTXW0 0 X∈ ω1 Y=WTXW0 0 X∈ ω2 把 X空間各點(diǎn)投影到 Y空間得一直線上 ,維數(shù)由 2維降為一維。投影樣本的總離散度越）來(lái)表示，要求用（投影樣本總的離散度可 2 21 2 ?? ?類間散布矩陣 SSS w 21 ??2022/5/29 35 上式就是 n維 x空間向一維 y空間 的最好投影方向， 它實(shí)際是多維空間向一維空間的一種映射。 分類問(wèn)題就解決了 。 若有某個(gè)或某 幾 個(gè)子類不滿足條件即： 存在 Wi n(k)使 Wj n (k) xj ≤Wi n (k)l xj i≠j 所以 xj 錯(cuò)分類，要修改權(quán)向量。 如圖所示 ① 先用兩類線性判別函數(shù)求 出 W1,超平面 H1分成兩個(gè)區(qū) 間 ,每個(gè)區(qū)間包含兩類 。 w1Tx0 w4Tx≥0 w3Tx≥0 w2Tx≥0 Y N Y Y N N ω1 ω1 ω2 ω2 N Y ω1 樹(shù)狀決策框圖 2022/5/29 42 167。 算法 : 設(shè)初始電位為 K0(x)=0 x1計(jì)算積累電位 K1(x) 若 x∈ ω1 K1(
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1