模式識(shí)別導(dǎo)論三ppt課件-文庫(kù)吧資料
2025-05-07 02:36本頁(yè)面
【正文】 ??????????????111101110100X? ???????????????????????2/12/12/12/311111111211XXX TX TX的規(guī)范矩陣為 x2 x1 x1 x2 x3 x4 取 b1=(1,1,1,1)T c=1 W1=X+b1=(2,0,1)T 所以 W1為所求解 e1=XW1b1=0 系統(tǒng)線性可分 ? ? 01111102111101110100,1 ???????????? ???????????????????TWX因?yàn)? 若四個(gè)樣本變成： ω1={(0,0)T,(1,1)T} ω2={(0,1)T,(1,0)T} 解： 取 b1=(1,1,1,1)T c=1 W1=X+b1=(0,0,0)T e1=XW1b1=(1,1,1,1)T0 系統(tǒng)線性不可分 C為校正系數(shù) ,取 0＜ C ≤1 在算法進(jìn)行過(guò)程中 ， 應(yīng)在每一次迭代時(shí) ， 檢測(cè) ek 的值 。 若訓(xùn)練樣本無(wú)限的重復(fù)出現(xiàn) ， 則簡(jiǎn)化為 W1任意 Wk+1=Wk+ρk(bkWkTXk) Xk ρk隨迭代次數(shù) k而減少 ， 以保證算法收斂于滿(mǎn)意 的 W值 k1K???取五 何 — 卡氏法 （判斷迭代過(guò)程中是否線性可分） 若訓(xùn)練樣本線性可分時(shí) ， 感知器法可求出界面 ， 但對(duì)不可分問(wèn)題不 收斂只能取平均 。 ? ? bXbXXX TW T ?? ?? 1? ? 的偽逆（規(guī)范矩陣）稱(chēng)為其中 XXXX TX T? ?? 1?????????????????????221..........1/......///NNNNNNNNb（ MSE 解） 其中 N/N1有 N1個(gè)， N/N2有 N2個(gè) 四 韋 — 霍氏法（ LMS法）迭代法 上節(jié)得到 MSE法的 W解為： W=X+b 在計(jì)算 X+時(shí) ， 1． 要求 XTX矩陣為非奇異 2． 由于計(jì)算量太大而引入比較大誤差 所以要用迭代法來(lái)求 求 J(W)的梯度 ▽ J(W) =2XT(XWb) 代入迭代公式 W1任意設(shè)定 Wk+1 = WkρkXT(XWkb) 此法可收斂于 W值 。 解上方程得 XTXW=XTb 這樣把求解 XW=b的問(wèn)題 ， 轉(zhuǎn)化為對(duì) XTXW=XTb求解 ， 這 一有名的方程最大好處是因 XTX是方陣且通常是非奇異的 ， 所以可以得到 W的唯一解 。 ??????????????????????????NnNNnN XXXXXXXXXXX.................................21211121121? ?N ..... 2,1, XXX TX ?令? ? 給定的任意正常數(shù)N ..... 2,1, bbb Tb ?每個(gè)樣本有 n個(gè)特征 定義誤差向量： e=XWb≠0 把平方誤差作為目標(biāo)函數(shù) W的優(yōu)化就是使 J(W)最小 。它們共同點(diǎn)是企圖找一個(gè)權(quán)向量 W， 使錯(cuò)分樣本最小 。 例：在樣本 ω1: X1 =（ 0,2） X3 =（ 2,0） X5 =（ 1,1） ω2: X2 =（ 1,1） X4 =（ 0,2） X6 =（ 2,0） 求權(quán)向量的近似解 x2 x1 x6 x1 x3 － 2 x5 － 2 x4 x2 1 1 H 解：此為線性不可分問(wèn)題，利用感知器法求權(quán)向量 權(quán)向量產(chǎn)生循環(huán) (1, 2, 0), (0, 2, 2), (1, 1, 1), (1, 1, 1) (1, 1, 1), (0, 0, 0), (1, 2, 0) 因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取 W=(0,2,2)T 則判別函數(shù)為： g(x)= 2x1+2x2 判別面方程為： g(x)= 2x1+2x2＝ 0 所以 x1+x2＝ 0 由圖看出判別面 H把二類(lèi)分開(kāi)，但其中 x2錯(cuò)分到 ω1類(lèi)， 而 x1錯(cuò)分到 ω2類(lèi)，但大部分分類(lèi)還是正確的。當(dāng)樣本集線性不可分時(shí)，用上述方法求權(quán) 值時(shí)算法不收斂。 x1 x2 x3 2 H 3 H1 4 H2 5 W區(qū)間 + ? 感知器算法： wk 如 wkTx≤0并且 x∈ ω1 wk+1= wkρkx 如 wkTx≥0并且 x∈ ω2 wk+1= wkρkx ， wk不修正 如 wkTx＞ 0并且 x∈ ω1 如 wkTx＜ 0并且 x∈ ω2 wk+1= wk + H wk+1 ρkx wk 權(quán)值修正過(guò)程 ? ρk選擇準(zhǔn)則 ① 固定增量原則 ρk固定非負(fù)數(shù) ② 絕對(duì)修正規(guī)則 ρk ③ 部分修正規(guī)則 ρk=λ 0＜ λ≤2 xxxwTT ||xxxwTT ||例題：有兩類(lèi)樣本 ω1=（ x1,x2） ={(1,0,1),(0,1,1)} ω2=（ x3,x4） ={(1,1,0),(0,1,0)} 解：先求四個(gè)樣本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假設(shè)初始權(quán)向量 w1=(1,1,1,1) ρk=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1