模式識(shí)別導(dǎo)論ppt課件-展示頁(yè)
2025-05-10 02:36本頁(yè)面
【正文】 (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判別函數(shù)可聯(lián)立成： X1aW1+ X2aW2+ W3＞ 0 ① X1bW1+ X2bW2+ W3＞ 0 ② X1cW1+ X2cW2+ W3＜ 0 ③ X1dW1+ X2dW2+ W3＜ 0 ④ 求出 W1 , W2, W3 1?2?2022/5/29 5 將 ③ ④式正規(guī)化，得 X1cW1 X2cW2 W3 0 X1dW1 X2dW2 W3 0 所以 g(x) =WTX 0 其中 W = (W1 , W2, W3)T 為各模式增 1矩陣 為 N*(n+1） 矩陣 N為樣本數(shù) ， n為特征數(shù) ???????????????????111121212121ddccbbaaXXXXXXXXX2022/5/29 6 訓(xùn)練過(guò)程就是對(duì)已知類(lèi)別的樣本集求解權(quán)向量 w， 這是一個(gè)線 性 聯(lián)立不等式方程組求解的過(guò)程 。 訓(xùn)練方法的共同點(diǎn)是 ，先給出準(zhǔn)則函數(shù) ， 再尋找使準(zhǔn)則函數(shù)趨于極值的優(yōu)化算法 ， 不同的算法有不同的準(zhǔn)則函數(shù) 。 2022/5/29 7 一 ．梯度下降法 — 迭代法 欲對(duì)不等式方程組 WTX0求解 ， 首先定義準(zhǔn)則函數(shù)目標(biāo) 函數(shù) )J(W)， 再求 J(W)的極值使 W優(yōu)化 。 解決 此類(lèi)問(wèn)題的方法是梯度下降法 。 這樣一步步迭代 就可以收斂于解矢量 ， ρk取值很重要 。 ρk太小 ， 迭代太慢 。 2022/5/29 9 選最佳 ρk 目標(biāo)函數(shù) J(W)二階臺(tái)勞級(jí)數(shù)展開(kāi)式為 J(W)≈J(Wk)+ ▽ JT(W Wk)+(W Wk)TD(W Wk)T/2 ① 其中 D為當(dāng) W = Wk時(shí) J(W)的二階偏導(dǎo)數(shù)矩陣 將 W=Wk+1 = Wkρk▽ J(Wk)代入 ① 式得： J(Wk+1) ≈J(Wk) ρk||▽ J||2+ ρk2▽ JT D▽ J 其中 ▽ J=▽ J(Wk) 對(duì) ρk求導(dǎo)數(shù) ， 并令導(dǎo)數(shù)為零有 最佳步長(zhǎng)為 ρk=||▽ J||2/▽ JTD▽ J 這就是最佳 ρk的計(jì)算公式，但因二階偏導(dǎo)數(shù)矩陣 D的計(jì)算量太大，因此此公式很少用。 當(dāng) D為奇異時(shí) ， 無(wú)法用牛頓法 。 理想情況為 即求最小值的問(wèn)題。 x1 x2 x3 2 H 3 H1 4 H2 5 W區(qū)間 2022/5/29 15 ? 感知器算法： wk 如 wkTx≤0并且 x∈ ω1 wk+1= wk+ρkx 如 wkTx≥0并且 x∈ ω2 wk+1= wkρkx ， wk不修正 如 wkTx＞ 0并且 x∈ ω1 如 wkTx＜ 0并且 x∈ ω2 wk+1= wk + H wk+1 ρkx wk 權(quán)值修正過(guò)程 2022/5/29 16 ? ρk選擇準(zhǔn)則 ① 固定增量原則 ρk固定非負(fù)數(shù) ② 絕對(duì)修正規(guī)則 ρk ③ 部分修正規(guī)則 ρk=λ 0＜ λ≤2 xXxwTT ||xXxwTT ||2022/5/29 17 例題：有兩類(lèi)樣本 ω1=（ x1,x2） ={(1,0,1),(0,1,1)} ω2=（ x3,x4） ={(1,1,0),(0,1,0)} 解：先求四個(gè)樣本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假設(shè)初始權(quán)向量 w1=(1,1,1,1) ρk=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=30 所以修正 w1 w2=w1x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正 w2 w3=w2x4=(0,1,1,1) 第一次迭代后 ,權(quán)向量 w3=(0,1,1,1),再進(jìn)行第 2,3,… 次迭代 如下表 x1 x2 x3 x1 x2 x3 x4 1 1 1 2022/5/29 18 直到在一個(gè)迭代過(guò)程中權(quán)向量相同 ， 訓(xùn)練結(jié)束 。當(dāng)樣本集線性不可分時(shí)，用上述方法求權(quán) 值時(shí)算法不收斂。 例：在樣本 ω1: X1 =（ 0,2） X3 =（ 2,0） X5 =（ 1,1） ω2: X2 =（ 1,1） X4 =（ 0,2） X6 =（ 2,0） 求權(quán)向量的近似解 x2 x1 x6 x1 x3 － 2 x5 － 2 x4 x2 1 1 H 2022/5/29 20 解：此為線性不可分問(wèn)題，利用感知器法求權(quán)向量 權(quán)向量產(chǎn)生循環(huán) (1, 2, 0), (0, 2, 2), (1, 1, 1), (1, 1, 1) (1, 1, 1), (0, 0, 0), (1, 2, 0) 因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取 W=(0,2,2)T 則判別函數(shù)為： g(x)= 2x1+2x2 判別面方程為： g(x)= 2x1+2x2＝ 0 所以 x1+x2＝ 0 由圖看出判別面 H把二類(lèi)分開(kāi)，但其中 x2 錯(cuò)分到 ω1類(lèi)， 而 x5錯(cuò)分到 ω2類(lèi)，但大部分分類(lèi)還是正確的。 2022/5/29 22 三 最小平方誤差準(zhǔn)則 (MSE法 )非迭代法 前面我們研究了線性不等式方程組 g(x) =WTX0的解法 。 現(xiàn)在我們把不等式組變成如下形式： WTXi=bi0 則有聯(lián)立方程 XW=b 這是矛盾方程組 ， 方程數(shù)大于未知 數(shù) ， 所以沒(méi)有精確解的存在 。 求 J(W)的梯度并為 0。 ? ?? ??????Nib iX iW TbXWeWJ
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1