《模式識別導(dǎo)論》ppt課件-文庫吧
2025-04-16 02:36 本頁面
【正文】 J2022/5/29 13 求最小值對 W求梯度 代入迭代公式中 Wk+1 = Wkρk▽ J 由 J(W)經(jīng)第 K+1次迭代的時候， J(W)趨于 0，收斂于所求的 W值 ? ??? ??????0)(XX XWWJJ?????01 XX XWW kkk ?即感知器迭代公式：2022/5/29 14 W的訓(xùn)練過程： 例如 :x1, x2, x3∈ ω1 作 x1, x3的垂直線可得解區(qū) (如圖 ) 假設(shè) 起始權(quán)向量 w1=0 ρ k = 1 １ ． x1, x2, x3三個矢量相加得矢量 2,垂直于矢量 2的超平面 H將 x3錯分 . ２ ． x3與矢量 2相加得矢量 3,垂直于矢量 3的超平面 H1,將 x1錯分 . ３ ． 依上法得矢量 4,垂直于矢量 4做超平面 , H2將 x3錯分 ４ ． x3與矢量 4相加得矢量 5,矢量 5在解區(qū)內(nèi) ,垂直于矢量 5的超平面可以把 x1, x2, x3分成一類 。 x1 x2 x3 2 H 3 H1 4 H2 5 W區(qū)間 2022/5/29 15 ? 感知器算法： wk 如 wkTx≤0并且 x∈ ω1 wk+1= wk+ρkx 如 wkTx≥0并且 x∈ ω2 wk+1= wkρkx ， wk不修正 如 wkTx＞ 0并且 x∈ ω1 如 wkTx＜ 0并且 x∈ ω2 wk+1= wk + H wk+1 ρkx wk 權(quán)值修正過程 2022/5/29 16 ? ρk選擇準(zhǔn)則 ① 固定增量原則 ρk固定非負(fù)數(shù) ② 絕對修正規(guī)則 ρk ③ 部分修正規(guī)則 ρk=λ 0＜ λ≤2 xXxwTT ||xXxwTT ||2022/5/29 17 例題：有兩類樣本 ω1=（ x1,x2） ={(1,0,1),(0,1,1)} ω2=（ x3,x4） ={(1,1,0),(0,1,0)} 解：先求四個樣本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假設(shè)初始權(quán)向量 w1=(1,1,1,1) ρk=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=30 所以修正 w1 w2=w1x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正 w2 w3=w2x4=(0,1,1,1) 第一次迭代后 ,權(quán)向量 w3=(0,1,1,1),再進(jìn)行第 2,3,… 次迭代 如下表 x1 x2 x3 x1 x2 x3 x4 1 1 1 2022/5/29 18 直到在一個迭代過程中權(quán)向量相同 ， 訓(xùn)練結(jié)束 。 w6=w=(0,1,3,0) 判別函數(shù) g(x)= x2+3x3 ? 感知器算法只對線性可分樣本有收斂的解 ,對非線性可分樣本集會造成訓(xùn)練過程的振蕩 ,這是它的缺點 . 訓(xùn)練樣本 wkTx 修正式 修正后的權(quán)值 wk＋ 1 迭代次數(shù) x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + + 0 w1 w1 w1x3 w2x4 1 1 1 1 1 1 1 1 0 0 1 0 0 –1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 + 0 w3+x1 w4 w4x3 w5 1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + w5 w5+x2 w6 w6 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 3 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 + + w6 w6 w6 w6 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 –1 3 0 4 2022/5/29 19 線性不可分樣本集的分類解 (取近似解 ) 對于線性可分的樣本集，可以用上述方法解到正確分 類的權(quán)向量。當(dāng)樣本集線性不可分時，用上述方法求權(quán) 值時算法不收斂。如果我們把循環(huán)的權(quán)向量取平均值作 為待求的權(quán)向量，或就取其中之一為權(quán)向量，一般可以 解到較滿意的近似結(jié)果。 例：在樣本 ω1: X1 =（ 0,2） X3 =（ 2,0） X5 =（ 1,1） ω2: X2 =（ 1,1） X4 =（ 0,2） X6 =（ 2,0） 求權(quán)向量的近似解 x2 x1 x6 x1 x3 － 2 x5 － 2 x4 x2 1 1 H 2022/5/29 20 解：此為線性不可分問題，利用感知器法求權(quán)向量 權(quán)向量產(chǎn)生循環(huán) (1, 2, 0), (0, 2, 2), (1, 1, 1), (1, 1, 1) (1, 1, 1), (0, 0, 0), (1, 2, 0) 因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取 W=(0,2,2)T 則判別函數(shù)為： g(x)= 2x1+2x2 判別面方程為： g(x)= 2x1+2x2＝ 0 所以 x1+x2＝ 0 由圖看出判別面 H把二類分開，但其中 x2 錯分到 ω1類， 而 x5錯分到 ω2類，但大部分分類還是正確的。 2022/5/29 21 ? 作業(yè)：已知四個訓(xùn)練樣本 w1={(0,0),(0,1)} w2={(1,0),(1,1)} 使用感知器固定增量法求判別函數(shù) 設(shè) w1=(1,1,1) ρk=1 要求編寫程序上機運行 ， 寫出判別函數(shù)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1