【正文】 ,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=30 所以修正 w1 w2=w1x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正 w2 w3=w2x4=(0,1,1,1) 第一次迭代后 ,權(quán)向量 w3=(0,1,1,1),再進(jìn)行第 2,3,… 次迭代 如下表 直到在一個迭代過程中權(quán)向量相同 ， 訓(xùn)練結(jié)束 。 理想情況為 即求最小值的問題。 當(dāng) D為奇異時 ， 無法用牛頓法 。 選最佳 ρk 目標(biāo)函數(shù) J(W)二階臺勞級數(shù)展開式為 J(W)≈J(Wk)+ ▽ JT(W Wk)+(W Wk)TD(W Wk)T/2 ① 其中 D為當(dāng) W = Wk時 J(W)的二階偏導(dǎo)數(shù)矩陣 將 W=Wk+1 = Wkρk▽ J(Wk)代入 ① 式得： J(Wk+1) ≈J(Wk) ρk||▽ J||2+ ρk2▽ JT D▽ J 其中 ▽ J=▽ J(Wk) 對 ρk求導(dǎo)數(shù) ， 并令導(dǎo)數(shù)為零有 最佳步長為 ρk=||▽ J||2/▽ JTD▽ J 這就是最佳 ρk的計算公式 ， 但因二階偏導(dǎo)數(shù)矩陣 D的計算 量太大 ， 因此此公式很少用 。 ρk太小 ， 迭代太慢 。 方法就是從起始值 W1開始 ， 算出 W1處目標(biāo)函數(shù)的梯度 矢量 ▽ J(W1)， 則下一步的 w值為： W2 = W1ρ 1▽ J(W1) W1為起始權(quán)向量 ρ1為迭代步長 J(W1) 為目標(biāo)函數(shù) ▽ J(W1)為 W1處的目標(biāo)函數(shù)的梯度矢量 在第 K步的時候 Wk+1 = Wkρ k▽ J(Wk) ρk為正比例因子 這就是梯度下降法的迭代公式 。 因此求解權(quán) 向量的問題就轉(zhuǎn)化為對一標(biāo)量函數(shù)求極值的問題 。 算法可以分為迭代法和非迭代法 。 求解時： ① 只有對線 性 可分的問題 ， g(x) =WTX才有解 ② 聯(lián)立方程的解是非單值 ， 在不同條件下 ， 有不同的解 ， 所以就產(chǎn)生了求最優(yōu)解的問題 ③ 求解 W的過程就是訓(xùn)練的過程 。 求解權(quán)向量的過程就是分類器的訓(xùn)練過程 ， 使用已 知類別的有限的學(xué)習(xí)樣本來獲得分類器的權(quán)向量被稱為 有監(jiān)督的分類 。第三章 分類器的設(shè)計 ? 線性分類器的設(shè)計 ? 分段線性分類器的設(shè)計 ? 非線性分類器的設(shè)計 167。 31 線性分類器的設(shè)計 上一章我們討論了線性判別函數(shù)形式為 :g(x)=WTX 其中 X= (X1, X2… Xn) n維特征向量 W= (W1, W2 … Wn , Wn+1) n維權(quán)向量 通常通過特征抽取可以獲得 n維特征向量 ， 因此 n維 權(quán)向量是要求解的 。 ???????0)(,0)(,21xgxxgx??分類準(zhǔn)則利用已知類別學(xué)習(xí)樣本來獲得權(quán)向量的訓(xùn)練過程如下 已知 x1 ∈ ω1, 通過檢測調(diào)整權(quán)向量，最終使 x1 ∈ ω1 已知 x2 ∈ ω2, 通過檢測調(diào)整權(quán)向量，最終使 x2 ∈ ω2 這樣就可以通過有限的樣本去決定權(quán)向量 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ 0 x∈ ω1 檢測 (已知類別 ) W1 X1 W2 X2 Wn Xn Wn+1 0 x∈ ω2 g(x)=wTx ??? WW 1利用方程組來求解權(quán)向量 對二類判別函數(shù) g(x) = W1X1+ W2X2 +W3 已知訓(xùn)練集： Xa, Xb, Xc, Xd且 當(dāng) (Xa, Xb) ∈W 1時 g(x)＞ 0 當(dāng) (Xc, Xd) ∈W 2時 g(x)＜ 0 設(shè) Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判別函數(shù)可聯(lián)立成： X1aW1+ X2aW2+ W3＞ 0 ① X1bW1+ X2bW2+ W3＞ 0 ② X1cW1+ X2cW2+ W3＜ 0 ③ X1dW1+ X2dW2+ W3＜ 0 ④ 求出 W1 , W2, W3 將 ③ ④式正規(guī)化，得 X1cW1 X2cW2 W3 0 X1dW1 X2dW2 W3 0 所以 g(x) =WTX 0 其中 W = (W1 , W2, W3)T 為各模式增 1矩陣 為 N*(n+1） 矩陣 N為樣本數(shù) ， n為特征數(shù) ???????????????????111121212121ddccbbaaXXXXXXXXX訓(xùn)練過程就是對已知類別的樣本集求解權(quán)向量 w， 這是一個線 性 聯(lián)立不等式方程組求解的過程 。 訓(xùn)練方法的共同點是 ， 先給出準(zhǔn)則函數(shù) ， 再尋找使準(zhǔn)則函數(shù)趨于極值的優(yōu)化算法 ， 不同的算法有不同的準(zhǔn)則函數(shù) 。 一 梯度下降法 — 迭代法 欲對不等式方程組 WTX0求解 ， 首先定義準(zhǔn)則函數(shù) (目 標(biāo)函數(shù) )J(W)， 再求 J(W)的極值使 W優(yōu)化 。 解決 此類問題的方法是梯度下降法 。 這樣一步步迭代 就可以收斂于解矢量 ， ρk取值很重要 ρk太大 ， 迭代太快 ， 引起振蕩 ， 甚至發(fā)散 。 應(yīng)該選最佳 ρk。 21若令 W=Wk+1上式為 J(Wk+1)=J(Wk)+▽ JT(Wk+1Wk)+(Wk+1Wk)TD(Wk+1Wk)T/2 對 Wk+1求導(dǎo) ， 并令導(dǎo)數(shù)為零可得： 最佳迭代公式： Wk+1= Wk D1▽ J — 牛頓法的迭代公式 D1是 D的逆陣 討論：牛頓法比梯度法收斂的更快 ， 但是 D的計算量大并且要計算 D1。 二 感知器法 感知器的原理結(jié)構(gòu)為： 通過對 W的調(diào)整 ， 可實現(xiàn)判別函數(shù) g(x) =WTX RT 其