模式識(shí)別導(dǎo)論(三)ppt-分類器的設(shè)計(jì)線性分類器的設(shè)計(jì)分段線性-文庫(kù)吧資料
2025-01-13 21:46本頁(yè)面
【正文】 kk2211111211221121120 )(.3 167。 現(xiàn)在一維空間設(shè)計(jì) Fisher分類器 : W0的選擇 ??2010????????XWXWYXWXWYTT 210 YYW??212121210 NN XWNXWNNNYNYNW TT?????? Yki表示第 i類中第 k個(gè)樣本的投影值 N1為 ω1樣本數(shù) N2為 ω2樣本數(shù) 當(dāng) W0選定后 ， 對(duì)任一樣本 X， 只要判斷 Y=WTX0 則 X∈ ω1。投影樣本的總離散度越）來(lái)表示，要求用（投影樣本總的離散度可 2 21 2 ?? ?類間散布矩陣 SSS w 21 ?? 上式就是 n維 x空間向一維 y空間 的最好投影方向， 它實(shí)際是多維空間向一維空間的一種映射。下面我們從 數(shù)學(xué)上尋找最好的投影方向，即尋找最好的變換向量 W的 問(wèn)題。 X空間 X=WTXW0 0 X∈ ω1 X=WTXW0 0 X∈ ω2 映射 Y空間 Y=WTXW0 0 X∈ ω1 Y=WTXW0 0 X∈ ω2 把 X空間各點(diǎn)投影到 Y空間得一直線上，維數(shù)由 2維降為一 維。 只要出現(xiàn) ek0 ， 迭代就應(yīng)立即停止 。 最小平方誤差法不論樣本是否線性可分都能給出 一加權(quán)矢量 ， 但不能保證此矢量就是分界矢量 ， 下面介紹一種方法 可以檢測(cè)迭代過(guò)程中是否線性可分 。 W滿足 : XT(XWb)=0 為任意常數(shù)其中令 ??? 11kk ?? ? XXX TX T? ?? 1偽逆 計(jì)算量很大 因此下降算法不論 XTX是否奇異 ， 總能產(chǎn)生一個(gè)解 。 ? ?? ??????Nib iX iW TbXWeWJ1222 ||||||||)( MSE準(zhǔn)則函數(shù) ? ? 0)(22J (W )1????? ? ??bXWXXb iX iW T TiNi 只要計(jì)算出 X+就可以得到 W ?。? 最小平方誤差法同 Fisher法是一致的。 求 J(W)的梯度并為 0。 現(xiàn)在我們把不等式組變成如下形式： WTXi=bi0 則有聯(lián)立方程 XW=b 這是矛盾方程組 ， 方程數(shù)大于未知 數(shù) ， 所以沒有精確解的存在 。 三 最小平方誤差準(zhǔn)則 (MSE法 )非迭代法 前面我們研究了線性不等式方程組 g(x) =WTX0的解法 。 例：在樣本 ω1: X1 =（ 0,2） X3 =（ 2,0） X5 =（ 1,1） ω2: X2 =（ 1,1） X4 =（ 0,2） X6 =（ 2,0） 求權(quán)向量的近似解 x2 x1 x6 x1 x3 － 2 x5 － 2 x4 x2 1 1 H 解：此為線性不可分問(wèn)題，利用感知器法求權(quán)向量 權(quán)向量產(chǎn)生循環(huán) (1, 2, 0), (0, 2, 2), (1, 1, 1), (1, 1, 1) (1, 1, 1), (0, 0, 0), (1, 2, 0) 因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取 W=(0,2,2)T 則判別函數(shù)為： g(x)= 2x1+2x2 判別面方程為： g(x)= 2x1+2x2＝ 0 所以 x1+x2＝ 0 由圖看出判別面 H把二類分開，但其中 x2錯(cuò)分到 ω1類， 而 x1錯(cuò)分到 ω2類，但大部分分類還是正確的。當(dāng)樣本集線性不可分時(shí)，用上述方法求權(quán) 值時(shí)算法不收斂。 x1 x2 x3 2 H 3 H1 4 H2 5 W區(qū)間 + ? 感知器算法： wk 如 wkTx≤0并且 x∈ ω1 wk+1= wkρkx 如 wkTx≥0并且 x∈ ω2 wk+1= wkρkx ， wk不修正 如 wkTx＞ 0并且 x∈ ω1 如 wkTx＜ 0并且 x∈ ω2 wk+1= wk + H wk+1 ρkx wk 權(quán)值修正過(guò)程 ? ρk選擇準(zhǔn)則 ① 固定增量原則 ρk固定非負(fù)數(shù) ② 絕對(duì)修正規(guī)則 ρk ③ 部分修正規(guī)則 ρk=λ 0＜ λ≤2 xxxwTT ||xxxwTT ||例題：有兩類樣本 ω1=（ x1,x2） ={(1,0,1),(0,1,1)} ω2=（ x3,x4） ={(1,1,0),(0,1,0)} 解：先求四個(gè)樣本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假設(shè)初始權(quán)向量 w1=(1,1,1,1) ρk=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=30 所以修正 w1 w2=w1x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正 w2 w3=w2x4=(0,1,1,1) 第一次迭代后 ,權(quán)向量 w3=(0,1,1,1),再進(jìn)行第 2,3,… 次迭代 如下表 直到在一個(gè)迭代過(guò)程中權(quán)向量相同 ， 訓(xùn)練結(jié)束 。 理想情況為 即求最小值的問(wèn)題。 當(dāng) D為奇異時(shí) ， 無(wú)法用牛頓法 。 選最佳 ρk 目標(biāo)函數(shù) J(W)二階臺(tái)勞級(jí)數(shù)展開式為 J(W)≈J(Wk)+ ▽ JT(W
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1