線性判別函數(shù)ppt課件-資料下載頁
2025-01-15 07:44本頁面
【正文】 線性判別函數(shù) 78 MSE準(zhǔn)則函數(shù)的偽逆解 1( ) 2( ) 2 ( )NTTs i i iiJ b Y Y?? ? ? ? ??a a y y a b**( ) 0 TTsJ Y Y Y? ? ? ?a a b*1 () TTY Y Y Y????a b bY的 偽逆矩陣 MSE 第四章 線性判別函數(shù) 79 MSE方法的迭代解 ?a*=Y+b, Y+=(YTY)1YT，計(jì)算量大 ?實(shí)際中常用梯度下降法： 1( ) 2( ) 2 ( )NTTs i i iiJ b Y Y?? ? ? ? ??a a y y a b11,()Tk k kr Y Y??? ? ? ??aa a a b任 意 初 始 化11 (,)Tk kkk kkkr b??? ??? ?aaa ay y任 意 初 始 化批量樣本修正法 單樣本修正法 MSE 1k rr k?WidrowHoff 第四章 線性判別函數(shù) 80 LMSE算法的思想 此方法也稱為 HoKashyap算法 (HK算法 ) ?將線性不等式組 XW≥0的問題，轉(zhuǎn)化為解線性方程組 XW=B的問題。 ?其中： B=(b1, b2, …, bN)T， bi≥0 第四章 線性判別函數(shù) 81 優(yōu)化的準(zhǔn)則函數(shù) ?定義誤差矢量 e： ??e X W B? 定義準(zhǔn)則函數(shù) J(W,B)： ? ? ? ? ? ?221 1 1, 2 2 2 TJ ? ? ? ? ? ?W B e X W B X W B X W B梯度法求解 ? 上面兩個公式成立的 W即為所求。 0J? ??W 0J? ??B? 定義偽逆矩陣 X*： ? ? 1TT?? ?X X X X? ? 1* TT ???W X B X X X B第四章 線性判別函數(shù) 83 梯度下降算法計(jì)算實(shí)例 ? 有兩類的二維數(shù)據(jù)，其中第一類的兩個樣本為 (1,4) t和(2,3) t，第二類的兩個樣本為 (3,2) t和 (4,1) t。假設(shè)初始的 a=(0,1,0) t， n(k)=1利用批處理感知器算法求解線性判別函數(shù) g(y)=aty的權(quán)向量 a。 ? 首先對每個樣本增加一維為增廣樣本。然后規(guī)范化第二類的樣本為： (3,2,1) t和 (4,1,1) t。 ? 計(jì)算錯分的樣本集： – g(y1)=(0,1,0)(1,4,1) t=4（正確） – g(y2)=(0,1,0)(2,3,1) t=3（正確） – g(y3)=(0,1,0)(3,2,1) t=2（錯分） – g(y4)=(0,1,0)(4,1,1) t=1（錯分） 第四章 線性判別函數(shù) 84 ? 對錯分的樣本集求和： – (3,2,1) t+(4,1,1) t =(7,3,2) t ? 修正權(quán)向量 a： – a= (0,1,0) t +(7,3,2) t= (7,2,2) t ? 再計(jì)算錯分的樣本集： – g(y1)=(7,2,2)(1,4,1) t=17 （錯分） – g(y2)=(7,2,2)(2,3,1) t=22 （錯分） – g(y3)=(7,2,2)(3,2,1) t=27 （正確） – g(y4)=(7,2,2)(4,1,1) t=32 （正確） 第四章 線性判別函數(shù) 85 ? 對錯分的樣本集求和： – (1,4,1) t+(2,3,1) t =(3,7,2) t ? 修正權(quán)向量 a： – a= (7,2,2) t +(3,7,2) t= (4,5,0) t ? 再計(jì)算錯分的樣本集： – g(y1)=(4,5,0)(1,4,1) t=16 （正確） – g(y2)=(4,5,0)(2,3,1) t=7 （正確） – g(y3)=(4,5,0)(3,2,1) t=2 （正確） – g(y4)=(4,5,0)(4,1,1) t=11 （正確） ? 全部樣本正確分類，算法結(jié)束 ? a=(4,5,0) t。 最小平方誤差的準(zhǔn)則函數(shù) ? 定義誤差矢量 e，用 e長度的平方作為準(zhǔn)則函數(shù)： ??e Y a b? ? 2SJ ??a Y a b權(quán)值矢量的求解 (偽逆求解法 ) ? ? ? ?2 tSJ? ? ? ?a Y Y a b 0tt?Y Ya Y b? ? 1tt? ???a Y Y Y b Y b? ? 1tt?? ?Y Y Y Y稱為偽逆矩陣 第四章 線性判別函數(shù) 88 例 ?有兩類模式的訓(xùn)練樣本： ω1： { (0,0), (0,1) } ω2： { (1,0), (1,1) } 用 LMSE算法求取判別函數(shù)，將兩類樣本分開。 權(quán)值矢量的求解 (迭代求解法 ) 1. begin initialize a(0), b, θ, η(?), k?0； 2. do k?k+1； 3. 4. 5. until 6. return a 7. end ? ? ? ? ? ? ? ?11 n ti i iik k k b??? ? ? ??a a a y y? ? ? ?1n ti i iikb?????? a y yLMSE算法的特點(diǎn) ? 算法的收斂依靠 η(k)的衰減，一般取η(k)=η(1)/k； ? 算法對于線性不可分的訓(xùn)練樣本也能夠收斂于一個均方誤差最小解； ? 取 b=1時，當(dāng)樣本數(shù)趨于無窮多時，算法的解以最小均方誤差逼近貝葉斯判別函數(shù)； ? 當(dāng)訓(xùn)練樣本線性可分的情況下，算法未必收斂于一個分類超平面。 第四章 線性判別函數(shù) 91 討論 ? 基于樣本的 直接確定判別函數(shù)方法 主要包含兩個步驟： 1. 確定使用的 判別函數(shù)類型 或決策面方程類型，如線性分類器，分段線性分類器等 2. 在選定函數(shù)類型的條件下， 確定相應(yīng)的參數(shù) ，從而完成整個分類器設(shè)計(jì) ? 線性判別函數(shù)計(jì)算簡單，在一定條件下能實(shí)現(xiàn)最優(yōu)分類，經(jīng)常是一種 “ 有限合理 ”的選擇 ? 分段線性分類器可以實(shí)現(xiàn)更復(fù)雜的分類面 第四章 線性判別函數(shù) 92 習(xí)題 1. 有一個三次判別函數(shù)： z=g(x)=x3+2x2+3x+4。試建立一映射 x→ y，使得 z轉(zhuǎn)化為 y的線性判別函數(shù)。 2. 證明決策面 H： wTx+w0=0的系數(shù)向量 w是決策面 H的法向量 3. 設(shè)五維空間的線性方程為55x1+68x2+32x3+16x4+26x5+10 =0，試求出其權(quán)向量與樣本向量點(diǎn)積的表達(dá)式 wTx+w0=0中的 w， x以及增廣權(quán)向量與增廣樣本向量形式 aTy中的 a與 y 4. 設(shè)在三維空間中一個類別分類問題擬采用二次曲面。如欲采用廣義線性方程求解，試問其廣義樣本向量與廣義權(quán)向量的表達(dá)式，其維數(shù)是多少？
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1