[工學]第5章線性判別函數(shù)-文庫吧資料
2024-10-22 18:49本頁面
【正文】 xKTTiixiiKTyS mS%%1 1 1 2()w ww w? ? ? ? ?TwTwSS SSSS% %%25 Fisher準則函數(shù) ?評價投影方向 w的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內盡可能密集的要求 ?Fisher準則函數(shù)的定義： 12() wwww???TbbF TwSSJwS S S%%%? Fisher最佳投影方向的求解 * a r g m a x ( )www? FJ26 Fisher最佳投影方向的求解 ?采用拉格朗日乘子算法解決 *112()w m m???wSm1m2是一向量，對與 (m1m2)平行的向量投影可使兩均值點的距離最遠。試建立一映射 x→ y，使得 z轉化為 y的線性判別函數(shù)。 分 類 器 被 看 做 求 個 線 性 不被 正 確 分 類 等 式 的 解16 廣義線性判別函數(shù) 例 1：設五維空間的線性方程為55x1+68x2+32x3+16x4+26x5+10 =0，試求出其權向量與樣本向量點積的表達式 wTx+w0=0中的 w， x以及增廣權向量與增廣樣本向量形式 aTy中的 a與 y。第五章 線性判別函數(shù) ?線性判別函數(shù) ?Fisher線性判別 ?最小平方誤差準則 ?多類問題 ?分段線性判別函數(shù) 3 問題 的提出 Generative→Discriminative 基于樣本的 Bayes分類器：通過 估計類條件概率密度函數(shù) ，設計相應的判別函數(shù) ? “ 最優(yōu) ” 分類器： 錯誤率最小，風險最小等對分類器設計在理論上有指導意義 ? 獲取統(tǒng)計分布及其參數(shù)很困難，實際問題中并不一定具備獲取統(tǒng)計分布的條件 訓練 樣本集 樣本分布的 統(tǒng)計特征： 概率密度函數(shù) 決策規(guī)則： 判別函數(shù) 決策面方程 MAX g1 . . . g2 gc . . . x1 x2 xd y(x) 判別函數(shù) w1 w2 wd 4 基于訓練樣本確定判別函數(shù) ?例：正態(tài)分布最小錯誤率貝葉斯分類器在特殊情況下，是 線性判別函數(shù) g(x)=wTx（決策面是超平面） ，能否基于樣本直接確定 w? ?設定判別函數(shù)形式，用樣本集確定 參數(shù) ?使用 準則函數(shù) ，表達分類器應滿足的要求 ?這些準則的“ 最優(yōu) ”并不一定與錯誤率最小相一致： 次優(yōu)分類器 訓練樣本集 決策規(guī)則： 判別函數(shù) 決策面方程 選擇 “最優(yōu)” 準則 該樣本集中的每個樣本的類別已知 5 線性分類器設計步驟 ? 線性分類器設計任務：給定樣本集 K，確定線性判別函數(shù) g(x)=wTx 的各項系數(shù) w： 1. 收集一組樣本 K={x1,x2,… ,xN} 2. 按需要確定一 準則函數(shù) J(K,w)，其值反映分類器的性能，其 極值解 對應于 “ 最優(yōu) ”決策 3. 用最優(yōu)化技術求準則函數(shù) J的極值解 w*，從而確定判別函數(shù)，完成分類器設計 * a r g m a x ( , )www JK?? 對于未知樣本 x，計算 g(x)，判斷其類別 設計 應用 6 線性判別函數(shù) ?d維空間中的線性判別函數(shù)的一般形式： ? x是樣本向量，即樣本在 d維特征空間中的描述， w是權向量， w0是一個常數(shù) (閾值權 ) 0() w xx ? ?Tg w? ? ? ?2 121 , ..... , , .wx ? ? TdTdx x x w w w7 為了說明向量 W的意義，我們假設在決策平面上有兩個特征向量 X1與 X2， 則應有 其中 (X1X2)也是一個向量，上式表明向量 W與該平面上任兩點組成的向量 (X1X2)正交，因此 W的方向就是決策面的法線方向 1xw2x? ? 0?xg平面8 兩類問題的分類決策規(guī)則 12g0g0g0xxxxx?????????( ) , 則 決 策如 果 ( ) , 則 決 策( )= , 可 將 其 任 意 分 類 或 拒 絕( ) 0gx ?2?1?1x2x??9
教學課件相關推薦
鄂ICP備17016276號-1