[工學(xué)]第5章線性判別函數(shù)(編輯修改稿)
2024-11-12 18:49 本頁面
【文章內(nèi)容簡介】 量 廣義樣本向量 維數(shù)為 10 ( ) ( ) Tz g h? ? ?x y a y廣義線性 判別函數(shù) 19 Fisher線性判別 — 降維 /兩類 ?線性判別函數(shù) y = g(x) = wTx : ? 樣本向量 x各分量的線性加權(quán) ? 樣本向量 x與權(quán)向量 w的向量 點積 ? 如果 || w ||=1，則視作向量 x在 w上的 投影 ?Fisher準則的基本原理 ： 找到一個 最理想的投影軸 ，使兩類樣本在該軸上投影之間的距離盡可能遠，而每一類樣本的投影盡可能緊湊，從而使分類效果為最佳 20 Fisher線性判別 圖例 x1 x2 w1 H: g=0 w2 Fisher準則的描述：用投影后數(shù)據(jù)的統(tǒng)計性質(zhì) — 均值和離散度的函數(shù) 作為判別優(yōu)劣的標準 21 d維 X空間樣本分布的描述量 ? 各類 樣本均值向量 mi 1 1 , 2mx????iixKiiN? 樣本 類內(nèi)離散度矩陣 Si與 總類內(nèi)離散度矩陣 Sw ( )( ) , 1 , 2xS x m x m??? ? ? ??iTi i i i12S S S??w? 樣本 類間離散度 矩陣 Sb： 1 2 1 2( ) ( )S m m m m? ? ? Tb離散度矩陣在形式上與協(xié)方差矩陣很相似 22 一維 Y空間樣本分布的描述量 ? 各類 樣本均值 1 , 1 , 2?????iiyim y iN%? 樣本 類內(nèi)離散度 和總 類內(nèi)離散度 2( ) , 1 , 2??? ? ??iiiyS y m i% % 12wS S S??% % %? 樣本 類間離散度 212()bS m m??% %%以上定義描述 d維空間樣本點到一向量 投影后 的分散情況 23 原樣本與其投影統(tǒng)計量間的關(guān)系 ?樣本 x與其投影 y 的統(tǒng)計量之間的關(guān)系： 11 , 1 , 2yyx ww m???? ? ? ???iiTKiiTi iyim NN%221 2 1 21 2 1 2( ) ( )( ) ( )w m w mw m m m m w ww? ? ? ?? ? ? ?TTbTbTTmmSS%% %24 樣本與其投影統(tǒng)計量間的關(guān)系 22()()( ) ( )w x w mw x m xwwmw??????????? ? ?????????iiiiyTTixKTTiixiiKTyS mS%%1 1 1 2()w ww w? ? ? ? ?TwTwSS SSSS% %%25 Fisher準則函數(shù) ?評價投影方向 w的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)盡可能密集的要求 ?Fisher準則函數(shù)的定義： 12() wwww???TbbF TwSSJwS S S%%%? Fisher最佳投影方向的求解 * a r g m a x ( )www? FJ26 Fisher最佳投影方向的求解 ?采用拉格朗日乘子算法解決 *112()w m m???wSm1m2是一向量，對與 (m1m2)平行的向量投影可使兩均值點的距離最遠。但是如果從使類間分得較開，同時又使類內(nèi)密集程度較高這樣一個綜合指標來看，則 需根據(jù)兩類樣本的分布離散程度對投影方向作相應(yīng)的調(diào)整 ，這就體現(xiàn)在對 m1m2 向量按 Sw1作一線性變換，從而使 Fisher準則函數(shù)達到極值點 ( , ) ( )w w w w w??? ? ?TTbwL S S c定 義 27 判別函數(shù)的確定 ?前面討論了使 Fisher準則函數(shù)極大的 d維向量w*的計算方法，判別函數(shù)中的另一項 w0（閾值）可采用以下幾種方法確定： 120 2??? mmw %% 1 1 2 2012?? ? ??N m N mwmNN%% %? ?1212012l n ( ) / ( )22???????PPmmwNN%%010200w x xw x x??? ? ? ? ?? ? ? ? ?TTywyw? 分類規(guī)則 : 28 Fis
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1