[工學]第5章線性判別函數(shù)-在線瀏覽
2024-12-03 18:49本頁面
【正文】 ) iT iiz g x h ay??? ? ? ?y a y18 廣義線性判別函數(shù) 例 3： 設在三維空間中一個兩類別分類問題擬采用二次曲面。但是如果從使類間分得較開，同時又使類內密集程度較高這樣一個綜合指標來看，則 需根據(jù)兩類樣本的分布離散程度對投影方向作相應的調整 ，這就體現(xiàn)在對 m1m2 向量按 Sw1作一線性變換，從而使 Fisher準則函數(shù)達到極值點 ( , ) ( )w w w w w??? ? ?TTbwL S S c定 義 27 判別函數(shù)的確定 ?前面討論了使 Fisher準則函數(shù)極大的 d維向量w*的計算方法，判別函數(shù)中的另一項 w0（閾值）可采用以下幾種方法確定： 120 2??? mmw %% 1 1 2 2012?? ? ??N m N mwmNN%% %? ?1212012l n ( ) / ( )22???????PPmmwNN%%010200w x xw x x??? ? ? ? ?? ? ? ? ?TTywyw? 分類規(guī)則 : 28 Fisher準則舉例 例 1： 設兩類樣本的類內離散矩陣分別為 S1， S2，各類樣本均值分別為m1=(2, 0)T, m2=(2, 2)T, 試用 Fisher準則求其決策面方程 解 121 1211???????S122 1211?????????S由于兩類樣本分布形狀是相同的（只是方向不同），因此 w0應為（投影后）兩類均值的中點 122002W??? ? ?????S S S*1w 1 20 . 5 0 0 0()0 0 . 5 2 1? ? ? ? ? ? ?? ? ? ?? ? ? ? ? ???? ? ? ? ? ?w S m mT1 2 1 20m m * ( ) 122w??? ? ? ? ?w m mFisher準則最佳投影 T02*01wx???wx即 ：Fisher準則最佳分界面 29 Fisher最佳線性分界面 R1 R2 圖中綠線為最佳分界面 x1 x2 30 最小平方誤差準則 MSE ? 對于增廣樣本向量，線性判別函數(shù)為 g(x)=aTy ? 規(guī)范化增廣樣本向量 yi， 增廣權向量 a， yi被正確分類，要求： aTyi0, i=1,… ,N ? 線性分類器設計 ? 求一組 N個線性不等式的解 ? 樣本集 增廣矩陣 Y及 一組 N個線性不等式的的 矩陣表示： ?11 121 1?21 221 2?12........ . .. . .. . .. .......yyy???????????????????? ???? ??TdTdTNNN Ndy y yy y yYy y y0a??Y? 引入余量 (目標向量 ) b=[b1, b2, … , bN]T， bi任意給定正常數(shù)， aTyi = bi 0 ? N個線性方程的的 矩陣表示： ab??Y31 平方誤差準則函數(shù) ?定義 誤差向量 e =Ya b： ?定義 平方誤差準則函數(shù) Js(a): 22 21( ) ( )a e a b a y?? ? ? ? ??NTs i iiJ Y b? 最小二乘解（ MSE解 ）： * a r gm in ( )sJ?aaaMSE方法的思想：對每個樣本，設定一個 “理想 ”的判別函數(shù)輸出值，以最小平方誤差為準則求最優(yōu)權向量 32 MSE準則函數(shù)的偽逆解 1( ) 2 ( ) 2 ( )a a y y a b?? ? ? ? ??NTTs i i iiJ b Y Y**( ) 0a a b? ? ? ?TTsJ Y Y Y*1 ()a b b????TTY Y Y YY的 偽逆矩陣 33 MSE方法的迭代解 ?a*=Y+b, Y+=(YTY)1YT，計算量大 ?實際中常用 梯度下降法 ： 1( ) 2 ( ) 2 ( )a a y y a b?? ? ? ? ??NTTs i i iiJ b Y Y( 1 ) ,( 1 ) ( ) ( )aa a a b?? ? ? ? ?? Tkk k r Y Y任 意 初
教學課件相關推薦
鄂ICP備17016276號-1