[工學(xué)]第5章線性判別函數(shù)-閱讀頁
2024-10-31 18:49本頁面
【正文】 始 化( 1 ) ,( 1 ) ( ) ( ( ) )aa a a y y?? ? ? ? ?? T k kkkk k r b k任 意 初 始 化批量樣本修正法 單樣本修正法 34 ?梯度下降算法： 對 (迭代 )向量沿某函數(shù)的 負梯度方向修正，可較快到達該函數(shù)極小值 35 MSE方法與 Fisher方法的關(guān)系 ?與 Fisher方法的關(guān)系：可證明當 MSE解等價于 Fisher解 1122/...//.../b????????? ????????????NNNNNNNNN1個 N2個 36 MSE方法與 Bayes方法的關(guān)系 ?可證明當 N→∞， b=uN= [1,1, … , 1]T 時，則它以 最小均方誤差 逼近 Bayes判別函數(shù)： 12( ) ( | ) ( | )x x x????g P P37 多類問題 ?兩類別問題可以推廣到多類別問題 ?ωi/~ωi 法： 將 C類別問題化為 (C1)個兩類（第 i類與所有非 i類）問題，按兩類問題確定其判別函數(shù)與決策面方程 ?ωi/ωj 法： 將 C類中的每兩類別單獨設(shè)計其線性判別函數(shù)，因此總共有 C(C1)/2個線性判別函數(shù) R1 R3 R2 ω 1 非 ω 1 ω2 非 ω 2 R1 R3 R2 ω 1 ω2 ω 1 ω 3 ω 3 ω 2 38 多類線性判別函數(shù) ?將特征空間確實劃分為 c個決策域， 共有 c個判別函數(shù) 0( ) , 1 , . . . ,x w x? ? ?Ti i ig w i c? 決策規(guī)則： a r g m a x ( ) , 1 , . . . ,x?? iij g i c? 決策域的邊界 由相鄰決策域的判別函數(shù)共同決定，此時應(yīng)有 gi(x)=gj(x) ? 線性分類器的決策面是凸的，決策區(qū)域是單連通的 ? 多類分類器的分界面是分段線性的 39 多類線性決策面圖例 R1 R3 R2 g1g2 g1g3 g3g1 g3g2 g2g3 g2g1 R1 R3 R2 R5 R4 40 決策樹 ?決策樹 ：一種多極分類器，它采用分級的形式，綜合用多個決策規(guī)則，逐步把復(fù)雜的多類別分類問題轉(zhuǎn)化為若干個簡單的分類問題來解決 n1 n2 n3 n4 n5 t1 t2 t3 t4 t5 t6 t7 41 二叉決策樹 二叉決策樹把復(fù)雜的多類別分類問題轉(zhuǎn)化為 多級兩類分類問題 來解決 n1 n2 n3 n4 t1 t2 t5 x2≤5 x1≤2 x3≤4 x2≤2 ω1 ω2 ω3 ω2 ω3 t3 t4 42 分段線性判別函數(shù) ?有些復(fù)雜模式識別問題不是線性可分的，需使用 非線性的分類 方法 ?分段線性判別函數(shù) ：一種特殊的非線性判別函數(shù)，它的 決策面是若干超平面 R1 R3 R2 III I II I: 線性判別 II：分段線性判別 III: 二次判別 43 分段線性距離分類器 ?最小距離分類器 ：把各類別樣本的 均值向量作為各類的代表點 (prototype) ，根據(jù) 待識樣本到各類別代表點的 最小距離判別其類別 。 1 , . . . ,x w x? ? ? ?k k T ki i i ig w k l i c? 第 i類的判別函數(shù) : 1 , . . . ,( ) m a x ( )xx??ikii klgg47 分段線性判別函數(shù) ?判別規(guī)則 : 1 , . . . ,i f ( ) m a x ( ) t h e n x x x ????j i jicgg? 決策面取決于相鄰的決策域，如第 i類的第n個子類與第 j類的第 m個子類相鄰，則由它們共同決定的決策面方程為 ( ) ( )xx?nmijgg48 討論 ? 基于樣本的 直接確定判別函數(shù)方法 主要包含兩個步驟： 1. 確定使用的 判別函數(shù)類型 或決策面方程類型，如線性分類器，分段線性分類器等 2. 在選定函數(shù)類型的條件下， 確定相應(yīng)的參數(shù) ，從而完成整個分類器設(shè)計 ? 線性判別函數(shù)計算簡單，在一定條件下能實現(xiàn)最優(yōu)分類，經(jīng)常是一種 “ 有限合理 ”的選擇 ? 分段線性分類器可以實現(xiàn)更復(fù)雜的分類面
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1