[計算機軟件及應用]第4講基于判別函數的分類方法-資料下載頁
2024-10-19 04:15本頁面
【正文】 ???????????321131021211Y?????????????????? ??3/103/106/12/16/12/112/74/312/134/5)( 1 TT YYYYTB )1,1,1,1(?TBA )3/2,3/4,3/11( ???? ?YWidrowHoff算法 ?又稱為最小均方算法，計算過程如下： ? A0 和初始步長 ?00。 ?： 其中 ， 當 時停止。 ?返回 )(1 kTkkk ABAA YY ???? ?kk /0?? ? ???? kk AA 1LMS解與分隔超平面的關系 ?LMS解將訓練點到超平面點的距離平方和最小化，未必收斂于分隔超平面，即使這個平面存在。 返回 多類情況下的線性判別函數 ?轉化 為兩類問題求解 ?直接 按多類問題求解 ?返回 轉化為兩類問題求解 ?設有 c類模式，分別記為 ?i (i=1,2,…, c)，利用兩類情況下的線性判別函數設計分類器，通常有三種處理方法 : ?第一種 方法， 舉例 ?第二種 方法， 舉例 ?第三種 方法， 舉例 ?返回 第一種方法 ?把 c類問題化為 (c?1)個兩類模式的分類問題，即： ??1為一類， ?2, ?3,…, ?c為另一類 ??2為一類， ?3, ?4,…, ?c為另一類 ?…… ??c1為一類， ?c為另一類 ?返回 第一種方法舉例 R1 R2 R3 返回 第二種方法 ?把 c類問題化為 (c?1)個兩類模式的分類問題，即： ??1為一類， ?2, ?3,…, ?c為另一類 ??2為一類， ?1, ?3, ?4,…, ?c為另一類 ?…… ??c1為一類， ?1, ?3, …, ?c2, ?c為另一類 ?返回 第二種方法舉例 R1 R2 R3 返回 第三種方法 ?用 次兩類模式線性判別，每一次只從樣本集中判別指定的兩類模式的決策面，比如 ?i為一類， ?j為另一類。 ?返回 2)1(2 ?? ccCc第三種方法舉例 R1 R3 R2 返回 直接按多類問題求解 ?什么 是線性機器 ?線性機器的 決策面 ?線性機器的 決策域 ?多類樣本的 線性可分 ?多類問題的 增廣解向量 ?多類問題的 固定增量算法 ?返回 什么是線性機器 ?線性機器是一種多類分類器，它通過 c個線性判別函數 ?來對樣本分類，分類規(guī)則是： 如果對所有 都有 ，就將 X歸為 ?i類。 ?返回 ciwXWXg iTi ,...,2,1,)( 0 ???)()( XgXg ji ?ij?線性機器的決策面 ?如果線性機器把特征空間分成 c個決策區(qū)域 R1, R2,…, Rc，那么 Ri和 Rj相交的部分是超平面 Hij的一部分，稱為決策面。 Hij的方程如下： ?不難看出決策面最多有 個。 ?決策面舉例： 例 1， 例 2。 返回 )()( XgXg ji ?2)1( ?cc決策面舉例 1 ?3類 3個決策面。 返回 R1 R2 R3 決策面舉例 2 ?5類 8個決策面。 返回 R1 R2 R3 R4 R5 線性機器的決策域 ?所有決策域是凸的 ?每個決策域都是單連通的 ?不存在拒絕分類的死區(qū) ?返回 多類樣本的線性可分 ?設有一個增廣模式向量樣本集 {Y1,Y2,…, YN}，共有 N個樣本；其中有 n1個屬于 ?1的樣本集合記為 ?1，有 n2個屬于 ?2的樣本集合記為 ?2， … ，有 nc個屬于 ?c的樣本集合記為 ?c。如果存在一個線性機器能把這些樣本正確分類，則該樣本集是線性可分的。 ?返回 多類問題的增廣解向量 ? 對于線性可分的多類樣本，存在一組增廣解向量 ?使當 時，對一切 有： ?返回 cAAA ?, . . . ,?,? 21iY ?? ji ?YAYA TjTi ?? ?多類問題的固定增量算法 ?1. 任意選擇初始權向量 ?2. 如果 并且除 i=j外，對于至少一個 i有 ，則 對于滿足該不等式的 i, ?如果 ，并且除 i=j外，對于所有的 i，有 ，則保持 Aj不變。 ?返回 00201 ,..., cAAAjY ??YAYA TkiTkj )()( ? YAA kjkj ???11kkiiA A Y? ??jY ??YAYA TkiTkj )()( ?課堂練習 ?決策面 練習 ?梯度計算 練習 ?梯度下降算法 練習 ?固定增量算法 練習 ?返回 決策面練習 ?試確定如下決策面的法向量、原點相對它們的正反和原點到它們的距離 ?返回 1)( .1 21 ??? xxXg1)( .2 21 ???? xxXg梯度計算練習 ?設 f(X) =f(x1,x2)=3 x1+4x2–7，求梯度 ?f(X)。 ?設 , 求 。 ?返回 ? ???? AYTp YAAJ )()()( AJ p?梯度下降法練習 ?設 ?其中 X1和 X2為第 1類， X3和 X4為第 2類 , 用梯度下降算法求線性判別函數g(X)=WTX+w0。 ?返回 ????????????????????????????????????????22,11,11,224321 XXXX固定增量算法練習 ?設 其中 X1和 X2為第 1類 , X3和 X4為第 2類 ,用固定增量算法求線性判別函數g(X)=WTX+w0。 ?返回 ????????????????????????????????????????32,21,21,324321 XXXX課后作業(yè) ?編程實現固定增量算法 ?基本要求： ?用 3組隨機生成的兩類 2維樣本數據集對算法進行測試，每類樣本至少 30個樣本，運行結果以圖形方式輸出，同時給出 解向量和 判別分界線的方程，并撰寫設計、分析和測試報告。 ?返回
教學課件相關推薦
鄂ICP備17016276號-1