[計(jì)算機(jī)軟件及應(yīng)用]第4講基于判別函數(shù)的分類方法-資料下載頁
2025-10-10 04:15本頁面
【正文】 ???????????321131021211Y?????????????????? ??3/103/106/12/16/12/112/74/312/134/5)( 1 TT YYYYTB )1,1,1,1(?TBA )3/2,3/4,3/11( ???? ?YWidrowHoff算法 ?又稱為最小均方算法，計(jì)算過程如下： ? A0 和初始步長(zhǎng) ?00。 ?： 其中 ， 當(dāng) 時(shí)停止。 ?返回 )(1 kTkkk ABAA YY ???? ?kk /0?? ? ???? kk AA 1LMS解與分隔超平面的關(guān)系 ?LMS解將訓(xùn)練點(diǎn)到超平面點(diǎn)的距離平方和最小化，未必收斂于分隔超平面，即使這個(gè)平面存在。 返回 多類情況下的線性判別函數(shù) ?轉(zhuǎn)化 為兩類問題求解 ?直接 按多類問題求解 ?返回 轉(zhuǎn)化為兩類問題求解 ?設(shè)有 c類模式，分別記為 ?i (i=1,2,…, c)，利用兩類情況下的線性判別函數(shù)設(shè)計(jì)分類器，通常有三種處理方法 : ?第一種 方法， 舉例 ?第二種 方法， 舉例 ?第三種 方法， 舉例 ?返回 第一種方法 ?把 c類問題化為 (c?1)個(gè)兩類模式的分類問題，即： ??1為一類， ?2, ?3,…, ?c為另一類 ??2為一類， ?3, ?4,…, ?c為另一類 ?…… ??c1為一類， ?c為另一類 ?返回 第一種方法舉例 R1 R2 R3 返回 第二種方法 ?把 c類問題化為 (c?1)個(gè)兩類模式的分類問題，即： ??1為一類， ?2, ?3,…, ?c為另一類 ??2為一類， ?1, ?3, ?4,…, ?c為另一類 ?…… ??c1為一類， ?1, ?3, …, ?c2, ?c為另一類 ?返回 第二種方法舉例 R1 R2 R3 返回 第三種方法 ?用 次兩類模式線性判別，每一次只從樣本集中判別指定的兩類模式的決策面，比如 ?i為一類， ?j為另一類。 ?返回 2)1(2 ?? ccCc第三種方法舉例 R1 R3 R2 返回 直接按多類問題求解 ?什么 是線性機(jī)器 ?線性機(jī)器的 決策面 ?線性機(jī)器的 決策域 ?多類樣本的 線性可分 ?多類問題的 增廣解向量 ?多類問題的 固定增量算法 ?返回 什么是線性機(jī)器 ?線性機(jī)器是一種多類分類器，它通過 c個(gè)線性判別函數(shù) ?來對(duì)樣本分類，分類規(guī)則是： 如果對(duì)所有 都有 ，就將 X歸為 ?i類。 ?返回 ciwXWXg iTi ,...,2,1,)( 0 ???)()( XgXg ji ?ij?線性機(jī)器的決策面 ?如果線性機(jī)器把特征空間分成 c個(gè)決策區(qū)域 R1, R2,…, Rc，那么 Ri和 Rj相交的部分是超平面 Hij的一部分，稱為決策面。 Hij的方程如下： ?不難看出決策面最多有 個(gè)。 ?決策面舉例： 例 1， 例 2。 返回 )()( XgXg ji ?2)1( ?cc決策面舉例 1 ?3類 3個(gè)決策面。 返回 R1 R2 R3 決策面舉例 2 ?5類 8個(gè)決策面。 返回 R1 R2 R3 R4 R5 線性機(jī)器的決策域 ?所有決策域是凸的 ?每個(gè)決策域都是單連通的 ?不存在拒絕分類的死區(qū) ?返回 多類樣本的線性可分 ?設(shè)有一個(gè)增廣模式向量樣本集 {Y1,Y2,…, YN}，共有 N個(gè)樣本；其中有 n1個(gè)屬于 ?1的樣本集合記為 ?1，有 n2個(gè)屬于 ?2的樣本集合記為 ?2， … ，有 nc個(gè)屬于 ?c的樣本集合記為 ?c。如果存在一個(gè)線性機(jī)器能把這些樣本正確分類，則該樣本集是線性可分的。 ?返回 多類問題的增廣解向量 ? 對(duì)于線性可分的多類樣本，存在一組增廣解向量 ?使當(dāng) 時(shí)，對(duì)一切 有： ?返回 cAAA ?, . . . ,?,? 21iY ?? ji ?YAYA TjTi ?? ?多類問題的固定增量算法 ?1. 任意選擇初始權(quán)向量 ?2. 如果 并且除 i=j外，對(duì)于至少一個(gè) i有 ，則 對(duì)于滿足該不等式的 i, ?如果 ，并且除 i=j外，對(duì)于所有的 i，有 ，則保持 Aj不變。 ?返回 00201 ,..., cAAAjY ??YAYA TkiTkj )()( ? YAA kjkj ???11kkiiA A Y? ??jY ??YAYA TkiTkj )()( ?課堂練習(xí) ?決策面 練習(xí) ?梯度計(jì)算 練習(xí) ?梯度下降算法 練習(xí) ?固定增量算法 練習(xí) ?返回 決策面練習(xí) ?試確定如下決策面的法向量、原點(diǎn)相對(duì)它們的正反和原點(diǎn)到它們的距離 ?返回 1)( .1 21 ??? xxXg1)( .2 21 ???? xxXg梯度計(jì)算練習(xí) ?設(shè) f(X) =f(x1,x2)=3 x1+4x2–7，求梯度 ?f(X)。 ?設(shè) , 求 。 ?返回 ? ???? AYTp YAAJ )()()( AJ p?梯度下降法練習(xí) ?設(shè) ?其中 X1和 X2為第 1類， X3和 X4為第 2類 , 用梯度下降算法求線性判別函數(shù)g(X)=WTX+w0。 ?返回 ????????????????????????????????????????22,11,11,224321 XXXX固定增量算法練習(xí) ?設(shè) 其中 X1和 X2為第 1類 , X3和 X4為第 2類 ,用固定增量算法求線性判別函數(shù)g(X)=WTX+w0。 ?返回 ????????????????????????????????????????32,21,21,324321 XXXX課后作業(yè) ?編程實(shí)現(xiàn)固定增量算法 ?基本要求： ?用 3組隨機(jī)生成的兩類 2維樣本數(shù)據(jù)集對(duì)算法進(jìn)行測(cè)試，每類樣本至少 30個(gè)樣本，運(yùn)行結(jié)果以圖形方式輸出，同時(shí)給出 解向量和 判別分界線的方程，并撰寫設(shè)計(jì)、分析和測(cè)試報(bào)告。 ?返回
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1