[工學(xué)]模式識(shí)別第4章線性判別函數(shù)-文庫(kù)吧資料
2024-10-25 00:06本頁(yè)面
【正文】 i 法： 將 C類(lèi)別問(wèn)題化為 (C1)個(gè)兩類(lèi)（第 i類(lèi)與所有非 i類(lèi)）問(wèn)題，按兩類(lèi)問(wèn)題確定其判別函數(shù)與決策面方程 ? ω i/ω j 法： 將 C類(lèi)中的每?jī)深?lèi)別單獨(dú)設(shè)計(jì)其線性判別函數(shù)，因此總共有 C(C1)/2個(gè)線性判別函數(shù) R1 R3 R2 ω1 非 ω1 ω2 非 ω2 R1 R3 R2 ω1 ω2 ω1 ω3 ω3 ω2 第四章 線性判別函數(shù) 38 多類(lèi)線性判別函數(shù) ? 將特征空間確實(shí)劃分為 c個(gè)決策域，共有 c個(gè)判別函數(shù) 多類(lèi) 問(wèn)題 0( ) , 1 , . . . ,Ti i ig w i c? ? ?x w x? 決策規(guī)則： ar g m ax ( ), 1 , . . . ,iij g i c?? x? 決策域的邊界由相鄰決策域的判別函數(shù)共同決定，此時(shí)應(yīng)有 gi(x)=gj(x) ? 線性分類(lèi)器的決策面是凸的，決策區(qū)域是單連通的 ? 多類(lèi)分類(lèi)器的分界面是分段線性的 第四章 線性判別函數(shù) 39 多類(lèi)線性決策面圖例 R1 R3 R2 g1g2 g1g3 g3g1 g3g2 g2g3 g2g1 R1 R3 R2 R5 R4 多類(lèi) 問(wèn)題 第四章 線性判別函數(shù) 40 決策樹(shù)簡(jiǎn)介 ? 決策樹(shù)：一種 多極分類(lèi)器 ，它采用分級(jí)的形式，綜合用多個(gè)決策規(guī)則，逐步把復(fù)雜的多類(lèi)別分類(lèi)問(wèn)題轉(zhuǎn)化為若干個(gè)簡(jiǎn)單的分類(lèi)問(wèn)題來(lái)解決 多類(lèi) 問(wèn)題 n1 n2 n3 n4 n5 t1 t2 t3 t4 t5 t6 t7 第四章 線性判別函數(shù) 41 二叉決策樹(shù) ? 二叉決策樹(shù)：除葉節(jié)點(diǎn)外，決策樹(shù)的每個(gè)節(jié)點(diǎn)ni都有且只有兩個(gè)子節(jié)點(diǎn) nil和 nir。若發(fā)現(xiàn)一個(gè) y出現(xiàn) aTy0，則只要 a(k+1) = a(k) + rky， rk為正 (步長(zhǎng)系數(shù) )，則必有 a(k+1)Ty = a(k)Ty + rkyTy，就有趨勢(shì)做到使 a(k+1)Ty 0。 第四章 線性判別函數(shù) 27 梯度下降算法 ? 梯度下降算法：對(duì) (迭代 )向量沿某函數(shù)的 負(fù)梯度方向 修正，可較快到達(dá)該函數(shù)極小值。在線性可分條件下，對(duì)合適的 (廣義 )權(quán)向量 a應(yīng)有： 12,0,0TT??????y a yy a y如 果 則如 果 則? 規(guī)范化樣本向量 ：將第二類(lèi)樣本取其反向向量 12????? ????yyyyy如 果 =如 果 0 1 , . . . ,T i iN? ??ay感知器準(zhǔn)則 第四章 線性判別函數(shù) 25 解向量與解區(qū) 感知器 準(zhǔn)則 第四章 線性判別函數(shù) 26 感知器準(zhǔn)則函數(shù) ? 對(duì)于任何一個(gè)增廣權(quán)向量 a ， ?對(duì)樣本 y正確分類(lèi)，則有： aTy0 ?對(duì)樣本 y錯(cuò)誤分類(lèi)，則有： aTy0 ? 定義一準(zhǔn)則函數(shù) JP(a) (感知準(zhǔn)則函數(shù) )： 感知器準(zhǔn)則 ( ) ( )kTPYJ????ya a y被錯(cuò)分類(lèi)的規(guī)范化增廣樣本集 ? 恒有 JP(a)≥0，且僅當(dāng) a為解向量， Yk為空集（不存在錯(cuò)分樣本）時(shí)， JP(a)=0，即達(dá)到極小值。其特點(diǎn)是隨意確定的判別函數(shù)初始值，在對(duì)樣本分類(lèi)訓(xùn)練過(guò)程中逐步修正直至最終確定。樣本離散度的定義與隨機(jī)變量方差相類(lèi)似 第四章 線性判別函數(shù) 17 樣本與其投影統(tǒng)計(jì)量間的關(guān)系 Fisher判別 ? 樣本 x與其投影 y的統(tǒng)計(jì)量之間的關(guān)系： 11 , 1 , 2iiTiKiTiim y iNN???? ? ? ???yywx wm221 2 1 21 2 1 2( ) ( )( )( )TT TbTbT SS m m? ? ? ?? ? ? ?w m w mw wm m m m ww第四章 線性判別函數(shù) 18 樣本與其投影統(tǒng)計(jì)量間的關(guān)系 Fisher判別 22()()( ) ( )iiiiiyTTixKTTiiixKTSS y m??????????? ? ?????????w x w mww x m x wwm1 1 1 2()T TwS S S SS? ? ? ?w 第四章 線性判別函數(shù) 19 Fisher準(zhǔn)則函數(shù) Fisher判別 ? 評(píng)價(jià)投影方向 w的原則，使原樣本向量在該方向上的投影能兼顧類(lèi)間分布盡可能分開(kāi)，類(lèi)內(nèi)盡可能密集的要求 ? Fisher準(zhǔn)則函數(shù)的定義： 12()TbbF TwSSJwS S S???wwww?Fisher最佳投影方向的求解 * arg m ax (
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1