[工學(xué)]模式識(shí)別第4章線性判別函數(shù)(編輯修改稿)
2024-11-15 00:06 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 別函數(shù)的確定 ? 前面討論了使 Fisher準(zhǔn)則函數(shù)極大的 d維向量 w*的計(jì)算方法，判別函數(shù)中的另一項(xiàng) w0（閾值）可采用以下幾種方法確定： 120 2mmw ??? 1 1 2 2012N m N mwmNN?? ? ??? ?1212012l n ( ) / ( )22PPmmwNN???????010200TTywyw??? ? ? ? ?? ? ? ? ?w x xw x x? 分類規(guī)則 : Fisher判別 第四章 線性判別函數(shù) 22 Fisher公式的推導(dǎo) Fisher判別 12()TbbF TwSSJwS S S???wwwwc0T wS ??ww令 L a g r a n g e : ( , ) ( )TTbwL S S c??? ? ?w w w w w定 義 函 數(shù) ( , ):0bwL SS? ?? ? ? ??w www令 1wbSS ?? ?ww 111 2 1 2112( )( )()Tw b wwS S SSR? ???? ? ? ???w w m m m m wmm* 1 11 2 1 2( ) ( )wwR SS???? ? ?w m m m m第四章 線性判別函數(shù) 23 感知器準(zhǔn)則 ?感知準(zhǔn)則函數(shù) 是五十年代由Rosenblatt提出的一種自學(xué)習(xí)判別函數(shù)生成方法，由于 Rosenblatt企圖將其用于腦模型感知器 (Perceptron)，因此被稱為感知準(zhǔn)則函數(shù)。其特點(diǎn)是隨意確定的判別函數(shù)初始值，在對(duì)樣本分類訓(xùn)練過(guò)程中逐步修正直至最終確定。 第四章 線性判別函數(shù) 24 基本概念 ? 感知器 ： Perceptron， Rosenblatt， 50d/20thc ? 線性可分性 ：訓(xùn)練樣本集中的兩類樣本在特征空間可以用一個(gè)線性分界面正確無(wú)誤地分開(kāi)。在線性可分條件下，對(duì)合適的 (廣義 )權(quán)向量 a應(yīng)有： 12,0,0TT??????y a yy a y如 果 則如 果 則? 規(guī)范化樣本向量 ：將第二類樣本取其反向向量 12????? ????yyyyy如 果 =如 果 0 1 , . . . ,T i iN? ??ay感知器準(zhǔn)則 第四章 線性判別函數(shù) 25 解向量與解區(qū) 感知器 準(zhǔn)則 第四章 線性判別函數(shù) 26 感知器準(zhǔn)則函數(shù) ? 對(duì)于任何一個(gè)增廣權(quán)向量 a ， ?對(duì)樣本 y正確分類，則有： aTy0 ?對(duì)樣本 y錯(cuò)誤分類，則有： aTy0 ? 定義一準(zhǔn)則函數(shù) JP(a) (感知準(zhǔn)則函數(shù) )： 感知器準(zhǔn)則 ( ) ( )kTPYJ????ya a y被錯(cuò)分類的規(guī)范化增廣樣本集 ? 恒有 JP(a)≥0，且僅當(dāng) a為解向量， Yk為空集（不存在錯(cuò)分樣本）時(shí)， JP(a)=0，即達(dá)到極小值。確定向量 a的問(wèn)題變?yōu)閷?duì) JP(a)求極小值的問(wèn)題。 第四章 線性判別函數(shù) 27 梯度下降算法 ? 梯度下降算法：對(duì) (迭代 )向量沿某函數(shù)的 負(fù)梯度方向 修正，可較快到達(dá)該函數(shù)極小值。 感知器準(zhǔn)則 ()( ) ( )kppYJJ?? ?? ? ? ??yaaya( 1 ) ( ) ( )()kkpkYk k r Jkr?? ? ? ??? ?ya a aay第四章 線性判別函數(shù) 28 算法 (step by step) 感知器 準(zhǔn)則 1. 初值 : 任意給定一向量初始值 a(1) 2. 迭代 : 第 k+1次迭代時(shí)的權(quán)向量 a(k+1)等于第 k次的權(quán)向量 a(k)加上被錯(cuò)分類的所有樣本之和與 rk的乘積 3. 終止 : 對(duì)所有樣本正確分類 任意給定一向量 初始值 a(1) a(k+1)= a(k)+ rk Sum (被錯(cuò)分類的所有樣本 ) 所有樣本 正確分類 得到合理的 a 完成 分類器設(shè)計(jì) N Y 第四章 線性判別函數(shù) 29 感知器方法例解 ? 固定增量法 與 可變?cè)隽糠? ? 批量樣本修正法 與 單樣本修正法 ?單樣本修正法：樣本集視為不斷重復(fù)出現(xiàn)的序列，逐個(gè)樣本檢查，修正權(quán)向量 ?批量樣本修正法：樣本成批或全部檢查后，修正權(quán)向量 感知器準(zhǔn)則 y3 y1 第四章 線性判別函數(shù) 30 感知器方法小結(jié) ? 感知準(zhǔn)則函數(shù)方法的思路是：先隨意找一個(gè)初始向量 a(1)，然后用訓(xùn)練樣本集中的每個(gè)樣本來(lái)計(jì)算。若發(fā)現(xiàn)一個(gè) y出現(xiàn) aTy0，則只要 a(k+
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1