模式識(shí)別線性判別函數(shù)-文庫(kù)吧在線文庫(kù)
【正文】 。 引言 4. 廣義線性判別函數(shù) 有時(shí)，有些判別函數(shù)不是線性的，但通過(guò)適當(dāng)?shù)淖儞Q可以轉(zhuǎn)換為線性判別函數(shù)。 投影到一維后的兩類分界點(diǎn)，可以用一維分類時(shí)的一些辦法作。（可根據(jù)上下文定 ） ny 感知準(zhǔn)則函數(shù) （ Perceptron） 3．解向量和解區(qū) 在線性可分的情況下，滿足 aTyi0， i=1, 2, …, N的 a稱為 權(quán)向量 ，記為 a*。 N個(gè)樣本確定了權(quán)空間中的 N個(gè)平面，每個(gè)平面把權(quán)空間分成了三部分，正側(cè)、負(fù)側(cè)和平面本身。 二．感知準(zhǔn)則函數(shù)及其梯度下降算法 設(shè)有一組樣本 y1, …, yN（規(guī)范的增廣樣本向量）。 感知準(zhǔn)則函數(shù) （ Perceptron） 可以用梯度下降法求使 Jp(a)最小的 a*。 單樣本修正算法為： ?????? 錯(cuò)分的是被任意kkkk ayykakaa,)()1()1(? 感知準(zhǔn)則函數(shù) （ Perceptron） 假定令 1?k?， 則 kykaka ??? )()( 1 感知準(zhǔn)則函數(shù)（ Perceptron） 當(dāng) k?為固定值時(shí)，稱為固定增量法。因此，經(jīng)過(guò)有限次的利用錯(cuò)分樣本后， ak應(yīng)收斂于 as。39。 若 線性可分 線性不等式組是一致的，有解 能求出 a，使 aTyi0, i=1, …, N； 若 線性不可分 線性不等式組不一致，無(wú)解求一個(gè) a，比如說(shuō)使正確分類的樣本數(shù)最多，使成立的不等式的個(gè)數(shù)最多。但可以定義一個(gè)誤差向量 最小平方誤差準(zhǔn)則函數(shù) 由于通常 dN ? ，即樣本數(shù)（方程的個(gè)數(shù)） bYae ?????????NiiiTs byabYaeaJ1222 )()(（向量） )(aJs)(aJs對(duì) 求梯度 最小平方誤差準(zhǔn)則函數(shù) 下面推導(dǎo)在 MSE下的解。 這時(shí)要求 1?)( YY T存在 ?Y 的計(jì)算量大，而且可能引入更大的計(jì)算誤差。兩者不同，所得結(jié)果也不同。 最小平方誤差準(zhǔn)則函數(shù) 上述的梯度下降法不論 YTY可逆與否，總能產(chǎn)生一個(gè)有用的權(quán) a*。如何選擇 b呢？ 當(dāng) b取某些特殊值時(shí)， MSE（最小平方誤差）解有較好的性質(zhì)。 最小平方誤差準(zhǔn)則函數(shù) 二．最小平方誤差準(zhǔn)則函數(shù) 把 aTyi0, i=1, … , N寫(xiě)成聯(lián)立方程的形式 Ya=b ....,???NibbbbbyyyyyyyyyyyyYiNdNNNddTNTT102121222211121121?????????????????????????????????????????????????????????????????????????? 求使 極小的 a作為問(wèn)題的解。但在實(shí)際問(wèn)題中， 1．有許多問(wèn)題不是線性可分的 2．事先不知道是否線性可分 最小平方誤差準(zhǔn)則函數(shù) 因此我們希望找到一些算法既適合線性可分的情況，又適合線性不可分的情況。 三．多類問(wèn)題的線性分類器 )(, ijC,...,1,jyaya TjTi ???iy ??當(dāng)所有樣本 iy ??( i=1, … , C ) 都滿足上式時(shí)， 若 稱這 C類是線性可分的。 ） 一定 感知準(zhǔn)則函數(shù)（ Perceptron） 證明 ：假定固定的增量系數(shù) 1?k?這并不失一般性，因?yàn)楦淖? k?僅僅是改變了坐標(biāo)系的比例。 即，當(dāng)任意給定初始權(quán)向量 a(1)后，a(k+1)等于 a(k)加上 感知準(zhǔn)則函數(shù) （ Perceptron） 迭代公式： ????????keYykk ykaJkaka ?? )()()( 1 keY?? keYyk y?????????eYypp yaaJaJ )()()( 感知準(zhǔn)則函數(shù) （ Perception） 可以證明，若樣本線性可分，則經(jīng)過(guò)有限次迭代修正后，一定可以找到一個(gè)解向量，即算法收斂。 即 aTy=0的（錯(cuò)分）。 解和解區(qū)的兩維示意圖如下： 感知準(zhǔn)則函數(shù) （ Perceptron） 為使所得的 a*對(duì)新的樣本也能正確分類， a*最好位于解區(qū)的中央。即要滿足 aTyi0。 感知準(zhǔn)則函數(shù) （ Perceptron） 即若令 ?nyjy 1??jyjy? 2??jy，當(dāng) ，當(dāng) 這時(shí)問(wèn)題就化為找一個(gè) a，使對(duì)所有的 yn，有 aTyn0。 引言 另外 ,為了處理上的方便，線性判別函數(shù) 0wxwxgT ??)(常寫(xiě)成齊次的形式 yaxg T?)( 引言 其中 ???????
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1