模式識別線性判別函數(shù)(存儲版)
【正文】 1 mmKKb ??? ?)( 211 mmKb ?? ? 和貝葉斯最小錯誤率決策的 b只差一個常數(shù)，方向相同。 以后為書寫方便，仍用 y來表示規(guī)范化的增廣樣本。解應(yīng)在 Hi的正側(cè)（因為要求 aTyi0） 正半空間 。 iyb 感知準則函數(shù) （ Perceptron） iyb。 ∴ 只有當 Ye為空集時，不存在錯分樣本，才有 ))(m i n ()(* aJaJ pp ? 這一準則函數(shù)是 Rosenblat在五十年代末提出來的，用來模擬人腦神經(jīng)細胞的模型，所以一般稱為 感知準則函數(shù) 。 感知準則函數(shù) （ Perceptron） 也可采用“ 單樣本修正 ”：順序?qū)Ω鱾€樣本進行分類，分錯了就修正權(quán)。 ( * ) ( ** ) 常數(shù) 感知準則函數(shù)（ Perceptron） a(k)和 as間的距離平方為（記 a(k)＝ ak, a(k+1)＝ ak+1） kTsksks aaaaaa 2222 ????而 ?????? ????? ?????22012122122)(2)(21qpkTspkTkkTkkkTsyaakkksksyayyyaaaaaaaaaakkk?????????????????????最大為 感知準則函數(shù)（ Perceptron） ∵ 0?? kT yka )( ， 和 ( * ) 及 ( ** ) 式 ， .022212 ?????????? ? qqppaaaa ksks ∴ 上式說明，當利用一個 yk時（被錯分的樣本），||asak||2就減少了一定的量。39。這是求 N個不等式組解的問題。 和平方誤差準則函數(shù) 大于未知數(shù)的個數(shù)，所以上述方程組一般為矛盾方程組，沒有準確解。 即使 MSE最小的解使 最小平方誤差準則函數(shù) 3. 還可以由實際問題確定 bi， aTyi=bi 最小平方誤差準則函數(shù) 三． MSE準則函數(shù)的梯度下降法 在偽逆解 bYYYaYTT??? ????? 1)(* 中，需要計算 Y+。 最小平方誤差準則函數(shù) 這時的迭代公式為： ???????????????強行收斂的樣本使任取,)(:))(()()()(kbykayyykabkakaakkkTkkkTkk111???準確地說，單樣本修正法不是梯度下降法。而且計算 ???dddNNdT YY??? ,)(的計算 量比計算 ?????????NdNdTddT YYYY????? ? 1)(的計算量小。 的矩陣，稱為 ∴ bYbYYYa TT ?? ?? 1)(* ( * ) 最小平方誤差準則函數(shù) 1. 當取 ??????????????? ????? ????? ???? ??個個 21222111NNTNNNNNNNNNNNNb ...,...,MSE解 a*等價于 Fisher解。這是矛盾方程組的最小二乘解。 對線性可分的問題，算法求得的解能把兩類正確分開； 而對線性不可分的問題，算法也能找到在一定準則下的最優(yōu)解。 感知準則函數(shù) （ Perceptron） * 求多類問題的 ai (i=1, …, C)的算法如下： ),...,1(, ijCjyaya TjTi ???iy ?? ， 則 ). . . ,1(39。坐標系比例的改變并不影響數(shù)據(jù)結(jié)構(gòu)和線性分類器。 上述的算法是一種 “ 批處理 ” 方式。 此時 aTy=0。 為提高泛化能力，使解更可靠，引入余量b0，尋找滿足 aTyi=b, i=1, 2, … , N的解區(qū)。對所有樣本滿足 aTyi0的 a即為一個解。 上述的處理稱為 規(guī)范化 。 第五章 線性判別函數(shù) （分類器，參數(shù)分類器） 引言 Fisher 線性判別 感知準則函數(shù)（ Perception） 最小平方誤差準則函數(shù) 多層感知的學習算法 —誤差反向傳播算法 對于線性判別函數(shù) （ Fisher 線性判別 0wxwxgT ??)( ）， cxbxh T ??)(的樣本投影到一條直線上（設(shè) b (w) 的長度為 1）。 判別函數(shù) g(x)是特征空間中的某點 x到超平面 g(x)=0的代數(shù)距離（有正負）的一種度量。 引言 在實際 工 作中， ???需要大量的樣本。這是一個二次分類器。 引言 2. 線性分類器的設(shè)計過程 線性判別函數(shù)的一般形式為： 0)( wxwxgT ?? 希望根據(jù)給出的已知類別的訓練樣本，確定參數(shù) w和 w0. 引言 對分類器的性能提出要求 使所確定的 w和 w0盡可能滿足這些要求
高考資料相關(guān)推薦
鄂ICP備17016276號-1