模式識別線性判別函數(shù)(文件)
【正文】 是一種 “ 批處理 ” 方式。 隨 k變化時，稱為可變增量法。坐標系比例的改變并不影響數(shù)據(jù)結構和線性分類器。 絕對增量法的證明，可以利用上面固定增量法的結果。 感知準則函數(shù) （ Perceptron） * 求多類問題的 ai (i=1, …, C)的算法如下： ),...,1(, ijCjyaya TjTi ???iy ?? ， 則 ). . . ,1(39。 iljaayaayaa jjiill ?????? ??且 這個多類問題的迭代算法的證明，可以通過把上述算法轉換為兩類問題，然后利用上面的結果進行。 對線性可分的問題，算法求得的解能把兩類正確分開； 而對線性不可分的問題，算法也能找到在一定準則下的最優(yōu)解。 最小平方誤差準則函數(shù) 這樣，線性分類器的設計就轉化為解線性不等式組的問題。這是矛盾方程組的最小二乘解。 )()()()( bYaYybyaa aJaJ TNiiiiTss ???????? ??221令 0?? )( aJs，有 .bYYaY TT ? 而 YYT 是 dd? 的矩陣，一般是非奇異的。 的矩陣，稱為 ∴ bYbYYYa TT ?? ?? 1)(* ( * ) 最小平方誤差準則函數(shù) 1. 當取 ??????????????? ????? ????? ???? ??個個 21222111NNTNNNNNNNNNNNNb ...,...,MSE解 a*等價于 Fisher解。 最小平方誤差準則函數(shù) 因此實際操作中往往不用求 Y+解析解的方法，而是用梯度下降法等最優(yōu)化技術。而且計算 ???dddNNdT YY??? ,)(的計算 量比計算 ?????????NdNdTddT YYYY????? ? 1)(的計算量小。 最小平方誤差準則函數(shù) 上述算法是對 MSE準則函數(shù)采用梯度下降法 的一個修正算法，稱為WidrowHoff算法。 最小平方誤差準則函數(shù) 這時的迭代公式為： ???????????????強行收斂的樣本使任取,)(:))(()()()(kbykayyykabkakaakkkTkkkTkk111???準確地說，單樣本修正法不是梯度下降法。 即 MSE準則的解。 即使 MSE最小的解使 最小平方誤差準則函數(shù) 3. 還可以由實際問題確定 bi， aTyi=bi 最小平方誤差準則函數(shù) 三． MSE準則函數(shù)的梯度下降法 在偽逆解 bYYYaYTT??? ????? 1)(* 中，需要計算 Y+。 在 a*的解 ( * )式中， a*顯然依賴于 b。 和平方誤差準則函數(shù) 大于未知數(shù)的個數(shù)，所以上述方程組一般為矛盾方程組，沒有準確解。（略） 下面要介紹的方法是把線性分類器的設計轉換為解 線性方程組 。這是求 N個不等式組解的問題。對 線性不可分 情況，算法不收斂。39。 對 C類問題，可以建立 C個線性判別函數(shù) aiTy, i=1, … , C. 判決規(guī)則 為： 感知準則函數(shù) （ Perceptron） iyb。 ( * ) ( ** ) 常數(shù) 感知準則函數(shù)（ Perceptron） a(k)和 as間的距離平方為（記 a(k)＝ ak, a(k+1)＝ ak+1） kTsksks aaaaaa 2222 ????而 ?????? ????? ?????22012122122)(2)(21qpkTspkTkkTkkkTsyaakkksksyayyyaaaaaaaaaakkk?????????????????????最大為 感知準則函數(shù)（ Perceptron） ∵ 0?? kT yka )( ， 和 ( * ) 及 ( ** ) 式 ， .022212 ?????????? ? qqppaaaa ksks ∴ 上式說明，當利用一個 yk時（被錯分的樣本），||asak||2就減少了一定的量。 感知準則函數(shù) （ Perceptron） 例 1．線性可分與不可分的情況 下面證明在線性可分的情況下，單樣本固定增量法（ 感知準則函數(shù)（ Perceptron） 1?k?收斂，即經(jīng)過有限次修正后，一定可以找到解向量 a*。 感知準則函數(shù) （ Perceptron） 也可采用“ 單樣本修正 ”：順序對各個樣本進行分類，分錯了就修正權。 ∴ 沿梯度方向 → 極大值 沿負梯度 → 極小值 ： 被 a(k)錯分的樣本集。 ∴ 只有當 Ye為空集時，不存在錯分樣本，才有 ))(m i n ()(* aJaJ pp ? 這一準
高考資料相關推薦
鄂ICP備17016276號-1