模式識(shí)別線性判別函數(shù)(參考版)
2024-08-15 17:26本頁(yè)面
【正文】 最小平方誤差準(zhǔn)則函數(shù) 上述算法是對(duì) MSE準(zhǔn)則函數(shù)采用梯度下降法 的一個(gè)修正算法，稱為WidrowHoff算法。 最小平方誤差準(zhǔn)則函數(shù) 這時(shí)的迭代公式為： ???????????????強(qiáng)行收斂的樣本使任取,)(:))(()()()(kbykayyykabkakaakkkTkkkTkk111???準(zhǔn)確地說，單樣本修正法不是梯度下降法。而且計(jì)算 ???dddNNdT YY??? ,)(的計(jì)算 量比計(jì)算 ?????????NdNdTddT YYYY????? ? 1)(的計(jì)算量小。 即 MSE準(zhǔn)則的解。 最小平方誤差準(zhǔn)則函數(shù) 因此實(shí)際操作中往往不用求 Y+解析解的方法，而是用梯度下降法等最優(yōu)化技術(shù)。 即使 MSE最小的解使 最小平方誤差準(zhǔn)則函數(shù) 3. 還可以由實(shí)際問題確定 bi， aTyi=bi 最小平方誤差準(zhǔn)則函數(shù) 三． MSE準(zhǔn)則函數(shù)的梯度下降法 在偽逆解 bYYYaYTT??? ????? 1)(* 中，需要計(jì)算 Y+。 的矩陣，稱為 ∴ bYbYYYa TT ?? ?? 1)(* ( * ) 最小平方誤差準(zhǔn)則函數(shù) 1. 當(dāng)取 ??????????????? ????? ????? ???? ??個(gè)個(gè) 21222111NNTNNNNNNNNNNNNb ...,...,MSE解 a*等價(jià)于 Fisher解。 在 a*的解 ( * )式中， a*顯然依賴于 b。 )()()()( bYaYybyaa aJaJ TNiiiiTss ???????? ??221令 0?? )( aJs，有 .bYYaY TT ? 而 YYT 是 dd? 的矩陣，一般是非奇異的。 和平方誤差準(zhǔn)則函數(shù) 大于未知數(shù)的個(gè)數(shù)，所以上述方程組一般為矛盾方程組，沒有準(zhǔn)確解。這是矛盾方程組的最小二乘解。（略） 下面要介紹的方法是把線性分類器的設(shè)計(jì)轉(zhuǎn)換為解 線性方程組 。 最小平方誤差準(zhǔn)則函數(shù) 這樣，線性分類器的設(shè)計(jì)就轉(zhuǎn)化為解線性不等式組的問題。這是求 N個(gè)不等式組解的問題。 對(duì)線性可分的問題，算法求得的解能把兩類正確分開； 而對(duì)線性不可分的問題，算法也能找到在一定準(zhǔn)則下的最優(yōu)解。對(duì) 線性不可分 情況，算法不收斂。 iljaayaayaa jjiill ?????? ??且 這個(gè)多類問題的迭代算法的證明，可以通過把上述算法轉(zhuǎn)換為兩類問題，然后利用上面的結(jié)果進(jìn)行。39。 感知準(zhǔn)則函數(shù) （ Perceptron） * 求多類問題的 ai (i=1, …, C)的算法如下： ),...,1(, ijCjyaya TjTi ???iy ?? ， 則 ). . . ,1(39。 對(duì) C類問題，可以建立 C個(gè)線性判別函數(shù) aiTy, i=1, … , C. 判決規(guī)則 為： 感知準(zhǔn)則函數(shù) （ Perceptron） iyb。 絕對(duì)增量法的證明，可以利用上面固定增量法的結(jié)果。 ( * ) ( ** ) 常數(shù) 感知準(zhǔn)則函數(shù)（ Perceptron） a(k)和 as間的距離平方為（記 a(k)＝ ak, a(k+1)＝ ak+1） kTsksks aaaaaa 2222 ????而 ?????? ????? ?????22012122122)(2)(21qpkTspkTkkTkkkTsyaakkksksyayyyaaaaaaaaaakkk?????????????????????最大為 感知準(zhǔn)則函數(shù)（ Perceptron） ∵ 0?? kT yka )( ， 和 ( * ) 及 ( ** ) 式 ， .022212 ?????????? ? qqppaaaa ksks ∴ 上式說明，當(dāng)利用一個(gè) yk時(shí)（被錯(cuò)分的樣本），||asak||2就減少了一定的量。坐標(biāo)系比例的改變并不影響數(shù)據(jù)結(jié)構(gòu)和線性分類器。 感知準(zhǔn)則函數(shù) （ Perceptron） 例 1．線性可分與不可分的情況 下面證明在線性可分的情況下，單樣本固定增量法（ 感知準(zhǔn)則函數(shù)（ Perceptron） 1?k?收斂，即經(jīng)過有限次修正后，一定可以找到解向量 a*。 隨 k變化時(shí)，稱為可變?cè)隽糠ā? 感知準(zhǔn)則函數(shù) （ Perceptron） 也可采用“ 單樣本修正 ”：順序?qū)Ω鱾€(gè)樣本進(jìn)行分類，分錯(cuò)了就修正權(quán)。 上述的算法是一種 “ 批處理 ” 方式。 ∴ 沿梯度方向 → 極大值 沿負(fù)梯度 → 極小值 ： 被 a(k)錯(cuò)分的樣本集。 ????????eYypp yaaJaJ )()()(
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1