模式識(shí)別線性判別函數(shù)-閱讀頁(yè)
2024-08-23 17:26本頁(yè)面
【正文】 分類器 )(, ijC,...,1,jyaya TjTi ???iy ??當(dāng)所有樣本 iy ??( i=1, … , C ) 都滿足上式時(shí)， 若 稱這 C類是線性可分的。 Ckaa kk ??1. 若 對(duì) yaya TiTl ?2. 若 yaya TjTi ?，對(duì) iy ??，則 ),(, 39。39。 有： 第五章 線性判別函數(shù) （分類器，參數(shù)分類器） 引言 Fisher 線性判別 感知準(zhǔn)則函數(shù) （ Perceptron） 最小平方誤差準(zhǔn)則函數(shù) 多層感知的學(xué)習(xí)算法 —誤差反向傳播算法 最小平方誤差準(zhǔn)則函數(shù) 一．引言 上節(jié)的感知準(zhǔn)則函數(shù)只適合于線性可分的情況。但在實(shí)際問題中， 1．有許多問題不是線性可分的 2．事先不知道是否線性可分 最小平方誤差準(zhǔn)則函數(shù) 因此我們希望找到一些算法既適合線性可分的情況，又適合線性不可分的情況。 最小平方誤差準(zhǔn)則函數(shù) 對(duì)于規(guī)范化的增廣樣本向量， yi=1, …, N，要找 a，使得 aTyi0, i=1, …, N。 若 線性可分 線性不等式組是一致的，有解 能求出 a，使 aTyi0, i=1, …, N； 若 線性不可分 線性不等式組不一致，無解求一個(gè) a，比如說使正確分類的樣本數(shù)最多，使成立的不等式的個(gè)數(shù)最多。 這時(shí)的準(zhǔn)則函數(shù)是一類 最少錯(cuò)分樣本數(shù)準(zhǔn)則 。 最小平方誤差準(zhǔn)則函數(shù) 二．最小平方誤差準(zhǔn)則函數(shù) 把 aTyi0, i=1, … , N寫成聯(lián)立方程的形式 Ya=b ....,???NibbbbbyyyyyyyyyyyyYiNdNNNddTNTT102121222211121121?????????????????????????????????????????????????????????????????????????? 求使 極小的 a作為問題的解。 稱為 最小平方誤差準(zhǔn)則函數(shù) （ MSE）。但可以定義一個(gè)誤差向量 最小平方誤差準(zhǔn)則函數(shù) 由于通常 dN ? ，即樣本數(shù)（方程的個(gè)數(shù)） bYae ?????????NiiiTs byabYaeaJ1222 )()(（向量） )(aJs)(aJs對(duì) 求梯度 最小平方誤差準(zhǔn)則函數(shù) 下面推導(dǎo)在 MSE下的解。 bYbYYYa TT ?? ?? 1)(* ( * ) ∴ )(aJs 最小平方誤差準(zhǔn)則函數(shù) 式中 TT YYYY 1?? ? )( 是 Nd?y的偽逆。如何選擇 b呢？ 當(dāng) b取某些特殊值時(shí)， MSE（最小平方誤差）解有較好的性質(zhì)。 時(shí)， 時(shí)， MSE的解 a*在最小均方 誤差意 最小平方誤差準(zhǔn)則函數(shù) 2. 當(dāng)取 ?單位矢量個(gè)NNTb ??????????? ??? 111 . . . ,??N? ? ? ?xxxg |Pr|Pr)( 210 ?? ??? ?? dxxpxgyae T )()]([ 202式中 ? ? ? ?xxxg |Pr|Pr)( 210 ?? ??時(shí)， 當(dāng) 義逼近貝葉斯判別函數(shù)： 最小。 這時(shí)要求 1?)( YY T存在 ?Y 的計(jì)算量大，而且可能引入更大的計(jì)算誤差。 )()( bYaYaJ Ts ??? 2 ∵ 梯度 ∴ 梯度下降法可以寫為 ??????? )()()1()1(bYaYkakaaTk?任取)()()()( bYaYybyaa aJaJ TNi iiiTss ???????? ??221 最小平方誤差準(zhǔn)則函數(shù) 如果選 11 ??? ,kk ?是任意的正常數(shù)， 則上述迭代公式得到的權(quán)向量序列收斂于 使 02 ???? )()( bYaYaJ Ts的權(quán)向量 a*。 最小平方誤差準(zhǔn)則函數(shù) 上述的梯度下降法不論 YTY可逆與否，總能產(chǎn)生一個(gè)有用的權(quán) a*。 △ 為了進(jìn)一步減小計(jì)算量和存儲(chǔ)，可以采用單樣本修正法，即把樣本作為一個(gè)不斷重復(fù)出現(xiàn)的序列來處理。兩者不同，所得結(jié)果也不同。 最小平方誤差準(zhǔn)則函數(shù) 四．最小平方誤差準(zhǔn)則函數(shù)在 模式分類中的問題： 第五章 線性判別函數(shù) （分類器，參數(shù)分類器） 引言 Fisher 線性判別 感知準(zhǔn)則函數(shù)（ Perceptron） 最小平方誤差準(zhǔn)則函數(shù) *多層感知的學(xué)習(xí)算法 —誤差反向傳播算法 * 多層感知的學(xué)習(xí)算法 — 誤差反向傳播算法 (Error BackPropagation algor.)
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1