模式識別線性判別函數(shù)-資料下載頁
2025-08-04 17:26本頁面
【正文】 ??????????????????? 求使 極小的 a作為問題的解。這是矛盾方程組的最小二乘解。 稱為 最小平方誤差準則函數(shù) （ MSE）。 和平方誤差準則函數(shù) 大于未知數(shù)的個數(shù)，所以上述方程組一般為矛盾方程組，沒有準確解。但可以定義一個誤差向量 最小平方誤差準則函數(shù) 由于通常 dN ? ，即樣本數(shù)（方程的個數(shù)） bYae ?????????NiiiTs byabYaeaJ1222 )()(（向量） )(aJs)(aJs對 求梯度 最小平方誤差準則函數(shù) 下面推導在 MSE下的解。 )()()()( bYaYybyaa aJaJ TNiiiiTss ???????? ??221令 0?? )( aJs，有 .bYYaY TT ? 而 YYT 是 dd? 的矩陣，一般是非奇異的。 bYbYYYa TT ?? ?? 1)(* ( * ) ∴ )(aJs 最小平方誤差準則函數(shù) 式中 TT YYYY 1?? ? )( 是 Nd?y的偽逆。 在 a*的解 ( * )式中， a*顯然依賴于 b。如何選擇 b呢？ 當 b取某些特殊值時， MSE（最小平方誤差）解有較好的性質。 的矩陣，稱為 ∴ bYbYYYa TT ?? ?? 1)(* ( * ) 最小平方誤差準則函數(shù) 1. 當取 ??????????????? ????? ????? ???? ??個個 21222111NNTNNNNNNNNNNNNb ...,...,MSE解 a*等價于 Fisher解。 時， 時， MSE的解 a*在最小均方 誤差意 最小平方誤差準則函數(shù) 2. 當取 ?單位矢量個NNTb ??????????? ??? 111 . . . ,??N? ? ? ?xxxg |Pr|Pr)( 210 ?? ??? ?? dxxpxgyae T )()]([ 202式中 ? ? ? ?xxxg |Pr|Pr)( 210 ?? ??時， 當 義逼近貝葉斯判別函數(shù)： 最小。 即使 MSE最小的解使 最小平方誤差準則函數(shù) 3. 還可以由實際問題確定 bi， aTyi=bi 最小平方誤差準則函數(shù) 三． MSE準則函數(shù)的梯度下降法 在偽逆解 bYYYaYTT??? ????? 1)(* 中，需要計算 Y+。 這時要求 1?)( YY T存在 ?Y 的計算量大，而且可能引入更大的計算誤差。 最小平方誤差準則函數(shù) 因此實際操作中往往不用求 Y+解析解的方法，而是用梯度下降法等最優(yōu)化技術。 )()( bYaYaJ Ts ??? 2 ∵ 梯度 ∴ 梯度下降法可以寫為 ??????? )()()1()1(bYaYkakaaTk?任取)()()()( bYaYybyaa aJaJ TNi iiiTss ???????? ??221 最小平方誤差準則函數(shù) 如果選 11 ??? ,kk ?是任意的正常數(shù)， 則上述迭代公式得到的權向量序列收斂于 使 02 ???? )()( bYaYaJ Ts的權向量 a*。 即 MSE準則的解。 最小平方誤差準則函數(shù) 上述的梯度下降法不論 YTY可逆與否，總能產(chǎn)生一個有用的權 a*。而且計算 ???dddNNdT YY??? ,)(的計算 量比計算 ?????????NdNdTddT YYYY????? ? 1)(的計算量小。 △ 為了進一步減小計算量和存儲，可以采用單樣本修正法，即把樣本作為一個不斷重復出現(xiàn)的序列來處理。 最小平方誤差準則函數(shù) 這時的迭代公式為： ???????????????強行收斂的樣本使任取,)(:))(()()()(kbykayyykabkakaakkkTkkkTkk111???準確地說，單樣本修正法不是梯度下降法。兩者不同，所得結果也不同。 最小平方誤差準則函數(shù) 上述算法是對 MSE準則函數(shù)采用梯度下降法 的一個修正算法，稱為WidrowHoff算法。 最小平方誤差準則函數(shù) 四．最小平方誤差準則函數(shù)在 模式分類中的問題： 第五章 線性判別函數(shù) （分類器，參數(shù)分類器） 引言 Fisher 線性判別 感知準則函數(shù)（ Perceptron） 最小平方誤差準則函數(shù) *多層感知的學習算法 —誤差反向傳播算法 * 多層感知的學習算法 — 誤差反向傳播算法 (Error BackPropagation algor.)
高考資料相關推薦
鄂ICP備17016276號-1