【正文】 ?例 選擇準(zhǔn)則函數(shù) ， ，簡(jiǎn)單地考慮 X為一維增廣模式的情況 X=1，此時(shí) W=w，兩者均為標(biāo)量， XWXWXWTT),( ?JwwJ ?),( XW錯(cuò)誤分類時(shí)： ? ? ? ? ? ? 22,1????????????wwJJXXWW0010T ?????? wwXW? ? ? ? ? ? ? ? ckckk 221 ?????? WWW ， 對(duì)權(quán)向量校正。 說(shuō)明： 隨著權(quán)向量 W向理想值接近，準(zhǔn)則函數(shù)關(guān)于 W的導(dǎo)數(shù) ( ) 越來(lái)越趨近于零，這意味著準(zhǔn)則函數(shù) J 越來(lái)越接近最小值。 J?0??J —— 將感知器算法中聯(lián)立不等式求解 W的問(wèn)題，轉(zhuǎn)換為 求函數(shù) J極小值的問(wèn)題。 a) b) c值的選擇很重要，如 c值太小，收斂太慢；但若太大，搜索又可能過(guò)頭，甚至引起發(fā)散。 0T ?XW設(shè) ， ? ? T21 1, nxxx ??X ? ? T121 , ?? nn w ?W? ?XWXWXW TT21),( ?J部分： ? ? ?????? ?????? ???ninii wxw11TWWXWT111111, ?????? ?????? ????????? ????????? ???? ????????iniininiikninii wxxxww ??? ? X?? T1 1, nk xxx ??nndddd??? IXXXX TT? ?? ? ? ? ? ? ? ? 111111T??????? ?????nnnn XXIWXWXWT① 首先求 另：矩陣論中有 ? ?XWXWXW TT21),( ?J? ? ? ?? ?XXWXWXW ?????? Ts g n21,JJ其中 ? ??????????0,10,1sg nTTTXWXWXW若若② 由①的結(jié)論 有： ? ? XWXW ??? T? ? ? ? XWXWWXWXW ??????? TTT 0 時(shí)，? ? ? ? XWXWWXWXW ??????? TTT 0 時(shí)，? ? ? ?? ? XXWWXW ????? TT sg n? ?XWXWXW TT21),( ?J? ? ? ? ? ? ? ?? ?kJckJckkWWWXWWWW????????????? ,12. 求 W(k+1) 將 代入 得： ? ? ? ? ? ?? ?XXWXWW ?? )(s g n211 T kckk? ??????????0)(,0)(,0TTXWXXWWkckk若若? ? ? ?? ?XWXXW )(s g n2 T kck ??? ? ? ?? ?XXWXWXW ????? Ts g n21,JJ 由此可以看出， 感知器算法是梯度法的特例。 上式即為固定增量算法，與感知器算法形式完全相同 。 最小平方誤差算法 （ least mean square error, LMSE；亦稱 HoKashyap算法） 上述的感知器算法、梯度算法、固定增量算法或其他類 似方法，只有當(dāng)模式類可分離時(shí)才收斂，在不可分的情況下， 算法會(huì)來(lái)回?cái)[動(dòng)，始終不收斂。 對(duì)于類別不可分的情況也能指出來(lái)。如果給 出分屬于 ， 兩個(gè)模式類的訓(xùn)練樣本集 ， 應(yīng)滿足： 1? 2? },2,1,{ Nii ??X其中， Xi是規(guī)范化增廣樣本向量， 。 0?XW2. LMSE算法 1) 原理 的求解。 ? ? T21 , Ni bbbb ???B 為各分量均為正值的矢量。在模式識(shí)別中，通常訓(xùn)練樣本數(shù) N總是大于模 式的維數(shù) n，因此方程的個(gè)數(shù) (行數(shù) )模式向量的維數(shù) (列數(shù) )， 是矛盾方程組，只能求近似解 W*，即 說(shuō)明： 極小? BXW *② LMSE算法的出發(fā)點(diǎn)：選擇一個(gè)準(zhǔn)則函數(shù)，使得當(dāng) J達(dá)到最小值時(shí)， XW=B 可得到 近似解（最小二乘近似解） 。 —— 二乘：次數(shù)為 2，乘了兩次 最小平方（誤差算法） ? ?? ? 1111121111221111111111???????????????????????????????????????????????????????????NNinnnnNNnNininnbbbwwwwxxxxxxxx?????????????BXW????????????????????????????????????????????NNiiNNnnNnNinnininnnbbbbwwxwxbwwxwxbwwxwxXWXWXWTT11T1111111111111???????? ? 向量各分量的平方和向量各分量的平方和 ?? 22BXW? ? ? ? ? ??????? NiiiNN bbb12T2T211T2 XWXWXWBXW ?考察向量 (XW－ B) 有： 可以看出： ① 當(dāng)函數(shù) J達(dá)到最小值，等式 XW=B有最優(yōu)解。 ② 因?yàn)?J有兩個(gè)變量 W和 B，有更多的自由度供選擇求解，故可望改善算法的收斂速率。 準(zhǔn)則函數(shù)： ? ? ? ? BXBXXXWBXXWXBXWX T1TTTT 0 ?????? 使 J 對(duì) W求最小，令 ，得： 2) 推導(dǎo) LMSE算法遞推公式 與問(wèn)題相關(guān)的兩個(gè)梯度： ? ?BXWXW ??? TJ? ?? ?BXWBXWB ???? 21J (346) (347) 由 (347)式可知：只要求出 B， 就可求出 W。 ? ? T1T XXXX ? 稱為 X的偽逆， 式中： (345) 0???WJ(2) 求 B(k+1)的迭代式 ? ? ? ?? ?kJckkBBBBB???????????? 1? ? ? ? ? ? ? ?? ? ? ? ? ?? ?kkkkckk BXWBXWBB ????? 21(346)代入，得 cc ?? 2 ? ? ? ? ? ?kkk eBXW ? 令 ，定義 (349) ? ? ? ? ? ? ? ?? ?kkckk eeBB ???? 1 (350) (346) ? ?? ?BXWBXWB ????21J利用梯度算法公式 有： ? ? ? ? ? ?? ?kJckkWWWXWWW??????????? ,1? ? ? ? ? ?? ?kk BBXXXXX ? T1T? ? ? ? ? ?kckck eXeXBX ???(3) 求 W(k+1)的迭代式 將 (350)代入 (347)式 W=XB 有： ? ? ? ? ? ? ? ? ? ?? ?? ?kkckkk eeBXBXW ?????? 11? ? ? ? ? ? ? ?? ?kkk BXWXXXeX ? T1T=0 ? ? ? ?kck eXW ??0?? ? ? ? ? ?kkk eBXW ? (349) ? ? ? ? ? ? ? ?? ?kkckk eeBB ???? 1 (350) ? ? ? ?11 BXW ?? ? ? ? ? ?kkk BXWe ?? ? ? ? ? ?kckk eXWW 1 ???? ? ? ? ? ? ? ?? ?kkckk eeBB ???? 1? ? ? ?11 ??? kk BXW總結(jié)：設(shè)初值 B(1)，各分量均為正值，括號(hào)中數(shù)字代表迭代次數(shù) 。 …… 求出 B， W后，再迭代出下一個(gè) e，從而計(jì)算出新的 B， W。 3）模式類別可分性判別 ② 如果 e(k)0 ，表明 XW(k)B(k) 0， 隱含有解。 ③ 如果 e(k)0（所有分量為負(fù)數(shù)或零，但不全為零），停止迭 代，無(wú)解。 可以證明：當(dāng)模式類線性可分，且校正系數(shù) c滿足 時(shí)，該算法收斂，可求得解 W。 ① 如果 e(k)=0 ，表明 XW(k)=B(k) 0，有解。事實(shí)上，往 往早在 e(k)全部分量都達(dá)到非正值以前，就能看出其中有些分量 向正值變化得極慢，可及早采取對(duì)策。 4) LMSE算法描述 (1) 根據(jù) N個(gè)分屬于兩類的樣本，寫(xiě)出規(guī)范化增廣樣本矩陣 X。 ? ? T1T XXXX ?…… (3) 設(shè)置初值 c和 B(1)， c為正的校正增量， B(1)的各分量大于零， 迭代次數(shù) k=1 。 ? ? ? ? ? ?kkk BXWe ?如果 e(k)0，線性可分，若進(jìn)入 (5)可使 e(k) → 0 ，得最優(yōu)解。 如果 e(k)=0，線性可分，解為 W(k)，算法結(jié)束。 ? ? ? ? ? ?kckk eXWW 1 ???? ? ? ? ? ? ? ?? ?kkckk eeBB ???? 1? ? ? ? ? ? ? ?? ?kkckk eeBB ???? 1? ? ? ?11 ??? kk BXW(5) 計(jì)算 W(k+1)和 B(k+1)。 3. 算法特點(diǎn) (1) 算法盡管略為復(fù)雜一些，但提供了線性可分的測(cè)試特征。 (3) 計(jì)算矩陣 復(fù)雜，但可用迭代算法計(jì)算。 ?????????????111101110100X解： (1) 寫(xiě)出規(guī)范化增廣樣本矩陣： Aij是 aij的代數(shù)余子式，注意兩者的行和列的標(biāo)號(hào)互換。例： 代數(shù)余子式定義： ? ? ijij AM ?? ji1? ?32311211323112113223 1 aaaaaaaaA ?? ?? ???????????????????????322240204413222402041T1TXXXX44884416422221212T ?????XX行列式 : ???????????333231232221131211aaaaaaaaaA*1 1 AAA ?????????????????????????????????1113222222224111111010110032224020441X? ? ? ??????????? ??????????? ?????????????