《神經(jīng)網(wǎng)絡(luò)分類器》ppt課件(文件)
【正文】 若 g(x)0，則修改 w，直到所有樣本都滿足條件為止。 ? xi＝ (xi1, xi2,… xin)T為 n維向量，增廣為 (n+1)維向量： xi＝(xi1, xi2,… xin,1) ? ω2類樣本乘以－ 1。如果 k=N，則檢驗(yàn)判別函數(shù) wTx對 x1, x2,…, xN，是否都能正確分類。 感知器算法在多類問題中的應(yīng)用 多類問題分類途徑 只考慮第三種情況： 如果 di(x) dj(x) 任意 j≠ i ， 則判 x∈ ωi (1)賦初值，分別給 c個(gè)權(quán)矢量 wi(1)（ i=1,2,… c） 賦任意的初值，選擇正常數(shù) ρ ， 置步數(shù) k=1. (2)輸入符號未規(guī)范化的增廣訓(xùn)練模式 xk, xk∈{ x1, x2… xN} ,計(jì)算 c個(gè)判別函數(shù)： di(xk) =wi’(k) xk(i=1,2,… c) (3)調(diào)整增廣權(quán)矢量，規(guī)則是： ? 如果 xk∈ ωi和 di(xk) dj(xk) (任意 j ≠ i)，則： wi(k+1)=wi(k) (i=1,2,… c) 算法步驟： ?如果 xk∈ ωi和 dl(xk) ≥ di(xk) (l≠ i)則： wi(k+1)=wi(k)+ρxk wl(k+1)=wl(k)ρxk wj(k+1)=wi(k)(任意 j ≠ l, i) (4)如果 kN,令 k=k+1,返至 (2)。 Papert, 1969) ? Hopfield模型 (Hopfield， 1982) ? 多層感知機(jī) MLP與反向傳播算法 BP (Rumelhart, 1986) 神經(jīng)網(wǎng)絡(luò)分類器 神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 自學(xué)習(xí) ? 自適應(yīng) ? 并行處理 ? 分布表達(dá)與計(jì)算 神經(jīng)網(wǎng)絡(luò)本質(zhì)上可以理解為函數(shù)逼近，可以應(yīng)用到眾多領(lǐng)域： ? 優(yōu)化計(jì)算 ? 信號處理 ? 智能控制 ? 模式識別 ? 機(jī)器視覺等 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 常用輸出函數(shù)： 線性輸出函數(shù)： a=f (x)=x Sigmoid 函數(shù)： xexfa ???? 11)(Hebb學(xué)習(xí)規(guī)則： 如果神經(jīng)元 ui接收來自另一神經(jīng)元 uj的輸出，則當(dāng)這兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，從 uj到 ui的權(quán)值 wij就得到加強(qiáng)，可寫成： 神經(jīng)元的學(xué)習(xí)算法 iji xyw ???? ?式中 Δwij為到 uj的第 i個(gè)權(quán)值的修正量， η為控制修正速度的系數(shù)。 ? 可見層：輸入層和輸出層 ? 隱層：中間層 前饋神經(jīng)網(wǎng)絡(luò)及其主要方法 例：感知器 ? 雙層神經(jīng)網(wǎng)絡(luò)：一層為輸入層，另一層有計(jì)算單元； ? 修正權(quán)值 w： )())()(()()1( kxkykykwkwiiiijji ???????式中 k為迭代次數(shù)。)( jjjjjjj n e tfyyn e tyyE ??? ??????????若單元 j不是輸出單元，則 Oj會(huì)影響后層所有單元，有： ?????????????????????kjkkjjjkkkjjjkk kjjwn e tfn e tfwn e tOOn e tn e tEn e tE???)(39。)( jjjjjjjjjjj OOOyn e tfOyn e tyyE ?????????????????? ???? k kjkjjk kjkjj wOOwne tf ??? )1()(39。 ? 輸出節(jié)點(diǎn)為線性輸出單元，隱層到輸出節(jié)點(diǎn)之間的權(quán)值可調(diào)，輸出為隱層的加權(quán)求和。引進(jìn)競爭機(jī)制的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無監(jiān)督學(xué)習(xí)，完成聚類的任務(wù)。 ? 學(xué)習(xí)結(jié)果受初始值和學(xué)習(xí)樣本順序影響很大，聚類的結(jié)果不一定理想，需要加入適當(dāng)?shù)娜斯じ深A(yù)。 兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向全連接 ， 網(wǎng)絡(luò)中沒有隱含層 。 神經(jīng)網(wǎng)絡(luò)與模式識別 神經(jīng)網(wǎng)絡(luò)與統(tǒng)計(jì)模式識別在方法上具有一定的等價(jià)關(guān)系： ?單層
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1