前饋神經(jīng)網(wǎng)絡(luò)ppt課件(編輯修改稿)
2025-02-01 07:10 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 層感知器解決”異或”問(wèn)題 : 1 2 3 1 1 θ θ θ x1 x2 y1 y2 y3 w11 w12 w21 w22 3 1 2 輸出層節(jié)點(diǎn)以隱層兩節(jié)點(diǎn) y1,y2的輸出作為輸入 ,其結(jié)構(gòu)也相當(dāng)于一個(gè)符號(hào)單元 . 隱層兩節(jié)點(diǎn)相當(dāng)于兩個(gè)獨(dú)立的符號(hào)單元 (單計(jì)算節(jié)點(diǎn)感知器 ). 具有兩個(gè)計(jì)算層感知器 x x2構(gòu)成的平面上 , 2兩符號(hào)單元確定兩條分界直線(xiàn) s1和 s2,可構(gòu)成開(kāi)放式凸域如圖 . △ △ （ 1,0） （ 1,1） x2 （ 0,1） （ 0,0） x1 ＊ ＊ s1 s2 通過(guò)網(wǎng)絡(luò)訓(xùn)練，調(diào)整兩直線(xiàn)位置，可使“異或”兩類(lèi)線(xiàn)性不可分樣本分別位于該開(kāi)放式凸域內(nèi)部和外部。 △ △ （ 1,0） （ 1,1） x2 （ 0,1） （ 0,0） x1 ＊ ＊ s1 s2 1 2 3 θ θ θ x1 x2 y1 y2 w11 w12 w21 3 1 2 y3 對(duì)隱節(jié)點(diǎn) 1： s1下面的樣本，使其輸出為 y1=1,而 s1上面樣本使 y1=0； 對(duì)隱節(jié)點(diǎn) 2： s2上面的樣本，使其輸出為 y2=1,而 s2下面樣本使 y2=0； 這樣可實(shí)現(xiàn)：輸入 △類(lèi)信息時(shí)有 y1=1 y2=1 (△ 在凸域內(nèi)） 輸入＊類(lèi)樣本時(shí)有 y1=0 y2=1 （同時(shí)處在 s s2上方，即 s1上面的＊） 和有 y1=1 y2=0 （同時(shí)處在 s s2下方，即 s2下方的＊） 這樣，把輸出層節(jié)點(diǎn) 3以隱層兩節(jié)點(diǎn) y y2為輸入，經(jīng)訓(xùn)練，使其具有邏輯“與非”功能，則“異或”問(wèn)題得以解決。 兩個(gè)計(jì)算層的感知器求解“異或”問(wèn)題各節(jié)點(diǎn)輸出情況： x1 x2 y1 y2 y3 0 0 1 1 0 0 1 0 1 1 1 0 1 0 1 1 1 1 1 0 實(shí)現(xiàn) x1 ， x2 y3 （ “異或”邏輯） 采用 y1 ， y2 y3 （“與非”邏輯） 看出：?jiǎn)坞[層感知器可以求解異或問(wèn)題，具有解決線(xiàn)性不可分問(wèn)題的分類(lèi)能力。 就單隱層感知器，當(dāng)輸入樣本為二維向量時(shí)，隱層中每個(gè)計(jì)算節(jié)點(diǎn)確定了二維平面上的一條分界直線(xiàn)。多條直線(xiàn)（隱層中多個(gè)節(jié)點(diǎn)）經(jīng)輸出節(jié)點(diǎn)組合后會(huì)構(gòu)成各種形狀凸域（凸域是指其邊界上任兩點(diǎn)連線(xiàn)均在域內(nèi)）。 開(kāi)式凸域 閉式凸域 通過(guò)訓(xùn)練調(diào)整凸域形狀，可將兩類(lèi)線(xiàn)性不可分樣本分為域內(nèi)域外。 單隱層節(jié)點(diǎn)數(shù)增加可以使多邊凸域邊數(shù)增加，從而在輸出層構(gòu)建出任意形狀的凸域。如果再增加第二隱層，則該隱層的每節(jié)點(diǎn)確定一個(gè)凸域，各種凸域經(jīng)輸出節(jié)點(diǎn)組合后，會(huì)得到任意形狀域，分類(lèi)能力大大提高。 凸域組合的任意形狀 已經(jīng)過(guò)嚴(yán)格的數(shù)學(xué)證明，雙隱層感知器足以解決任何復(fù)雜分類(lèi)問(wèn)題。 另，為提高感知器分類(lèi)能力，可采用非線(xiàn)性連續(xù)函數(shù)作為神經(jīng)元節(jié)點(diǎn)的轉(zhuǎn)移函數(shù)，使區(qū)域邊界變成曲線(xiàn)，可形成連續(xù)光滑曲線(xiàn)域。 多層感知器從理論上講可解決線(xiàn)性不可分問(wèn)題，但從感知器的學(xué)習(xí)規(guī)則看，其權(quán)值調(diào)整量取決于感知器期望輸出與實(shí)際輸出之差，即： △ Wj(t)=η [djyj(t)]X 對(duì)各隱層節(jié)點(diǎn)來(lái)說(shuō)，期望輸出無(wú)法確定，因而該學(xué)習(xí)規(guī)則對(duì)隱層權(quán)值不適用。為了改進(jìn)學(xué)習(xí)過(guò)程，后來(lái)提出最小均方、 BP算法等。 盡管簡(jiǎn)單的感知器學(xué)習(xí)算法有局限性，但這種神經(jīng)元網(wǎng)絡(luò)模型在神經(jīng)元網(wǎng)絡(luò)研究中有重要意義和地位，它提出了自組織、自學(xué)習(xí)的思想。 簡(jiǎn)單的感知器給出了單個(gè)神經(jīng)元的學(xué)習(xí)和運(yùn)行算法，如果把多個(gè)這樣的神經(jīng)元連成一個(gè)網(wǎng)絡(luò)，那么這種網(wǎng)絡(luò)可能有很強(qiáng)的信息處理能力。 （ ADALINE）簡(jiǎn)介 1962年美國(guó)斯坦福大學(xué)教授 widrow提出一種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)，其基本構(gòu)成單元稱(chēng)為自適應(yīng)線(xiàn)性單元， ADALINE（ Adaptive Linear Neuron)。 這種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)主要使用于信號(hào)處理中的自適應(yīng)濾波、預(yù)測(cè)和模式識(shí)別。 ∑ ∑ +1 1 q y + w0 w1 w2 wi wn x0=1 x1 x2 xi xn LMS算法 模擬輸出 二值輸出 誤差 WidrowHoff算法 輸入向量 X=[x0 x1 … x n]T的每個(gè)輸入分量可以是數(shù)字量也可以是模擬量。 ADALINE有兩種輸出情況： （ 1）轉(zhuǎn)移函數(shù)為線(xiàn)性函數(shù)，輸出模擬量： y=f(WTX)=WTX (2)轉(zhuǎn)移函數(shù)為符號(hào)函數(shù)，輸出為雙極數(shù)字量 q=sgn(y)= 1 y≥0 1 y 0 數(shù)值輸出情況， ADALINE與感知器的符號(hào)單元完全相同，可進(jìn)行線(xiàn)性分類(lèi)。 期望輸出 模擬輸出情況，主要實(shí)現(xiàn)調(diào)節(jié)誤差手段（如濾波）。由于模擬量輸出時(shí)的轉(zhuǎn)移函數(shù)為線(xiàn)性，故稱(chēng)為自適應(yīng)線(xiàn)性單元 ADALINE。其功能是將ADALINE的期望輸出與實(shí)際模擬輸出相比較，得到一個(gè)同為模擬量的誤差信號(hào)，根據(jù)誤差信號(hào)不斷在線(xiàn)調(diào)整權(quán)向量，以保證在任何時(shí)刻始終保持實(shí)際輸出與期望輸出相等（ y=d）。從而可將一組輸入模擬信號(hào)轉(zhuǎn)變?yōu)槿我馄谕牟ㄐ?d. ADALINE學(xué)習(xí)算法 ADALINE學(xué)習(xí)算法采用 widrowHoff 學(xué)習(xí)規(guī)則 ,也稱(chēng) LMS(Least Mean Square),即最小二乘算法 .下面以單個(gè)自適應(yīng)線(xiàn)性單元為例 ,討論其學(xué)習(xí)算法 . 權(quán)向量調(diào)整量 △ W=η(dWTX)X 輸出為模擬量時(shí) ,ADALINE的轉(zhuǎn)移函數(shù)為單位線(xiàn)性函數(shù) ,所以有 : y=WTX 定義輸出誤差 ε=dy 則 △ W=η(dy)X= ηεX 實(shí)際修正權(quán)系數(shù)中 ,采用輸入向量 X除以其模的平方 ,即 : XXW ?? 2??看一下誤差改變量 : 此式表明 , △ ε永遠(yuǎn)與 ε符號(hào)相反 ,這意味著在訓(xùn)練中 , ε的絕對(duì)值是單調(diào)下降的 ,即 y總是不斷接近 d。因此， LMS算法能保證 ADALINE在自適應(yīng)學(xué)習(xí)時(shí)的收斂性。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1