【正文】 lemunications. 16 離散多輸出感知器訓(xùn)練算法 ?方法 2：精度控制法： 給定一個(gè)精度控制參數(shù) ?精度度量：實(shí)際輸出向量與理想輸出向量的對(duì)應(yīng)分量的差的絕對(duì)值之和； ?實(shí)際輸出向量與理想輸出向量的歐氏距離的和 。 ? ―死循環(huán) ” ：網(wǎng)絡(luò)無法表示樣本所代表的問題 。 Beijing University of Posts and Telemunications. 17 離散多輸出感知器訓(xùn)練算法 ?方法 3： 綜合控制法： 將這兩種方法結(jié)合起來使用 ?注意：精度參數(shù)的設(shè)置。根據(jù)實(shí)際問題選定；初始測(cè)試階段，精度要求低，測(cè)試完成后，再給出實(shí)際的精度要求。 Beijing University of Posts and Telemunications. 18 連續(xù)多輸出感知器訓(xùn)練算法 ?用公式 wij=wij+α（ yjoj） xi取代了算法 32 第 步中的多個(gè)判斷 ?yj與 oj之間的差別對(duì) wij的影響由 α（ yjoj） xi表現(xiàn)出來 ?好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬 Beijing University of Posts and Telemunications. 19 連續(xù)多輸出感知器訓(xùn)練算法 1． 用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣 W； 2. 初置精度控制參數(shù) ε， 學(xué)習(xí)率 α， 精度控制變量 d=ε+1； 3． While d ≥ ε do d=0； for 每個(gè)樣本 （ X， Y） do 輸入 X（ =(x1， x2， … ， xn)） ； 求 O=F（ XW） ； 修改權(quán)矩陣 W： for i=1 to n， j=1 to m do wij=wij+α(yjoj)xi； 累積誤差 for j = 1 to m do d=d+(yjoj)2 Beijing University of Posts and Telemunications. 20 線性不可分問題 異或 (Exclusive –OR)問題 g（ x， y） y 0 1 x 0 0 1 1 1 0 Beijing University of Posts and Telemunications. 21 用于求解 XOR的單神經(jīng)元感知器 x y o 單神經(jīng)元感知器 的圖像 ax+by=θ 1 y x 1 (0,0) (1,1) Beijing University of Posts and Telemunications. 22 線性不可分函數(shù) 變量 函數(shù)及其值 x y f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 Beijing University of Posts and Telemunications. 23 線性不可分函數(shù) ?R. O. Windner 1960年 自變量個(gè)數(shù) 函數(shù)的個(gè)數(shù) 線性可分函數(shù)的個(gè)數(shù) 1 4 4 2 16 14 3 256 104 4 65,536 1882 5 *109 94,572 6 *1019 5,028,134 Beijing University of Posts and Telemunications. 24 線性不可分問題的克服 ?用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個(gè)封閉或者開放的凸域來 ?一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來。 ?解決好隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵的 Beijing University of Posts and Telemunications. 25 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類 ? 構(gòu)成 ? 從 Perceptron模型可以看出神經(jīng)網(wǎng)絡(luò)通過一組狀態(tài)方程和一組學(xué)習(xí)方程加以描述。 ? 狀態(tài)方程描述每個(gè)神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。 ? 學(xué)習(xí)方程描述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)通過修正這些權(quán)值來進(jìn)行學(xué)習(xí)，從而調(diào)整整個(gè)神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系。 ?分類 （ 1）從結(jié)構(gòu)上劃分 通常所說的網(wǎng)絡(luò)結(jié)構(gòu)，主要是指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)從拓?fù)浣Y(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。 Beijing University of Posts and Telemunications. 26 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類 ① 層狀結(jié)構(gòu) ： 網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)神經(jīng)元不能聯(lián)接。 前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個(gè)神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。 Beijing University of Posts and Telemunications. 27 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類 ② 網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個(gè)神經(jīng)元之間都可能雙向聯(lián)接。 ?反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個(gè)神經(jīng)元同時(shí)接收外來輸入和來自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出信號(hào)引回自身輸入的自環(huán)反饋。 ?混合型網(wǎng)絡(luò)：前向網(wǎng)絡(luò)的同一層神經(jīng)元之間有互聯(lián)的網(wǎng)絡(luò)。 Beijing University of Posts and Telemunications. 28 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類 （ 2） 從激發(fā)函數(shù)的類型上劃分 高斯基函數(shù)神經(jīng)網(wǎng)絡(luò)、小波基函數(shù)神經(jīng)網(wǎng)絡(luò)、樣條基函數(shù)神經(jīng)網(wǎng)絡(luò)等等 （ 3） 從網(wǎng)絡(luò)的學(xué)習(xí)方式上劃分 ① 有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)的輸入輸出關(guān)系逼近樣本數(shù)據(jù)的輸入輸出關(guān)系。 ②無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 不為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，學(xué)習(xí)過程中網(wǎng)絡(luò)自動(dòng)將輸入數(shù)據(jù)的特征提取出來。 （ 4）從學(xué)習(xí)算法上來劃分： 基于 BP算法的網(wǎng)絡(luò)、基于 Hebb算法的網(wǎng)絡(luò)、基于競(jìng)爭(zhēng)式學(xué)習(xí)算法的網(wǎng)絡(luò)、基于遺傳算法的網(wǎng)絡(luò)。 Beijing University of Posts and Telemunications. 29 多層前向 BP神經(jīng)網(wǎng)絡(luò) 最早由 werbos在 1974年提出的， 1985年由 Rumelhart再次進(jìn)行發(fā)展。 ? 多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于 1層）、輸出層組成，信號(hào)沿輸入 —— 輸出的方向逐層傳遞。 Beijing University of Posts and Telemunications. 30 多層前向 BP神經(jīng)網(wǎng)絡(luò) 沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用 Inj(i)， Outj(i)表示第 i層第 j個(gè)神經(jīng)