【正文】 網(wǎng)絡(luò)？ BP網(wǎng)絡(luò)模型 )( kk n e tfo ?對于輸出層： k=1,2,… ,l () ???m0jjjkk ywn e tk=1,2,… ,l () 對于隱層： j=1,2,… ,m () j=1,2,… ,m () )( jj n e tfy ????n0iiijj xvn e t BP網(wǎng)絡(luò)模型 單極性 Sigmoid函數(shù)： xe11xf???)(() 雙極性 Sigmoid函數(shù)： xxe1e1xf?????)(? ?39。 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入層 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … X = (x1, … , xi , … , x n)T 輸入層 輸入向量 X： x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入向量： X = (x1 , x2 , … , xi , … , x n)T 輸入層 輸入層到隱層 j之間的 連接 。 此過程一直進行到網(wǎng)絡(luò)輸出的 誤差減少到可接受的程度 ，或進行到 預(yù)先設(shè)定的學(xué)習(xí)次數(shù) 為止。 若輸出層的實際輸出與期望的輸出 (教師信號 )不符，則轉(zhuǎn)入誤差的反向傳播階段。 如圖 ， 對應(yīng)于樣本的期望輸出為：第一類： d1=d2=[0, 0]T；第二類： d3=d4=[0, 1]T；第三類： d5=d6=[1, 0]T；第四類： d7=d8=[1, 1]T。 圖中 …… …… …… …… 。 解（續(xù)） ：分別將 5~8號待分類樣本輸入設(shè)計好的感知器，可以得到感知器的輸出分別為 1， 1， 1， 1； 因此在 8個樣本中， X1， X2， X5，X8屬于一類， X2， X4， X6， X7屬于另一類。 x1 x2 X1 X2 X3 X4 x1 x2 X1 X2 X3 X4 單節(jié)點感知器的功能分析 例 考慮下面定義的分類問題： {X1=[1, 1]T， d1=1}； {X2=[1, 1]T， d2=1}； {X3=[0, 0]T， d3=1}； {X4=[1, 0]T， d4=1}； 其中： Xi=[x1i, x2i]T為樣本的輸入， di為樣本的目標輸出（ i=1, 2, 3, 4）。 X5=[2, 0]T； X6=[1, 1]T； X7=[0, 1]T； X8=[1, 2]T。 設(shè)分界線方程為： 021??? ??niinnii Txwn e t?????210ijiijj Txwn e t 其中權(quán)值和閾值可以用下一節(jié)介紹的感知器學(xué)習(xí)算法進行訓(xùn)練而得到，也可以采用求解聯(lián)立方程的方法。 能否用單節(jié)點感知器能夠求解這個問題？ 試設(shè)計該感知器解決分類問題，用以上 4個輸入向量驗證。 邏輯“與”的真值表如右： x1 x2 ★ 單節(jié)點感知器的功能分析 用感知器實現(xiàn)邏輯“或”功能。 令凈輸入為零，可得到分類判決方程為 120 . 5 0 . 5 0 . 7 5 0xx? ? ?x1 x2 y 0 0 0 0 1 0 1 0 0 1 1 1 由圖 ，該方程確定的直線將輸出為 1的樣本點 *和輸出為 0的樣本點 o正確分開了。此平面可以將輸入樣本分為兩類。平面上方的樣本用 *表示，它們使，從而使輸出為 1；平面下方的樣本用 o表示，它們使，從面使輸出為 1。 由感知器權(quán)值和閾值確定的直線方程，規(guī)定了分界線在樣本空間的位置，從而也確定了如何將輸入樣本分為兩類。 ?????????00)0(11XWXWo TjTjj （ 1）設(shè)輸入向量為兩維 X=(x1, x2)T ，則兩個輸入分量在幾何上構(gòu)成一個二維平面，輸入樣本可以用該平面上的一個點表示。 BP網(wǎng)絡(luò)設(shè)計基礎(chǔ) 167。 167。 BP算法的改進 167。 BP學(xué)習(xí)算法 167。 感知器的學(xué)習(xí)算法 167。 (1)生物神經(jīng)元的信息處理 (2)神經(jīng)元模型 (3)神經(jīng)網(wǎng)絡(luò)模型 (4)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 第 3章 監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 167。但當大量處理單元集體進行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出 “ 智能 ” 特性，其中有意義的信息就分布地存儲在調(diào)整后的權(quán)值矩陣中。 神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。其中常見的兩種分類方法是， 按網(wǎng)絡(luò)連接的拓撲結(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類 。 忽略時間整合作用和不應(yīng)期 。 (n個輸入 。 由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼 (Boltzmann)分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。由于具有分段線性的特點，因而在實現(xiàn)上比較簡單。 x f(x) ??????? ( 2 . 8 )0x1,0x1,f ( x ) 神經(jīng)元的轉(zhuǎn)移函數(shù) x f(x) 神經(jīng)元的轉(zhuǎn)移函數(shù) ( 2 . 9 ))e1 / ( 1f ( x ) x??? (2)非線性轉(zhuǎn)移函數(shù) 非線性轉(zhuǎn)移函數(shù)為實數(shù)域 R到 [0， 1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。 神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，因此轉(zhuǎn)移函數(shù)的研究具有重要意義。j ???? ?? 如果令 x0=1， w0j=Tj，則有 Tj=w0jx0，因此凈輸入和閾值之差可表示為： 式 ()中列向量和的第一個分量的下標均從 1開始 , 而式()中則從 0開始。 神經(jīng)元的數(shù)學(xué)模型 (4/6) ? ??????????????????????????????????ni1Tnjijj1njijj1jxxxX。 神經(jīng)元的數(shù)學(xué)模型 (3/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 輸入總和常稱為神經(jīng)元在 t時刻的凈輸入，用 )()t(xw)t(n e tn1iiij39。 (wij可正可負、可大可小 ) 有空間整合特性和閥值特性 。 神經(jīng)元的數(shù)學(xué)模型 (2/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 為簡單起見，將上式中的突觸延時取為單位時間，則式（ ）可寫為 上式描述的神經(jīng)元數(shù)學(xué)模型全面表達了神經(jīng)元模型的 6點假定。 ∑ wnj wij w1j j x1 … xi … xn f oj 神經(jīng)元的建摸 (6/6) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個，如用oj表示神經(jīng)元 j輸出。 j x1 … xi … xn wnj wij w1j 神經(jīng)元的建摸 (4/6) 生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，其影響是使有些輸入的作用比另外一些輸入更為重要。 關(guān)于神經(jīng)元的信息處理機制，該模型在簡化的基礎(chǔ)上提出以下 6點假定： 是一個多輸入單輸出的信息處理單元； 突觸分興奮性和抑制性兩種類型； 神經(jīng)元具有空間整合特性和閥值特性； 輸入與輸出間有固定的時滯，取決于突觸延擱； 忽略時間整合作用和不應(yīng)期； 神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。 在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。 人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反映人腦某些特性的 計算結(jié)構(gòu) 。 WidrowHoff學(xué)習(xí)規(guī)則 167。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 167。 互連型結(jié)構(gòu) 167。 神經(jīng)元的轉(zhuǎn)移函數(shù) 167。 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 167。 第三個時期為 復(fù)興時期 ，開始于 J． J． Hopfield的突破性研究論文，結(jié)束于 1986年 D． E． Rumelhart和 J． L． McClelland領(lǐng)導(dǎo)的研究小組發(fā)表的 《 并行分布式處理 》 (Parallel Distributed Processing)一書。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 本章小結(jié) 167。 復(fù)興時期 167。 人腦與計算機 167。 Hopfield網(wǎng)絡(luò)應(yīng)用與設(shè)計實例 167。 吸引子的吸引域 167。 網(wǎng)絡(luò)的穩(wěn)定性與吸引子 167。 自組織特征映射網(wǎng)絡(luò)的設(shè)計與應(yīng)用 167。 自組織特征映射網(wǎng) (絡(luò) )的運行原理與學(xué)習(xí)算法 167。 競爭學(xué)習(xí)原理 167。 BP網(wǎng)絡(luò)設(shè)計基礎(chǔ) 167。 BP算法的程序?qū)崿F(xiàn) 167。 感知器的局限性及解決途徑 167。 單層感知器 167。 WidrowHoff學(xué)習(xí)規(guī)則 167。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 167。 互連型結(jié)構(gòu) 167。 神經(jīng)元的轉(zhuǎn)移函數(shù) 167。 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 167。 新時期 167。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 167。 人腦與計算機 167。 復(fù)興時期 167。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 本章小結(jié) 第 2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識 167。 神經(jīng)元的數(shù)學(xué)模型 167。 層次型結(jié)構(gòu) 167。 反饋型網(wǎng)絡(luò) 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 本章小結(jié) 第 3章 監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 167。 感知器的學(xué)習(xí)算法 167。 BP學(xué)習(xí)算法 167。 BP算法的改進 167。 基本概念 167。 SOM網(wǎng) (絡(luò) )的拓撲結(jié)構(gòu) 與權(quán)值調(diào)整域 167。 功能分析 167。 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式 167。 吸引子的性質(zhì) 167。 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò) (CHNN) 167。 遞歸神經(jīng)網(wǎng)絡(luò) 本章小結(jié) 第 1章 緒論 167。 低潮時期 167。 神經(jīng)網(wǎng)絡(luò)的基本特征與功能 167。 第二個時期為 低潮時期 ，開始于 1969年，結(jié)束于 1982年 Hopfield發(fā)表著名的文章“神經(jīng)網(wǎng)絡(luò)和物理系統(tǒng)” (Neural Network and Physical System)。 啟蒙時期 … 低潮時期 … 復(fù)興時期 … 高潮時期 (新高潮 )……… 本章小結(jié) 第 2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識 167。 神經(jīng)元的數(shù)學(xué)模型 167。 層次型結(jié)構(gòu) 167。 反饋型網(wǎng)絡(luò) 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 本章小結(jié) 167。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng) 首先模擬生物神經(jīng)元 。 該模型經(jīng)過不斷改進后，形成目前應(yīng)用廣泛的一種神經(jīng)元模型。 圖中用 xi ( i=1, 2, …, n ) 表示輸入數(shù)值的大小，它們同時輸入神經(jīng)元 j。 神經(jīng)元是否激活，決于某一 閾值 電平，即只有當其 輸入總和超過閾值 時，神經(jīng)元才被激活而發(fā)出脈沖，否則神經(jīng)元不會產(chǎn)生輸出信號。 令 xi(t)表示 t時刻神經(jīng)元 j接收的來自神經(jīng)元 i的信息輸入， oj(t)表示 t時刻神經(jīng)元的信息輸出，則神經(jīng)元 j的狀態(tài)可表達為 )(T)t(xwf)t(o jn1iijiijj????????????? ??? ??式中 τij —— 輸入