【正文】 網(wǎng)絡？ BP網(wǎng)絡模型 )( kk n e tfo ?對于輸出層： k=1,2,… ,l () ???m0jjjkk ywn e tk=1,2,… ,l () 對于隱層： j=1,2,… ,m () j=1,2,… ,m () )( jj n e tfy ????n0iiijj xvn e t BP網(wǎng)絡模型 單極性 Sigmoid函數(shù)： xe11xf???)(() 雙極性 Sigmoid函數(shù)： xxe1e1xf?????)(? ?39。 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入層 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … X = (x1, … , xi , … , x n)T 輸入層 輸入向量 X： x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入向量： X = (x1 , x2 , … , xi , … , x n)T 輸入層 輸入層到隱層 j之間的 連接 。 此過程一直進行到網(wǎng)絡輸出的 誤差減少到可接受的程度 ，或進行到 預先設定的學習次數(shù) 為止。 若輸出層的實際輸出與期望的輸出 (教師信號 )不符，則轉入誤差的反向傳播階段。 如圖 ， 對應于樣本的期望輸出為：第一類： d1=d2=[0, 0]T；第二類： d3=d4=[0, 1]T；第三類： d5=d6=[1, 0]T；第四類： d7=d8=[1, 1]T。 圖中 …… …… …… …… 。 解（續(xù)） ：分別將 5~8號待分類樣本輸入設計好的感知器，可以得到感知器的輸出分別為 1， 1， 1， 1； 因此在 8個樣本中， X1， X2， X5，X8屬于一類， X2， X4， X6， X7屬于另一類。 x1 x2 X1 X2 X3 X4 x1 x2 X1 X2 X3 X4 單節(jié)點感知器的功能分析 例 考慮下面定義的分類問題： {X1=[1, 1]T， d1=1}； {X2=[1, 1]T， d2=1}； {X3=[0, 0]T， d3=1}； {X4=[1, 0]T， d4=1}； 其中： Xi=[x1i, x2i]T為樣本的輸入， di為樣本的目標輸出（ i=1, 2, 3, 4）。 X5=[2, 0]T； X6=[1, 1]T； X7=[0, 1]T； X8=[1, 2]T。 設分界線方程為： 021??? ??niinnii Txwn e t?????210ijiijj Txwn e t 其中權值和閾值可以用下一節(jié)介紹的感知器學習算法進行訓練而得到，也可以采用求解聯(lián)立方程的方法。 能否用單節(jié)點感知器能夠求解這個問題？ 試設計該感知器解決分類問題，用以上 4個輸入向量驗證。 邏輯“與”的真值表如右： x1 x2 ★ 單節(jié)點感知器的功能分析 用感知器實現(xiàn)邏輯“或”功能。 令凈輸入為零，可得到分類判決方程為 120 . 5 0 . 5 0 . 7 5 0xx? ? ?x1 x2 y 0 0 0 0 1 0 1 0 0 1 1 1 由圖 ，該方程確定的直線將輸出為 1的樣本點 *和輸出為 0的樣本點 o正確分開了。此平面可以將輸入樣本分為兩類。平面上方的樣本用 *表示，它們使，從而使輸出為 1；平面下方的樣本用 o表示，它們使，從面使輸出為 1。 由感知器權值和閾值確定的直線方程，規(guī)定了分界線在樣本空間的位置，從而也確定了如何將輸入樣本分為兩類。 ?????????00)0(11XWXWo TjTjj （ 1）設輸入向量為兩維 X=(x1, x2)T ，則兩個輸入分量在幾何上構成一個二維平面，輸入樣本可以用該平面上的一個點表示。 BP網(wǎng)絡設計基礎 167。 167。 BP算法的改進 167。 BP學習算法 167。 感知器的學習算法 167。 (1)生物神經元的信息處理 (2)神經元模型 (3)神經網(wǎng)絡模型 (4)神經網(wǎng)絡學習 第 3章 監(jiān)督學習神經網(wǎng)絡 167。但當大量處理單元集體進行權值調整時，網(wǎng)絡就呈現(xiàn)出 “ 智能 ” 特性，其中有意義的信息就分布地存儲在調整后的權值矩陣中。 神經網(wǎng)絡能夠通過對樣本的學習訓練，不斷改變網(wǎng)絡的連接權值以及拓撲結構，以使網(wǎng)絡的輸出不斷地接近期望的輸出。其中常見的兩種分類方法是， 按網(wǎng)絡連接的拓撲結構分類和按網(wǎng)絡內部的信息流向分類 。 忽略時間整合作用和不應期 。 (n個輸入 。 由于采用該轉移函數(shù)的神經元輸出狀態(tài)分布與熱力學中的玻爾茲曼 (Boltzmann)分布相類似，因此這種神經元模型也稱為熱力學模型。由于具有分段線性的特點，因而在實現(xiàn)上比較簡單。 x f(x) ??????? ( 2 . 8 )0x1,0x1,f ( x ) 神經元的轉移函數(shù) x f(x) 神經元的轉移函數(shù) ( 2 . 9 ))e1 / ( 1f ( x ) x??? (2)非線性轉移函數(shù) 非線性轉移函數(shù)為實數(shù)域 R到 [0， 1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經元模型。 神經元的信息處理特性是決定人工神經網(wǎng)絡整體性能的三大要素之一，因此轉移函數(shù)的研究具有重要意義。j ???? ?? 如果令 x0=1， w0j=Tj，則有 Tj=w0jx0，因此凈輸入和閾值之差可表示為： 式 ()中列向量和的第一個分量的下標均從 1開始 , 而式()中則從 0開始。 神經元的數(shù)學模型 (4/6) ? ??????????????????????????????????ni1Tnjijj1njijj1jxxxX。 神經元的數(shù)學模型 (3/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 輸入總和常稱為神經元在 t時刻的凈輸入，用 )()t(xw)t(n e tn1iiij39。 (wij可正可負、可大可小 ) 有空間整合特性和閥值特性 。 神經元的數(shù)學模型 (2/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 為簡單起見，將上式中的突觸延時取為單位時間，則式（ ）可寫為 上式描述的神經元數(shù)學模型全面表達了神經元模型的 6點假定。 ∑ wnj wij w1j j x1 … xi … xn f oj 神經元的建摸 (6/6) 人工神經元的輸出也同生物神經元一樣僅有一個，如用oj表示神經元 j輸出。 j x1 … xi … xn wnj wij w1j 神經元的建摸 (4/6) 生物神經元具有不同的突觸性質和突觸強度，其影響是使有些輸入的作用比另外一些輸入更為重要。 關于神經元的信息處理機制，該模型在簡化的基礎上提出以下 6點假定： 是一個多輸入單輸出的信息處理單元； 突觸分興奮性和抑制性兩種類型； 神經元具有空間整合特性和閥值特性； 輸入與輸出間有固定的時滯，取決于突觸延擱； 忽略時間整合作用和不應期； 神經元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。 在人工神經網(wǎng)絡中，神經元常被稱為“處理單元”。 人工神經元模型 人工神經網(wǎng)絡是在現(xiàn)代神經生物學研究基礎上提出的模擬生物過程以反映人腦某些特性的 計算結構 。 WidrowHoff學習規(guī)則 167。 神經網(wǎng)絡學習 167。 互連型結構 167。 神經元的轉移函數(shù) 167。 人工神經網(wǎng)絡的生物學基礎 167。 第三個時期為 復興時期 ，開始于 J． J． Hopfield的突破性研究論文，結束于 1986年 D． E． Rumelhart和 J． L． McClelland領導的研究小組發(fā)表的 《 并行分布式處理 》 (Parallel Distributed Processing)一書。 神經網(wǎng)絡的應用領域 本章小結 167。 復興時期 167。 人腦與計算機 167。 Hopfield網(wǎng)絡應用與設計實例 167。 吸引子的吸引域 167。 網(wǎng)絡的穩(wěn)定性與吸引子 167。 自組織特征映射網(wǎng)絡的設計與應用 167。 自組織特征映射網(wǎng) (絡 )的運行原理與學習算法 167。 競爭學習原理 167。 BP網(wǎng)絡設計基礎 167。 BP算法的程序實現(xiàn) 167。 感知器的局限性及解決途徑 167。 單層感知器 167。 WidrowHoff學習規(guī)則 167。 神經網(wǎng)絡學習 167。 互連型結構 167。 神經元的轉移函數(shù) 167。 人工神經網(wǎng)絡的生物學基礎 167。 新時期 167。 人工神經網(wǎng)絡發(fā)展簡史 167。 人腦與計算機 167。 復興時期 167。 神經網(wǎng)絡的應用領域 本章小結 第 2章 神經網(wǎng)絡基礎知識 167。 神經元的數(shù)學模型 167。 層次型結構 167。 反饋型網(wǎng)絡 167。 δ(Delta)學習規(guī)則 167。 Outstar（外星）學習規(guī)則 本章小結 第 3章 監(jiān)督學習神經網(wǎng)絡 167。 感知器的學習算法 167。 BP學習算法 167。 BP算法的改進 167。 基本概念 167。 SOM網(wǎng) (絡 )的拓撲結構 與權值調整域 167。 功能分析 167。 網(wǎng)絡的結構與工作方式 167。 吸引子的性質 167。 連續(xù)型 Hopfield神經網(wǎng)絡 (CHNN) 167。 遞歸神經網(wǎng)絡 本章小結 第 1章 緒論 167。 低潮時期 167。 神經網(wǎng)絡的基本特征與功能 167。 第二個時期為 低潮時期 ，開始于 1969年，結束于 1982年 Hopfield發(fā)表著名的文章“神經網(wǎng)絡和物理系統(tǒng)” (Neural Network and Physical System)。 啟蒙時期 … 低潮時期 … 復興時期 … 高潮時期 (新高潮 )……… 本章小結 第 2章 神經網(wǎng)絡基礎知識 167。 神經元的數(shù)學模型 167。 層次型結構 167。 反饋型網(wǎng)絡 167。 δ(Delta)學習規(guī)則 167。 Outstar（外星）學習規(guī)則 本章小結 167。因此，模擬生物神經網(wǎng)絡應 首先模擬生物神經元 。 該模型經過不斷改進后，形成目前應用廣泛的一種神經元模型。 圖中用 xi ( i=1, 2, …, n ) 表示輸入數(shù)值的大小，它們同時輸入神經元 j。 神經元是否激活，決于某一 閾值 電平，即只有當其 輸入總和超過閾值 時，神經元才被激活而發(fā)出脈沖，否則神經元不會產生輸出信號。 令 xi(t)表示 t時刻神經元 j接收的來自神經元 i的信息輸入， oj(t)表示 t時刻神經元的信息輸出，則神經元 j的狀態(tài)可表達為 )(T)t(xwf)t(o jn1iijiijj????????????? ??? ??式中 τij —— 輸入