【正文】 i輸出 j間的突觸延時(shí)； Tj —— 神經(jīng)元 j的 閾 值； wij —— 神經(jīng)元 i到 j的突觸連接系數(shù)值； f( ) —— 神經(jīng)元轉(zhuǎn)移函數(shù)。 1個(gè)輸出 ) 突觸分興奮性和抑制性 。 非時(shí)變，即突觸時(shí)延和突觸強(qiáng)度為常數(shù)。 為簡便起見，后面用到式 ()和 ()時(shí)，常將其中的 (t+1)和 (t)省略。j ??? 神經(jīng)元的數(shù)學(xué)模型 (5/6) ? ?????????????????ni0njijj0TjxxxXW????)(XWxwn e tTn e t Tjn0iiijjj39。綜合以上各式 , 神經(jīng)元模型可簡化為 )()XW(f)n e t(fo Tjjj ??x0=1 x1 … xi … xn w0j=Tj f oj ∑ wnj wij w1j j Tj=w0jx0 神經(jīng)元的轉(zhuǎn)移函數(shù) 神經(jīng)元的各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。 函數(shù)中的自變量 x代表 ’jTj，即當(dāng) ’j=Tj時(shí)，神經(jīng)元為興奮狀態(tài)，輸出為 1；當(dāng)時(shí) ’jTj ，神經(jīng)元為抑制狀態(tài)，輸出為 0。 單極性 S型函數(shù)定義如下 xxx e1e11e12)x(f??? ?????? 有時(shí)也常采用雙極性 S型函數(shù) (即雙曲正切 )等形式 圖 27 S型轉(zhuǎn)移函數(shù) f(x) x f(x) x f(x) x )()e1/(1)x(f x???xxx e1e11e12)x(f??? ?????? 神經(jīng)元的轉(zhuǎn)移函數(shù) ( 2 . 1 1 )xxx1x0cx0x0f ( x ) cc?????????? (3)分段線性轉(zhuǎn)移函數(shù) 該函數(shù)特點(diǎn)是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿足線性關(guān)系。 設(shè)神經(jīng)元輸出為 1的概率為 式中， T稱為溫度參數(shù)。 多輸入單輸出 。 (∑求和 , Tj) 輸入與輸出間有固定的時(shí)滯 。 人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類。 神經(jīng)網(wǎng)絡(luò)的全體連接權(quán)值可用一個(gè)矩陣表示，其整體內(nèi)容反映了神經(jīng)網(wǎng)絡(luò)對(duì)于所解決問題的知識(shí)存儲(chǔ)。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法 （亦稱訓(xùn)練規(guī)則或訓(xùn)練算法），如果只是單個(gè)處理單元，無論采用哪種學(xué)習(xí)規(guī)則進(jìn)行調(diào)整，其算法都十分簡單。其中， 神經(jīng)元的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的連接方式以及神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的三大要素 ，因而是本章學(xué)習(xí)的重點(diǎn)。 單節(jié)點(diǎn)感知器的功能分析 167。 BP網(wǎng)絡(luò)模型 167。 誤差曲面與 BP算法的局限性 167。根據(jù) 感知器 神經(jīng)元轉(zhuǎn)移函數(shù)、隱層數(shù)以及權(quán)值調(diào)整規(guī)則的不同 , 可以形成具有各種功能特點(diǎn)的神經(jīng)網(wǎng)絡(luò)。 BP算法的改進(jìn) 167。輸出可表達(dá)為 1010Tjj Tjo? ??? ?????WXWX， ， 分三種情況，討論單計(jì)算節(jié)點(diǎn)感知器的功能。 1 1 2 21 1 2 210j j jjj j jw x w x To w x w x T? ? ???? ? ? ? ? ???， ，1 1 2 2 0j j jw x w x T? ? ? 單節(jié)點(diǎn)感知器的功能分析 線上方，由于 0，所以輸出為 1，我們用 *表示；線下方，由于 0，所以輸出 1,，我們用 o表示，見圖 。節(jié)點(diǎn)的輸出為 則由方程 1 1 2 2 3 31 1 2 2 3 310j j j jjj j j jw x w x w x To w x w x w x T? ? ? ???? ? ? ? ? ? ???， ， 確定三維空間的一個(gè)平面，該平面是一個(gè)分界平面。由方程 定義一個(gè) n維空間上的超平面。 1 1 2 2 0j j nj n jw x w x w x T? ? ? ? ?… 單節(jié)點(diǎn)感知器的功能分析 用感知器學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，得到的連接權(quán)值標(biāo)在圖 。 用感知器實(shí)現(xiàn)邏輯“與”功能。 12 0 . 7 5 0xx? ? ? 單節(jié)點(diǎn)感知器的功能分析 單節(jié)點(diǎn)感知器的功能分析 例 考慮下面定義的分類問題： {X1=[1, 1]T， d1=1}； {X2=[1, 1]T， d2=1}； {X3=[0, 0]T， d3=1}； {X4=[1, 0]T， d4=1}； 其中： Xi=[x1i, x2i]T為樣本的輸入， di為樣本的目標(biāo)輸出（ i=1, 2, 3, 4）。 解： 首先將 4個(gè)輸入樣本標(biāo)在圖 ，立刻看出，可以找到一條直線將在兩類樣本分開，因此可以用單節(jié)點(diǎn)感知器解決該問題。 該感知器分類的正確性，對(duì)以下 4個(gè)輸入向量進(jìn)行分類。 j = x1 + 0*x2 – 分別將 4個(gè)輸入 向量代入感知器的輸出表達(dá)式 o=sgn(WTXT)，可得網(wǎng)絡(luò)的輸出分別為 1， 1， 1， 1，即感知器的輸出和教師信號(hào)相符，可以進(jìn)行正確分類。 X5=[2, 0]T； X6=[1, 1]T； X7=[0, 1]T； X8=[1, 2]T。 解：首先畫出 8個(gè)輸入樣本在平面上的分布，如圖 (a)所示。 由于每個(gè) 感知器中的每個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值和閾值確定了樣本空間的一條線性判決邊界， 本例中的感知器應(yīng)有 2個(gè)節(jié)點(diǎn)。 正向傳播時(shí)，輸入樣本從輸入層傳人，經(jīng)各隱層逐層處理后，傳向輸出層。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。 o 1 ? o k ? o l W 1 ○ W k ○ W l ○ y 1 ○ y 2 ○ ? ○ y j ? ○ y m V 1 V m ○ ○ ○ ○ ○ x 1 x 2 ? x i ? x n1 x n 習(xí)慣將 單隱層 前饋網(wǎng)稱為 三層前饋網(wǎng)或 三層感知器 ，所謂三層包括了 輸入層 、隱層 和 輸出層 。 隱層 輸出層 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入層 Wk=(w1k , … ,wj k , … , wm k)T 隱層到輸出層 k之間的權(quán)值向量 Wk： 隱層 輸出層 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入層 W1=(w11 , … ,wj 1 , … , wm 1)T 隱層到輸出層 1之間的 權(quán)值向量 W1： 隱層 輸出層 x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 輸入層 Wl=(w1l , … ,wj l , … , wm l)T 隱層到輸出層 l之間的 權(quán)值向量 Wl： 隱層 輸出層 x0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … y0 … … 輸出 神經(jīng)元的 閾值可用 y0 = 1 來處理。 2 xfxf ??轉(zhuǎn)移函數(shù)： xe11xf???)(() 式 ()～式 ()共同構(gòu)成了三層前饋網(wǎng)的數(shù)學(xué)模型。 將以上 （輸出）誤差定義式 展開至隱層，有 ????l1k2kk n e tfd21E )]([ ? ?? ???l1k2m0jjjkk ywfd21 )]([() ()lkkkE d o???? 2112 調(diào)整權(quán)值的原則是使誤差不斷地減小，因此權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即 網(wǎng)絡(luò)誤差定義與權(quán)值調(diào)整思路 jkjk wEw???? ??j = 0,1,… ,m。 在推導(dǎo)過程中，對(duì) 輸出層 有 j = 0, 1, …,m。 下面繼續(xù)推導(dǎo)如何求 ?ok和 ?yj。 () （ ) 下面求式 ()中網(wǎng)絡(luò) (輸出 )誤差對(duì)各層輸出的偏導(dǎo)。wn e tf39。 其中輸出層誤差信號(hào)同網(wǎng)絡(luò)的期望輸出與實(shí)際輸出之差有關(guān)，直接反映了輸出誤差。 jkkkkjokjk yo1oodyw )()( ???? ????() ijjl1kjkokiyjij xy1ywxv )()( ??? ???????() x0 y0 x1 xi xn … … W1 Wk Wl V1 Vj Vm ol ok o1 ym yj y1 … … … … … … … … 把計(jì)算推廣到更多層。 反向過程是：在輸出層期望輸出 d與實(shí)際輸出 O。試對(duì)單次訓(xùn)練過程進(jìn)行分析，求出： ①隱層權(quán)值矩陣 V和輸出層權(quán)值矩陣 W ②各層凈輸入和輸出： y、 Y和 o、 O，其中上標(biāo) y代表隱層，上標(biāo) o代表輸出層； ③各層輸出的一階號(hào)數(shù) f’(y)和 f’(o)； ④各層誤差信號(hào) δo和 δy ； ⑤各層權(quán)值調(diào)整量△ V和△ W； ⑥調(diào)整后的權(quán)值矩陣 V和 W。 η=？ 作業(yè) BP網(wǎng)絡(luò)結(jié)構(gòu)如圖 ，初始權(quán)值已標(biāo)在圖中。試對(duì)單次訓(xùn)練過程進(jìn)行分析，求出： 解： 計(jì)算輸出層的凈輸入和輸出， 計(jì)算輸出層的誤差信號(hào)， ? ? 0 0 7 3 0 0 101211??????????? ???? YWn e t To 111??? ? on eteo? ? 4 6 7 3 0 0 121322 ???????????? ???? YWn e t To 122??? ? on e teo)(**)()1()( 11111 ??????? ooodo?0 0 )0 1 (*0 1 *)0 1 ()1()( 22222 ??????? ooodo?作業(yè) BP網(wǎng)絡(luò)結(jié)構(gòu)如圖 ，初始權(quán)值已標(biāo)在圖中。試對(duì)單次訓(xùn)練過程進(jìn)行分析，求出： 解： 計(jì)算輸出層權(quán)值調(diào)整量 △ W1和 △ W2， ?????????? ???????????? ????????????????????????????0 0 0 0 7 3 0 0 1*0 0 *21012111011yyywwwW o??????????????????????? ????????????????????????????0 0 0 0 0 0 7 3 0 0 1*0 0 *21022212022yyywwwW o??作業(yè) BP網(wǎng)絡(luò)結(jié)構(gòu)如圖 ，初始權(quán)值已標(biāo)在圖中。試對(duì)單次訓(xùn)練過程進(jìn)行分析，求出： 解： 計(jì)算隱層權(quán)值調(diào)整量△ V1和 △ V2， ????????????????????? ????????????????????????????0 0 0 0 0 0 311*0 0 *21012111011xxxvv