【正文】 被點亮?xí)r意思才能發(fā)放出來，形成意識。 附件 附件 腦細胞的特征 腦細胞一旦發(fā)育完成后，再也不會增殖。骨骼、肝臟、肌肉等其它器官或組織損傷后可因細胞分裂增殖很快得以恢復(fù)，唯獨腦細胞不可再生。 腦細胞處在一種連續(xù)不斷地死亡且永不復(fù)生增殖的過程，死一個就少一個，直至消亡殆盡。 20歲過后，若這些細胞放置在那里而不使用的話，會以每天 10萬個的數(shù)量變成廢品。 附件 腦細胞的特征 腦細胞按其成熟度可分為三種類型： 一類是已經(jīng)充分發(fā)展了的腦細胞，其成熟度最高，每個細胞有多達二萬余條線路與其它的細胞有業(yè)務(wù)聯(lián)系。 另一類是未充分發(fā)展的腦細胞，其成熟度相對較低，每個細胞一般只有幾十條線路與其它腦細胞聯(lián)絡(luò)，我們稱這部分腦細胞是處于半抑制狀態(tài)。我們稱其為處于完全抑制狀態(tài)或沉睡狀態(tài)的腦細胞。 附件 腦細胞的特征 腦細胞彼此間聯(lián)絡(luò)的線路絕大多數(shù)在人出生后，受到外界環(huán)境的刺激而逐步發(fā)展形成的。 神經(jīng)細胞 的數(shù)量，出生時有多少以后就有多少，不能增加。 附件 人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反映人腦某些特性的計算結(jié)構(gòu)。 根據(jù)前面對生物神經(jīng)網(wǎng)絡(luò)的介紹可知，神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。 在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。 神經(jīng)元的建摸 (1/6) 目前人們提出的神經(jīng)元模型已有很多，其中最早提出且影響最大的是 MP模型（ 1943年由心理學(xué)家McCulloch和數(shù)學(xué)家 W． Pitts首先提出的）。 關(guān)于神經(jīng)元的信息處理機制，該模型在簡化的基礎(chǔ)上提出以下 6點假定： 是一個多輸入單輸出的信息處理單元； 突觸分興奮性和抑制性兩種類型； 神經(jīng)元具有空間整合特性和閥值特性； 輸入與輸出間有固定的時滯，取決于突觸延擱； 忽略時間整合作用和不應(yīng)期； 神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。 神經(jīng)元的建摸 (3/6) 如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號。 j x1 … xi … xn wnj wij w1j 神經(jīng)元的建摸 (4/6) 生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，其影響是使有些輸入的作用比另外一些輸入更為重要。 j x1 … xi … xn 神經(jīng)元的建摸 (5/6) 作為基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果，組合表示輸入信號的“ 總和 值”，相應(yīng)于生物神經(jīng)元的膜電位。 ∑ wnj wij w1j j x1 … xi … xn f oj 神經(jīng)元的建摸 (6/6) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個，如用 oj表示神經(jīng)元 j輸出。 ∑ wnj wij w1j j x1 … xi … xn 神經(jīng)元的數(shù)學(xué)模型 (1/6) 我們用一個數(shù)學(xué)表達式對上述內(nèi)容可進行抽象與概括。 神經(jīng)元的數(shù)學(xué)模型 (2/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 為簡單起見，將上式中的突觸延時取為單位時間，則式（ ）可寫為 上式描述的神經(jīng)元數(shù)學(xué)模型全面表達了神經(jīng)元模型的 6點假定。 (n個輸入 。 (wij可正可負、可大可小 ) 有空間整合特性和閥值特性 。 忽略時間整合作用和不應(yīng)期 。 神經(jīng)元的數(shù)學(xué)模型 (3/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 輸入總和常稱為神經(jīng)元在 t時刻的凈輸入，用 )()t(xw)t(n e tn1iiij39。 oj(t+1)與 xi(t)之間的單位時間差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律， wij與時間無關(guān)。 神經(jīng)元的數(shù)學(xué)模型 (4/6) ? ??????????????????????????????????ni1Tnjijj1njijj1jxxxX。j ? 式 ()還可表示為權(quán)重向量和輸入向量的點積 其中 Wj 和 X 均為列向量，定義為 )()t(xw)t(n e tn1iiij39。j ???? ?? 如果令 x0=1， w0j=Tj，則有 Tj=w0jx0，因此凈輸入和閾值之差可表示為： 式 ()中列向量和的第一個分量的下標均從 1開始 , 而式()中則從 0開始。jxwxwxwTn e tn e t 神經(jīng)元的數(shù)學(xué)模型 (6/6) 采用式 ()的約定后 , 凈輸入改寫為 , 與原來的區(qū)別是包含了閾值。 神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，因此轉(zhuǎn)移函數(shù)的研究具有重要意義。 （ 1）閾值型轉(zhuǎn)移函數(shù) （ 2）非線性轉(zhuǎn)移函數(shù) （ 3）分段線性轉(zhuǎn)移函數(shù) （ 4）概率型轉(zhuǎn)移函數(shù) ?????? )(0x,00x,1)x(f (1)閾值型轉(zhuǎn)移函數(shù) 閾值型轉(zhuǎn)移函數(shù)采用了圖 ，用下式定義 具有這一 轉(zhuǎn)移函數(shù) 的神經(jīng)元稱為閾值型神經(jīng)元，這是神經(jīng)元模型中最簡單的一種，經(jīng)典的 MP模型就屬于這一類。 x f(x) ??????? ( )0x1,0x1,f (x) 神經(jīng)元的轉(zhuǎn)移函數(shù) x f(x) 神經(jīng)元的轉(zhuǎn)移函數(shù) ( 2 . 9 ))e1 / ( 1f ( x ) x??? (2)非線性轉(zhuǎn)移函數(shù) 非線性轉(zhuǎn)移函數(shù)為實數(shù)域 R到 [0， 1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。 最常用的非線性轉(zhuǎn)移函數(shù)是單極性 Sigmoid函數(shù)曲線，簡稱 S型函數(shù)，其特點是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，因而在處理上十分方便。由于具有分段線性的特點，因而在實現(xiàn)上比較簡單。 圖 28 分段線性轉(zhuǎn)移函數(shù) x f(x) xc 神經(jīng)元的轉(zhuǎn)移函數(shù) (4)概率型轉(zhuǎn)移函數(shù) 采用概率型轉(zhuǎn)移函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需采用一個 隨機函數(shù)來描述輸出狀態(tài)為 1或為 0的概率 。 由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼 (Boltzmann)分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。 補充題： 請給出典型的人工神經(jīng)元模型結(jié)構(gòu)并加以說明。 多輸入單輸出 。 1個輸出 ) 突觸分興奮性和抑制性 。 (∑求和 , Tj) 輸入與輸出間有固定的時滯 。 非時變，即突觸時延和突觸強度為常數(shù)。 人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點或處理單元，每個節(jié)點均具有相同的結(jié)構(gòu)，其動作在時間上同步。其中常見的兩種分類方法是， 按網(wǎng)絡(luò)連接的拓撲結(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類 。 層次型結(jié)構(gòu) (1/4) 層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層，如輸入層、中間層（也稱為隱層）和輸出層，各層順序相連，如圖。 層次型結(jié)構(gòu) (3/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 層次型結(jié)構(gòu) (3/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。輸入層神經(jīng)元既可接受輸入，也具有信息處理功能。 (3)層內(nèi)有互連的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖 ，這種結(jié)構(gòu)的特點是在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用，使得能同時激活的神經(jīng)元個數(shù)可控，以實現(xiàn)各層神經(jīng)元的自組織。 (1)全互連型 網(wǎng)絡(luò)中的每個節(jié)點均與所有其他節(jié)點連接，如圖。 (3)稀疏連接型 網(wǎng)絡(luò)中的節(jié)點只與少數(shù)相距較遠的節(jié)點相連。 前饋型網(wǎng)絡(luò) (1/2) 單純前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點與圖 網(wǎng)絡(luò)完全相同，前饋是因信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名。 前饋型網(wǎng)絡(luò) (2/2) 在前饋型網(wǎng)絡(luò)中，一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。 多層前饋網(wǎng)絡(luò)可以看成是一個有向無環(huán)路的網(wǎng)絡(luò)。 所以，當提到具有單層計算神經(jīng)元的網(wǎng)絡(luò)時，指的應(yīng)是一個兩層前饋網(wǎng)絡(luò)（輸入層和輸出層），當提到具有單隱層的網(wǎng)絡(luò)時，指的應(yīng)是一個三層前饋網(wǎng)絡(luò)（輸入層、隱層和輸出層）。 在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。 在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。 x1 x2 ? xi ? xn T1 T2 ? Ti ? Ti 以上介紹的 人工神經(jīng)網(wǎng)絡(luò)模型 的分類方法、結(jié)構(gòu)形式和信息流向 只是對目前常見的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象 。例如，從連接形式看，層次型網(wǎng)絡(luò)中可能出現(xiàn)局部的互連；從信息流向看，前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 人工神經(jīng)網(wǎng)絡(luò)的 功能特性 由 其連接的拓撲結(jié)構(gòu) 和突觸連接強度，即 連接權(quán)值決定 。 神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素，因此有關(guān)學(xué)習(xí)的研究在神經(jīng)網(wǎng)絡(luò)研究中具有重要地位。但當大量處理單元集體進行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出 “ 智能 ” 特性，其中有意義的信息就分布地存儲在調(diào)整后的權(quán)值矩陣中。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) 也稱為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯規(guī)則。 將神經(jīng)網(wǎng)絡(luò)的 實際輸出 與 期望輸出 進行比較，當網(wǎng)絡(luò)的輸出與期望的教師信號不符時，根據(jù)差錯的方向和大小 按一定的規(guī)則調(diào)整權(quán)值 ，以使網(wǎng)絡(luò)的輸出更接近期望的輸出。網(wǎng)絡(luò)工作時，網(wǎng)絡(luò)的 權(quán)值不再調(diào)整。在學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息。 在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的 權(quán)值調(diào)整 不取決于外來教師信號的影響，可以認為網(wǎng)絡(luò)的學(xué)習(xí)評價標準隱含于網(wǎng)絡(luò)的內(nèi)部。網(wǎng)絡(luò)工作時，網(wǎng)絡(luò)的 權(quán)值不再調(diào)整。但是，有時神經(jīng)網(wǎng)絡(luò)所解決的問題的先驗信息很少，甚至沒有，這種情況下無導(dǎo)師學(xué)習(xí)就顯得更有實際意義。 在死記式學(xué)習(xí)中，網(wǎng)絡(luò)的權(quán)值一旦設(shè)計好了就不再變動，因此其學(xué)習(xí)是一次性的 (設(shè)計 )，而不是一個訓(xùn)練過程。 訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡(luò)中供工作階段使用。 一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則，如圖。用數(shù)學(xué)式表示為 式中， η為正數(shù) , 稱為學(xué)習(xí)常數(shù) , 其值決定了學(xué)習(xí)速率 , 也稱學(xué)習(xí)率。 ? ? )( 4X (t)(t)dX (t),(t),Wηr(t)W jjj ?? 不同的學(xué)習(xí)規(guī)則，對 r(Wj, X, dj)有不同的定義，從而形成各種各樣的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則：下面對常用學(xué)習(xí)規(guī)則作一簡要介紹，其具體應(yīng)用將在后續(xù)各章中展開。 Hebbian學(xué)習(xí)規(guī)則 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 Correlation（相關(guān)）學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 167。 該假設(shè)指出，當神經(jīng)元的突觸前膜電位與后膜電位同時為正時，突觸傳導(dǎo)增強，當前膜電位與后膜電位正負相反時，突觸傳導(dǎo)減弱，也就是說，當神經(jīng)元與神經(jīng)元同時處于興奮狀態(tài)時，兩者之間的連接強度應(yīng)增強。 在 Hebbian學(xué)習(xí)規(guī)則中 , 學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出 權(quán)向量的調(diào)整公式為 權(quán)向量中 , 每個分量的調(diào)整由下式確定