【正文】 當(dāng) ， 且 時(shí)，才有 y＝ 1，其它時(shí)候 y＝ 0。 ?其中對于時(shí)空加權(quán)，模型分為兩類，即考慮時(shí)間特性，不考慮時(shí)間特性。 ?信息傳遞的時(shí)延性和不應(yīng)期性 在兩次輸入之間要有一定的時(shí)間間隔，即時(shí)延； 而在此期間內(nèi)不響應(yīng)激勵(lì)，不傳遞信息，稱為不應(yīng) 期。 ?脈沖與電位轉(zhuǎn)換功能 軸突與普通傳輸線路不同，對于小于閾值的信號(hào)在傳遞過程中會(huì)被濾除，而對于大于閾值的則有整形作用。 ?抑制狀態(tài) ，對輸入信息整合后使細(xì)胞膜電位降低，當(dāng)?shù)陀趧?dòng)作電位的閾值時(shí)，無神經(jīng)沖動(dòng)產(chǎn)生。 ?聚合 許多神經(jīng)元的軸突末梢與一個(gè)神經(jīng)元的樹突相連接。大多數(shù)神經(jīng)元有 103— 104個(gè)突觸。它用于接受從其它神經(jīng)元傳來的神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的 輸入端 。 ?樹突 除軸突外的其它分支。 ?軸突 由細(xì)胞體向外伸出的一條最長分支，長度可達(dá) 1m。膜內(nèi)外有電位差，膜外為正，膜內(nèi)為負(fù)。包括細(xì)胞體、樹突、軸突。 概述 概述 ?神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史 ? 初創(chuàng)（ 1943— 1969） ?1943年， McCulloch和 Pitts 提出了 MP模型 ?1949年， Hebb提出 Hebb學(xué)習(xí)規(guī)則 ?1957年， Rosenblatt提出感知器 (perceptrons) ?1969年， Minsky和 Papert發(fā)表“ Perceptrons” ? 過渡期（ 1970— 1986） ?1980年， Kohonen提出自組織映射理論 ?1982年， Hopfield提出離散的 Hopfield網(wǎng)絡(luò)模型 1984年，又提出連續(xù)的 Hopfield網(wǎng)絡(luò)模型，并用電 子線路實(shí)現(xiàn)了該網(wǎng)路的仿真。神經(jīng)網(wǎng)絡(luò) ?神經(jīng)網(wǎng)絡(luò)的概念 泛指生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò) ? 生物神經(jīng)網(wǎng)絡(luò) 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺、運(yùn)動(dòng)、交感等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，最重要的是腦神經(jīng)系統(tǒng)。 ? 人工神經(jīng)網(wǎng)絡(luò) (ANN) 由大量簡單的處理單元廣泛地互相連接而形成地復(fù)雜網(wǎng)絡(luò)系統(tǒng)，以簡化，抽象，和模擬人腦神經(jīng)網(wǎng)絡(luò)。 ?1986年， Rumelhart等提出 BP算法 ? 發(fā)展期（ 1987） 1993年創(chuàng)刊的“ IEEE Transaction on Neural Network” ?生物神經(jīng)元 構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡稱神經(jīng)元。 神經(jīng)元電鏡圖片 軸突 樹突 突觸 細(xì)胞體 神經(jīng)末梢 ?組成 ?細(xì)胞體 由細(xì)胞核，細(xì)胞質(zhì)，和細(xì)胞膜組成。它是神經(jīng)元 新陳代謝的中心 ，用于接收并處理從其它神經(jīng)元傳遞的信息。它通過尾部的神經(jīng)末梢向其它神經(jīng)元輸出神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的 輸出電纜 。數(shù)目多，長度短。 ?突觸 一個(gè)神經(jīng)元的軸突末梢和另外一個(gè)神經(jīng)元的樹突相接觸的地方，相當(dāng)于神經(jīng)元之間的 接口部分 。 ?連接 ?輻射 一個(gè)神經(jīng)元的軸突末梢與許多神經(jīng)元的樹突相連接。 ?特性 ?信息以預(yù)知的確定方向傳遞 一個(gè)神經(jīng)元的樹突、細(xì)胞體－軸突－突觸－另一個(gè)神經(jīng)元樹突 ?時(shí)空整合功能 ?對不同時(shí)間通過同一突觸傳入的信息具有時(shí)間整合功能 ?對同一時(shí)間通過不同突觸傳入的信息具有空間整合功能 ?工作狀態(tài) ?興奮狀態(tài) ，對輸入信息整合后使細(xì)胞膜電位升高，當(dāng)高于動(dòng)作電位的閾值時(shí)，產(chǎn)生神經(jīng)沖動(dòng)，并由軸突輸出。 ?結(jié)構(gòu)的可塑性 神經(jīng)元之間的柔性連接。即無論輸入脈沖的幅度與寬度，輸出波形恒定。 ?人工神經(jīng)元及其互連結(jié)構(gòu) ?人工神經(jīng)網(wǎng)絡(luò)的基本處理單元－人工神經(jīng)元 ?模擬主要考慮兩個(gè)特性：時(shí)空加權(quán)，閾值作用。 ?人工神經(jīng)元 ? MP模型 最早由心理學(xué)家麥克羅奇（ ）和數(shù)理邏輯學(xué)家皮茲（ ）于 1943年提出。 ?一種常見的不考慮時(shí)間特性的模型 θ y 輸出 x1 x2 ? xn wn s 控制符號(hào) f()－－特性函數(shù) /激發(fā)函數(shù) 閾值 連接權(quán)值 w2 w1 ?????? ???? ??niii sxwffy1)( ??輸入 多輸入單輸出的非線性器件 一些典型的特性函數(shù) 閾值型 線性 s型 ?神經(jīng)元的連接 人工神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元廣泛互聯(lián)構(gòu)成的，不同的連接方式構(gòu)成了不同的網(wǎng)絡(luò)模型 ?前向網(wǎng)絡(luò) 神經(jīng)元分層排列 (輸入層、隱層和輸出層 )。每一層只接受來自前一層的輸入。 互連網(wǎng)絡(luò)一直處于動(dòng)態(tài)變化之中，最后 到達(dá)某種穩(wěn)定狀態(tài)，也可能進(jìn)入周期振蕩。 感知器是只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò) ,由線性閾值單元組成。 W i j : 可 調(diào) 權(quán) 值Y j : 輸 出 j = 1 , ? , mX i : 輸 入 i = 1 , ? , n學(xué)習(xí)算法 :假設(shè)只有一個(gè)輸出 y(t) 1. 給 wi(0)(i=1,2??n) 及 θ 賦一個(gè)較小的非 0隨機(jī)數(shù)作為初值 2. 輸入一個(gè)樣例 X＝ [x1,x2??xn] 和期望的輸出 d 0η ≤ 1 ：增益因子，控制調(diào)整速度 ，直到 wi對一切樣例穩(wěn)定為止 ?????? ?? ??niii xtwfty1)()( ?3) 多層感知器 (MLP) 在單層感知器的輸入和輸出層之間增加一個(gè)或多個(gè)隱層。 前向多層神經(jīng)網(wǎng)絡(luò)也即多層感知器 (MLP)，也叫 BP網(wǎng)。 前向多層神經(jīng)網(wǎng)絡(luò) 前向多層神經(jīng)網(wǎng)絡(luò) ?BP網(wǎng) ? 除輸入，輸出層外，還有一個(gè)或多個(gè)隱層。 X 1X 2X nY 1Y 2Y n? 節(jié)點(diǎn)的特性要求是可微的，通常選 S型函數(shù)。 ?學(xué)習(xí)的方法 ：用一組訓(xùn)練樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中每一個(gè)樣例都包括輸入及期望的輸出兩部分。 ?BP算法的具體步驟： ?從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。 ?計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差。 ?對訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)以上步驟，直到對整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。 具體算法： 1) Oi：節(jié)點(diǎn) i的輸出； j：節(jié)點(diǎn) j的輸入； wij：從節(jié)點(diǎn) i到節(jié)點(diǎn) j的連接權(quán)值。 jkjkjk w)t(w)1t(w ???? 為了使連接權(quán)值沿著 e的梯度變化方向得以改善，網(wǎng)絡(luò)逐漸收斂，取 其中， 為增益因子 jkjk wew????? ??jkjkjkkOwewne te?????????????????k令jjjjkjkjkkjjjkk OOn e tOwn e t ???????? ???jkkkjk wn e tn e tewe????????)()?()(y)?(y)?(21yyyk39。2kkkkkkkkkkkkkkkkkkne tfyyne tfne tyyeyyene tene teO??????????????????????????