【正文】 沖動 ， 由軸突經(jīng)神經(jīng)末梢傳出 。 從信息系統(tǒng)研究的觀點 出發(fā) ， 對于 人腦 這個智能信息處理系統(tǒng) ， 有如下一些固有特征： (1)并行分布處理的工作模式 。 例如要判定人眼看到的兩個圖形是否一樣 ， 實際上約需 400 ms， 而在這個處理過程中 ， 與腦神經(jīng)系統(tǒng)的一些主要功能 ， 如視覺 、 記億 、 推理等有關(guān) 。 由此可見 ， 大腦信息處 理的并行速度已達到了極高的程度 。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。 生物神經(jīng)元 15 ? (3)信息處理與信息存貯合二為一。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。 ? (6)求滿意解而不是精確解。 生物神經(jīng)元 18 人工神經(jīng)網(wǎng)絡(luò)模型 ?人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 人工神經(jīng)網(wǎng)絡(luò)是在結(jié)構(gòu)和功能上對生物神經(jīng)網(wǎng)絡(luò)的某種程度的模擬和逼近。 在 MP模型中， f定義為階躍函數(shù) /激發(fā)函數(shù)： ??????0,00,1iii uuv 人工神經(jīng)網(wǎng)絡(luò)模型 22 如果把閾值 θi看作為一個特殊的權(quán)值，則可改寫為 : 其中， w0i＝ θi， v0＝ 1 為用連續(xù)型的函數(shù)表達神經(jīng)元的非線性變換能力 ， 常采用 s型函數(shù) : 該函數(shù)的圖像如下圖所示 )(0jnjjii vwfv ???iui euf ???11)( 人工神經(jīng)網(wǎng)絡(luò)模型 23 人工神經(jīng)網(wǎng)絡(luò)模型 24 MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán) 。 對于人工神經(jīng)網(wǎng)絡(luò)而言 ， 這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化 。 ? 定義 神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。 神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進行自組織，以適應(yīng)不同信息處理的要求。 信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元存儲多種信息的部分內(nèi)容。 神經(jīng)網(wǎng)絡(luò)的定義和特點 27 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型 ， 由美國學(xué)者 1957年提出 .感知器中第一次引入了學(xué)習(xí)的概念 ， 使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬 ， 所以引起了廣泛的關(guān)注 。 利用簡單 感知器可以實現(xiàn)邏輯代數(shù)中的一些運算。 (3)“非 ” 運算， 當(dāng)取 wl=1， w2＝ 0， θ ＝ 1時．完成邏輯“非”的運算。 (2)計算某一輸入模式對應(yīng)的實際輸出與期望輸出的 誤差 δ。 (5)返回 (2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出 均能滿足要求。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。 36 神經(jīng)網(wǎng)絡(luò)的分類 ② 反饋網(wǎng)絡(luò)： 該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種映 射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱為自組織特征圖。 40 神經(jīng)網(wǎng)絡(luò)的分類 神經(jīng)網(wǎng)絡(luò)分類標(biāo)準不同，方法多樣 41 多層前向 BP神經(jīng)網(wǎng)絡(luò) ? 多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 一個輸入層，一個輸出層，多個隱層 ，信號沿輸入 —— 輸出的方向逐層傳遞。 ?學(xué)習(xí)的本質(zhì)： ? 對各連接權(quán)值的動態(tài)調(diào)整 ?學(xué)習(xí)規(guī)則： ? 權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。 ? 輸出層輸出向量 。 52 BP網(wǎng)絡(luò)的標(biāo)準學(xué)習(xí)算法 ?第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。當(dāng)誤差達到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。 hoew??e , 此時 Δwho0 who 59 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的 MATLAB實現(xiàn) ? MATLAB中 BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函 數(shù) 名 功 能 newff() 生成一個前饋 BP網(wǎng)絡(luò) tansig() 雙曲正切 S型 (TanSigmoid)傳輸函數(shù) logsig() 對數(shù) S型 (LogSigmoid)傳輸函數(shù) traingd() 梯度下降 BP訓(xùn)練函數(shù) 60 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的 MATLAB實現(xiàn) ? MATLAB中 BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 ? newff() ? 功能 建立一個前向 BP網(wǎng)絡(luò) ? 格式 = newff(PR， [S1 S2...SN1]， {TF1 TF2...TFN1}， BTF， BLF， PF) ? 說明 為創(chuàng)建的新 BP神經(jīng)網(wǎng)絡(luò)； PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣； [S1 S2…SNl] 表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)； {TFl TF2…TFN1} 表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為‘ tansig’； BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為‘ trainlm’； BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認為‘ learngdm’； PF表示性能數(shù)，默認為‘ mse’。它是可導(dǎo)函數(shù)，適用于 BP訓(xùn)練的神經(jīng)元。 。]39。0 1],[5,1],{39。},39。 ? =。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由 n維輸入空間到 m維輸出空間的非線性映射。 ③ 網(wǎng)絡(luò)隱層節(jié)點個數(shù)和初始權(quán)值的選取，尚無理論指導(dǎo)。 69 在反饋網(wǎng)絡(luò)中如果其激活函數(shù) f( 圖 1 DHNN中的激活函數(shù) 圖 2 CHNN中的激活函數(shù) Hopfield神經(jīng)網(wǎng)絡(luò) 70 ?基本的 Hopfield神經(jīng)網(wǎng)絡(luò)是一個由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng) ， Hopfield網(wǎng)絡(luò)中的每一個神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元 ， 同時又都接收所有其它神經(jīng)元傳遞過來的信息 。 網(wǎng)絡(luò)收斂就是指能量函數(shù)達到極小值 。初 態(tài)可以認為是給定的有關(guān)記憶的部分信息。令 為各神經(jīng)元的輸出， 為各 神經(jīng)元與第 個神經(jīng)元的連接權(quán)值， 為第 神經(jīng)元的閾 值，則有 nvvv , 21 ? niii ??? ?, 21i i? i74 Hopfield神經(jīng)網(wǎng)絡(luò) ???????????))(()1()0(1nijiijjjjjtvftvxv?? 當(dāng)網(wǎng)絡(luò)經(jīng)過適當(dāng)訓(xùn)練后，可以認為網(wǎng)絡(luò)處于等待狀態(tài)。由這個新的輸入又可得到下一步的輸出，該輸出也可能與上一步的輸出不同。 75 能量函數(shù)定義為 則其變化量為 ? ??? ??????niniiinijjjiij vvvE1 1121??0)(1 11?????????? ? ??????ninijjjjjiiniiivvvvEE ??也就是說， 能量函數(shù)總是隨神經(jīng)元狀態(tài)的變化而下降的 。 因此 ， 隨時間的增長 ， 神經(jīng)網(wǎng)絡(luò)在狀態(tài)空間中的軌跡總是向 能量函數(shù)減小的方向變化 ， 且網(wǎng)絡(luò)的穩(wěn)定點就是能量函數(shù)的 極小點 。即從任意非平衡軌跡出發(fā)，網(wǎng)絡(luò)將最終收斂于某個平衡狀態(tài)； 2. 具有有限個平衡點； 3. 如果平衡點是穩(wěn)定的，那么它也一定是漸進穩(wěn)定的； 4. 漸進穩(wěn)定平衡點為其能量函數(shù)的極小點； 5. 通過適當(dāng)?shù)膶W(xué)習(xí)，該網(wǎng)絡(luò)能將任意一組正交矢量存儲起來作為漸進穩(wěn)定平衡點； 6. 連續(xù) Hopfield網(wǎng)絡(luò)的信息存儲表現(xiàn)為神經(jīng)元之間互聯(lián)的分布式動態(tài)存儲； 7. 連續(xù) Hopfield網(wǎng)絡(luò)以大規(guī)模非線性連續(xù)時間并行方式處理信息，其計算時間就是系統(tǒng)趨于平衡點的時間。 3. 由能量函數(shù)反推出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 。 84 ? TSP問題 所謂 TSP(Traveling Salesman Problem)問題，即“旅行商問題”是 一個十分有名的難以求解的優(yōu)化問題，其要求很簡單：在 n個城市的 集合中， 從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出 發(fā)城市。 其基本思想是把 TSP映射到 CHNN上，通過網(wǎng)絡(luò)狀態(tài)的動態(tài)演化逐步趨向穩(wěn)態(tài)而自動地搜索出優(yōu)化解。 (4）求巡回路徑最短 =網(wǎng)絡(luò)能量函數(shù)的最小值對應(yīng)于TSP的最短路徑。最后一項對應(yīng)經(jīng)過的路徑長度就是一個最優(yōu)解或者至少是次優(yōu)解。 Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 92 小腦神經(jīng)網(wǎng)絡(luò) ?BP神經(jīng)網(wǎng)絡(luò)是一種靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。 ?這種權(quán)系數(shù)全局更新的方式使得系統(tǒng)本身一些局部結(jié)構(gòu)變得模糊不清且學(xué)習(xí)速率較慢，更嚴重的是全局逼近的網(wǎng)絡(luò)結(jié)構(gòu)，其逼近精度對于訓(xùn)練樣本數(shù)據(jù)過于敏感。 ? 作為非線性逼近器，它對學(xué)習(xí)數(shù)據(jù)出現(xiàn)的次序不敏感。 97