【正文】 ral Network，簡稱 CHNN)。 ?泛化能力 ? 當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。 ? %設置學習速率為 ? =。traingd39。tansig39。 ? %以第四個月的銷售量歸一化處理后作為目標向量 ? T=[ ]。 。 62 BP神經(jīng)網(wǎng)絡學習算法的 MATLAB實現(xiàn) ? 例 23，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層 BP神經(jīng)網(wǎng)絡對藥品的銷售進行預測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為 5，隱含層的激活函數(shù)為 tansig；輸出層結(jié)點數(shù)為 1個，輸出層的激活函數(shù)為 logsig，并利用此網(wǎng)絡對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用 3月的銷售量為輸入預測第 4個月的銷售量，用 4月的銷售量為輸入預測第 5個月的銷售量 .如此反復直至滿足預測精度要求為止。 61 BP神經(jīng)網(wǎng)絡學習算法的 MATLAB實現(xiàn) ? MATLAB中 BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能 ? tansig() ? 功能 正切 sigmoid激活函數(shù) ? 格式 a = tansig(n) ? 說明 雙曲正切 Sigmoid函數(shù)把神經(jīng)元的輸入范圍從 (∞， +∞)映射到 (1， 1)。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。 53 BP網(wǎng)絡的標準學習算法 54 BP網(wǎng)絡的標準學習算法 ?第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值 。 ? 期望輸出向量 。 多層前向 BP神經(jīng)網(wǎng)絡 45 BP網(wǎng)絡的標準學習算法 算法思想 ?學習的類型：有導師學習 ?核心思想： ? 將輸出誤差 以某種形式 通過隱層向輸入層逐層反傳 ?學習的過程： ? 信號的正向傳播 誤差的反向傳播 將誤差分攤給各層的所有單元－－－各層單元的誤差信號 修正各單元權(quán)值 46 BP網(wǎng)絡的標準學習算法 學習過程 ?正向傳播： ? 輸入樣本－－－輸入層－－－各隱層－－－輸出層 ?判斷是否轉(zhuǎn)入反向傳播階段： ? 若輸出層的實際輸出與期望的輸出（教師信號）不符 ?誤差反傳 ? 誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值 ?網(wǎng)絡輸出的誤差減少到可接受的程度 進行到預先設定的學習次數(shù)為止 47 BP網(wǎng)絡的標準學習算法 ?網(wǎng)絡結(jié)構(gòu) ? 輸入層有 n個神經(jīng)元，隱含層有 p個神經(jīng)元 , 輸出層有 q個神經(jīng)元 ?變量定義 ? 輸入向量 。 j p p1 xp1 x pn t pk t pm Op1 O pn Op2 隱層 wj1 wjn 輸入層 隱層 輸出層 信息流 hjpS hpjO 輸出節(jié)點輸入0x1x2x38 神經(jīng)網(wǎng)絡的分類 （ 2）從網(wǎng)絡的學習方式上劃分，神經(jīng)網(wǎng)絡可分為有導師學習網(wǎng)絡和無導師學習網(wǎng)絡。這種神經(jīng)網(wǎng)絡是一種反饋動力學系統(tǒng)，它需要工作一段時間才能達到穩(wěn)定。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。 感知器模型 33 2. 多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元 (隱層 神經(jīng)元 )，就可構(gòu)成多層前向網(wǎng)絡，這里稱為多層感知器。 感知器模型 32 (3)如果 δ小于給定值，結(jié)束，否則繼續(xù)。 感知器模型 31 簡單感知器引入的學習算法稱之為誤差學習算法 。 Y=f(w1x1+w2x2θ) (1)“與 ” 運算。 簡單感知器模型實際上仍然是 MP模型 的結(jié)構(gòu)，但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力，達到所謂學習的目的。網(wǎng)絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網(wǎng)絡具有容錯性和聯(lián)想記憶功能。 （ 3） 并行處理性。 26 ? 特點 （ 1） 非線性映射逼近能力。調(diào)整 wij的原則為：若第 i和第 j個神經(jīng)元同時處于興奮狀態(tài) ， 則它們之間的連接應當加強 ， 即： Δwij＝ αuivj 這一規(guī)則與 “ 條件反射 ” 學說一致 ， 并已得到神經(jīng)細胞學說的證實 。 但是 ， 我們可以根據(jù)需要 ， 采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán) ， 以達到學習目的 。 ?直觀理解 ? 神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結(jié)構(gòu) ? 它一般由大量神經(jīng)元組成 ? 每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元 ? 每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權(quán)系數(shù) 19 一 、 MP模型 MP模型屬于一種閾值元件模型 ， 它是由美國 Mc Culloch和 Pitts提出的最早神經(jīng)元模型之一 。 人類處理日常行為時 ， 往往都不是一定要按最優(yōu) 或最精確的方式去求解 ， 而是以能解決問題為原 則 ， 即求得滿意解就行了 。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。 ? 大腦中的信息處理與信息存貯是有機結(jié)合在一起的，而不像現(xiàn)行計算機那樣．存貯地址和存貯內(nèi)容是彼此分開的。例如在某一外界信息反復刺激下．接受該信息的神經(jīng)細胞之間的突觸結(jié)合強度會增強。 生物神經(jīng)元 14 ? (2)神經(jīng)系統(tǒng)的可塑性和自組織性。 按照上述神經(jīng)元的處理速度 ， 如果 采用串行工作模式 ， 就必須在幾百個串行步內(nèi)完成 ， 這實際上是 不可能辦到的 。 實際上大腦中單個神經(jīng)元的信息處理速度是很慢的 ， 每次約 1毫秒 (ms)， 比通常的電子門電路要慢幾個數(shù)量級 。 如果傳入神經(jīng)元的沖動經(jīng)整合后使細胞膜電位降低 ， 低于動作電位的閾值時 即為抑制狀態(tài) ， 不產(chǎn)生神經(jīng)沖動 。 研究表明 ， 生物神經(jīng)網(wǎng)絡的功能決不是單個神經(jīng)元生理和信息處理功能的簡單疊加 ， 而是一個有層次的 、 多單元的動態(tài)信息處理系統(tǒng) 。 另外 ， 各突觸輸入抵達神經(jīng)元的先后時間也不一祥 。 由于種種復雜環(huán)境條件的刺激等原因 ， 或者由于動物本身的生長或衰老 ， 神經(jīng)系統(tǒng)的突觸數(shù)目會發(fā)生變化 ， 并影響神經(jīng)元之間的傳遞效率 。 生物神經(jīng)元 9 (3)突觸的發(fā)芽 。 首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴大 ， 從而突觸所釋放出的傳遞物質(zhì)增多 ， 使得突觸的傳遞效率提高 。 通過樹突和軸突 ， 神經(jīng)元之間實現(xiàn)了信息的傳遞 。 生物神經(jīng)元 樹突的功能是接受來自其它神經(jīng)元的興奮 。 人腦能完成智能 、 思維等高級活動 ， 為了能利用數(shù)學模型來模擬人腦的活動 ， 導致了神經(jīng)網(wǎng)絡的研究 。 20世紀 80年代以來 ， 人工神經(jīng)網(wǎng)絡 （ ANN， Artificial Neural Network） 研究取得了突破性進展 。 人工神經(jīng)網(wǎng)絡從另一個角度出發(fā) ， 即 從人腦的生理學和心理學著手 ， 通過人工模擬人腦的工作機理來實現(xiàn)機器的部分智能行為 。 模糊控制在處理數(shù)值數(shù)據(jù) 、 自學習能力等方面還遠沒有達到人腦的境界 。 神經(jīng)網(wǎng)絡反映了人腦功能的基本特征 ， 如并行信息處理 、 學習 、 聯(lián)想 、 模式分類 、 記憶等 。 引言 4 神經(jīng)生理學和神經(jīng)解剖學的研究表明 ， 人腦極其復雜 ， 由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成 ， 其中大腦皮層約 140億個神經(jīng)元 ， 小腦皮層約1000億個神經(jīng)元 。 6 軸突功能是將本神經(jīng)元的輸出信號 (興奮 )傳遞給別的神經(jīng)元 ， 其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元 。 7 神經(jīng)元的構(gòu)成： （ 1） 細胞體 （ 主體部分 ） ：包括細胞質(zhì) 、 細胞膜和細胞核； （ 2） 樹突：用于為細胞體傳入信息； （ 3） 軸突：為細胞體傳出信息 ， 其末端是軸突末梢 ，含傳遞信息的化學物質(zhì)； （ 4） 突觸：是神經(jīng)元之間的接口 （ 104~105個 /每個神經(jīng)元 ） 。 生理學的研究歸納有以下幾個方面的變化： (1)突觸傳遞效率的變化 。 在突觸表面有許多形狀各異的小凸芽 ， 調(diào)節(jié)其形狀變化可以改變接觸間隙 ， 并影響傳遞效率 。 (4)突觸數(shù)目的增減 。 由于輸入分布于不同的部位 ， 對神經(jīng)元影響的比例 (權(quán)重 )是不相同的 。 多 個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡 。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位 生物神經(jīng)元 12 神經(jīng)元具有如下功能： ?(1) 興奮與抑制： 如果傳入神經(jīng)元的沖動經(jīng)整合后使細胞膜電位升高 ， 超過動作電位的閾值時 即為興奮狀態(tài) ，產(chǎn)生神經(jīng)