【正文】 度。ww168?？梢娝鼘崿F(xiàn)的是一個為，大部分元素少數(shù)元素為這個點對應的向量只有上，相聯(lián)空間的影射到相聯(lián)空間某個點的某個點值。 全局逼近網(wǎng)絡： 如果網(wǎng)絡的權(quán)連接系數(shù)或自適應可調(diào)參數(shù)在輸入空間的每一個點對任何一個輸出都有影響。 多二次函數(shù) 逆多二次函數(shù) ? ? 2122 crr /)( ???? ? 2122 cr1r/)( ??? RBF網(wǎng)絡與 BP網(wǎng)絡的比較 1) RBF網(wǎng)絡只有一個隱含層， BP網(wǎng)絡則可以是一層或者是多層。 RBF網(wǎng)絡的學習算法 RBF網(wǎng)絡要學習的參數(shù)有三個： 基 函數(shù)中心 、 方差 、隱含層與輸出層間的權(quán)值 。 對于多維的高斯函數(shù) 可以表示為 ),2,1(],[ 21 NkyyyyY kJkjkkk ?? ??),2,1(],[ 21 Nkddddd kJkjkkk ??? ??),(),( ikik XXGXX ??),0(2 )(e xp)( 22Rrtrr ?????????? ??? ???t ?),( ik XXG???? Niikijkkj JjXXwXy1,2,1),()( ??式中 ， 是高斯函數(shù)的中心， 高斯函數(shù)的方差。 RBF網(wǎng)絡結(jié)構(gòu)： 與 BP網(wǎng)絡類似，輸入層、隱含層、輸出層三層組成，其中隱含層的個數(shù)由問題的復雜程度及研究精度而定，隱層函數(shù)是 對稱衰減的非線性非負函數(shù)。 在 E(n)減小后，經(jīng)過若干步后，傳遞到動量項，調(diào)節(jié)量減小 ( 正負抵消），但有些滯后，顯然這是動量項的一個缺點，會 引起一定幅度的 振蕩（總會有小幅振蕩） ，但很快會消除。 第四步 （反向過程）根據(jù)偏差反向計算每層神經(jīng)元的局部偏差 第五步 計算權(quán)值的修正量，并獲得新權(quán)值 )](,),(),([)( 21 nynynynY kPkkk ??)](,),(),([)( 21 ndndndnd kPkkk ??)0(),0(),0( JPIJMI WWWIinwnnufnJjnwnnufnPpnyndnynynJjijJjIiIiPpjpPpJjJjppppPp,2,1),()())(()(,2,1),()())(()(,2,1)),()())((1)(()(11?????????????????????????第六部 若所有的樣本都用完了，結(jié)束；否則轉(zhuǎn)到第三步。 這里很難直接求出， E對 wip(n)的導數(shù)。 各層的連接權(quán)值分別是 Wmi Wij Wjp 神經(jīng)元的輸入和輸出： 上標表示層（ M、 I、 J、 P）下標表示神經(jīng)元序號， u表示輸入， v表示輸出。 BP算法是針對于多層感知器的算法，因此 多層感知器又稱為 BP網(wǎng)絡。這種由輸入層、隱含層（一層或多層）和輸出層構(gòu)成的網(wǎng)絡成為 多層前向神經(jīng)元網(wǎng)絡（ Multilayer forward Neural Networks)。 自適應線性元件實現(xiàn)非線性可分有 2個辦法。 這里（ 21）直線 (j=2)、平面 (j=3)、超平面 (j3)。 重新調(diào)整系數(shù)，使得｛ 系數(shù)｝數(shù)據(jù)量最小。 ③ 故障診斷 破壞性試驗 獲得數(shù)據(jù) —— 訓練樣本 ④ 非線性軟測量 軟測量就是間接測量，利用溫度計接觸式測量溫度是直接測量，利用光譜測量溫度就是 溫度軟測量 。 ? ? )()()()()()()()(nWnwnwnwnwnwnwnwij323122211211???????????? 因此，神經(jīng)網(wǎng)絡的運算（前向 —— 工作、反向 —— 學習）都是矩陣運算。下面介紹 5種主要的神經(jīng)網(wǎng)絡學習規(guī)則： Hebb學習 、 糾錯學習 、 基于記憶的學習 、 隨機學習 、 競爭學習 1 Hebb學習規(guī)則 a) 語言描述： i 如果一個突觸 Wij兩邊的神經(jīng)元被同時激活，則它的能量（權(quán)重）就被選擇性的加強； ii 如果一個突觸兩邊的神經(jīng)元被異步激活，則它的能量（權(quán)重）就被選擇性的消弱或消除。 將隨機運算引入到神經(jīng)網(wǎng)絡中，具體來說，神經(jīng)元的運算是按概率原理進行的。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡的結(jié)構(gòu)及學習規(guī)則 按網(wǎng)絡結(jié)構(gòu)分類：前向神經(jīng)網(wǎng)絡 反饋神經(jīng)網(wǎng)絡 按學習方式分類：有導師神經(jīng)網(wǎng)絡 無導師神經(jīng)網(wǎng)絡 * 一定 的結(jié)構(gòu)決定了一定的學習方式。 90年代初，支持向量基（ＳＶＭ）。 （ 19701980） 導致十年低谷的原因包括： 技術(shù)上的：計 算機技術(shù)支持不夠； 信心上的：資金悲觀情緒 這個階段的標志， 1969年麻省理工學院著名的人工 智能專家 《 感知器 》 指出單層感知器無法解決非線性問題，線性問題需要由多 層感知器來解決，而感知器模型擴展到多層是否有意義， 尚不能從理論上得到證明。 人工神經(jīng)網(wǎng)絡發(fā)展歷史 20世紀 40年代開始，經(jīng)歷興起、蕭條、興盛 3個階段。 涉及神經(jīng) 科學 、 數(shù)學 、 統(tǒng)計學 、 計算機科學 的一門學科。 NN的興起，同時也是人工智能（ Artificial Intelligence， AI）這一學科。不必關心它的參數(shù)，只關心輸入 輸出。 應用研究包括兩類： ? 神經(jīng)網(wǎng)絡的軟件模擬和硬件實現(xiàn)的研究； ? 神經(jīng)網(wǎng)絡在各個領域中的應用研究，這些領域包括：模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、智能控制等。 2. 多層前向神經(jīng)網(wǎng)絡 多層前向神經(jīng)網(wǎng)含有一個或多個隱層，即至少隱層和輸出層都有運算能力。 ①每個輸出神經(jīng)元都與輸入節(jié)點全連結(jié)； ②輸出神經(jīng)元之間全互連 （用于相互比較） ； ③最終，競爭獲勝的勝者作為網(wǎng)絡的輸出。 Hebb規(guī)則的工作過程的描述： 情況 神經(jīng)元 Xi、 Xj活動充分，則 權(quán)值被加強了。 4. 隨機學習規(guī)則 又稱為 Boltzmann學習規(guī)則，其實質(zhì)是模擬退火（ Simulated Annealing， SA）算法。 面部識別：通過訓練能夠抓住最主要的幾個特征點。 ⑩ 金融領域的發(fā)現(xiàn) 金融曲線的分析： 股票分析 證券市場預測 市場預測 自動證券估計 (11) 紙張平滑度軟測量 平滑度是評價 紙 張表面凸凹程度的一個 指標 ， 它是粗糙度的對立概念。 輸入向量： 權(quán)值向量： 其中， n代表迭帶次數(shù)，閾值 b可以用 w0來表示，因此，公式 (21)的 2個狀態(tài)的分界線可以表示為 )](,),(),(,1[)( 21 nxnxnxnX N??)](),(),(),([)( 21 nwnwnwnbnW N??0)()()()(0????nXnWnxnw TNjjj學習步驟： 第一步 定義變量和參數(shù) 訓練樣本 =[輸入向量，期望輸出 ]=[X(n),d(n)] 權(quán)值向量（包括閾值 b(n)） W(n)=[b(n),w1(n),w2(n),? ,wN(n)] 實際輸出 y(n) n迭代次數(shù)，即第幾步 是學習速率 第二步 初始化， W(n)=[b(n),w1(n),w2(n),? ,wN(n)]是隨機給出的，不過研究表明 w1(n),w2(n),? ,wN(n)是小隨機數(shù)比較好。 LMS學習算法也是基于 糾錯規(guī)則 的學習算法。 多層感知器 多層感知器能夠解決單層感知器不能解決非線性問 題。 3 Gaussian高斯函數(shù) 高斯函數(shù)有簡化優(yōu)化問題的特點，而神經(jīng)網(wǎng)絡的學習實質(zhì)上是優(yōu)化問題，所使用的梯度下降法，必然會帶來收斂速度慢的問題，高斯函數(shù)可以改善此問題。 網(wǎng)絡輸入訓練樣本 Xk,由信號正向傳播過程可得 第一隱層 第二隱層 輸出層 ??? MmkmmiIi xwu1??????? ??MmkmmiIi xwfv1Ii ,2,1 ????????? ??IiIiijJj vwfv1Jj ?,2,1???? JjJjjpPp vwu1kpJjJjjpPp yvwfv ?????????? ?? 1Pp ?,2,1 ??? IiIiijJj vwu1輸出層第 p個神經(jīng)元誤差信號為 定義神經(jīng)元 p的誤差能量為 ，則輸出層所有神經(jīng)元的誤 差能量總和為 E(n) 誤差信號由后向前傳遞，傳播過程中，逐層修改權(quán)值。 因此有 )()()()()()()()()()()()(nwnununvnvnynynenenEnwnEjpPpPpPpPpkpkpkpkpjp ?????????????)()()()()()( nEnenynvnunw kppkPpPpjp ?????? ??????????JjJjjpPpPpPpPpkpkpkpkpkpvwnunufnvnvnynyndnenenE12)()()()()()()()()(21)(其中 則有 （ 30） 可以簡寫為 更有意 義，設其中 ，這里 是 局部梯度 ，反映了輸出層神 經(jīng)元其輸入對于偏差的影響。 3） BP算法的 2種方式， 順序方式： 一個一個樣本的訓練 批處理方式：待組成一個周期的全部樣本都一次性輸 入網(wǎng)絡后，以總的平均誤差能量為修正 目標，訓練網(wǎng)絡。 2）彈性 BP算法 S型函數(shù)常常被稱為“壓扁 ”函數(shù)，它將正負無窮的輸入影射為（ 0， 1）范圍，在輸入很大、很小時，斜率 ZZEZWZEZWZnEwEnwnwwEnwnwZT?????????????????? ????????????????????1)()()()()1()()1()()1()(幾乎為 0，我們知道權(quán)值的修改量與激勵函數(shù)的導數(shù)有關，因 此此時權(quán)值修改幾乎停頓下來。 RBF網(wǎng)絡的應用： 徑向基函數(shù)（ RBF）網(wǎng)絡廣泛地應用于時間序列分析、模式識別和圖像處理等領域。 2. 廣義網(wǎng)絡 正規(guī)化網(wǎng)絡的訓練樣本 Xi與“基函數(shù)” 是一一對應的，當 N很大時，網(wǎng)絡的實現(xiàn)復雜，且求解網(wǎng)絡權(quán)值時可能產(chǎn)生病態(tài)問題。 ? ???????????????????????MmimkmikikikxxtXtXGtX12222)(21e x p21e x p),(???],[ 21 iMiii tttt ?? i?特點：中心和權(quán)值的確定分別獨立進行。 小腦模型