【正文】 為原則（才能使得網(wǎng)絡(luò)無差），為避免正負號的影響，采用 e(n)的最小二乘值最小為性能指數(shù) )()( te21nE 2? 可以推出權(quán)值的調(diào)整為 )()()( nxnenw jij ??? 每一步運算都會得到一個權(quán)值的修改量 用于修改權(quán)值 )()(( nwnw1nw ijijij ???? ）反復(fù)次運算，就可以獲得新的權(quán)值，它實際是一個矩陣， 例如，下面是一個 3單元輸入層， 2單元輸出層的神經(jīng)網(wǎng)絡(luò)。 Hebb規(guī)則的工作過程的描述： 情況 神經(jīng)元 Xi、 Xj活動充分，則 權(quán)值被加強了。 圖 111 有教師的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 圖 112 無教師神經(jīng)網(wǎng)絡(luò)實現(xiàn)濾波電路 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式： 每 個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都對應(yīng)著一種學(xué)習(xí)方式。 ①每個輸出神經(jīng)元都與輸入節(jié)點全連結(jié)； ②輸出神經(jīng)元之間全互連 （用于相互比較） ； ③最終，競爭獲勝的勝者作為網(wǎng)絡(luò)的輸出。 這是一個自反饋神經(jīng)網(wǎng)絡(luò)， z1是滯后環(huán)節(jié)。 2. 多層前向神經(jīng)網(wǎng)絡(luò) 多層前向神經(jīng)網(wǎng)含有一個或多個隱層，即至少隱層和輸出層都有運算能力。)是激勵函數(shù)， yi是輸出 ???N1jjiji xwuiii buv ???????????? ??N1jijiji bxwfy常用的激勵函數(shù)有３種 （１）閾值函數(shù)（符號函數(shù)） 可用于分類 ??? ??0v00v1vf?)(??? ??0v10v1vSgn?)(（２）符號函數(shù) ???????????1v11v1v1v1vf )(（３） Sigmoid函數(shù) （４）組合函數(shù) *激勵函數(shù)的選擇：相似性與緊支撐原則。 應(yīng)用研究包括兩類： ? 神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實現(xiàn)的研究； ? 神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域中的應(yīng)用研究，這些領(lǐng)域包括：模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、智能控制等。是對 BP網(wǎng)絡(luò)的一大進步。不必關(guān)心它的參數(shù)，只關(guān)心輸入 輸出。 1960年， Widrow和 Hoff引入最小均方差（ Least MeanSquare， LMS）算法，用于闡述感知器與 自適應(yīng)線性元件之間選練差異的標準。 NN的興起，同時也是人工智能（ Artificial Intelligence， AI）這一學(xué)科。 特點： *并行運算 （每個神經(jīng)元都在獨立的運算） *自學(xué)習(xí)能力很強 *非線性處理能力 （這源于神經(jīng)網(wǎng)絡(luò)的每一塊磚都是非線性的，如 S型函數(shù)） 因此，神經(jīng)網(wǎng)絡(luò)具有能力： 獲取信息 儲存信息。 涉及神經(jīng) 科學(xué) 、 數(shù)學(xué) 、 統(tǒng)計學(xué) 、 計算機科學(xué) 的一門學(xué)科。 神經(jīng)網(wǎng)絡(luò)屬于控制科學(xué)的范疇。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 20世紀 40年代開始，經(jīng)歷興起、蕭條、興盛 3個階段。 1949年，生物學(xué)家 提出改變 NN連接強度的 Hebb規(guī)則。 （ 19701980） 導(dǎo)致十年低谷的原因包括： 技術(shù)上的：計 算機技術(shù)支持不夠； 信心上的：資金悲觀情緒 這個階段的標志， 1969年麻省理工學(xué)院著名的人工 智能專家 《 感知器 》 指出單層感知器無法解決非線性問題，線性問題需要由多 層感知器來解決，而感知器模型擴展到多層是否有意義， 尚不能從理論上得到證明。 3 興盛階段（ 1980 1982年美國生物物理學(xué)家 Hophield提出反饋神經(jīng)網(wǎng)絡(luò) (Hophield網(wǎng)絡(luò) ) ，標志著興盛階段的到來。 90年代初，支持向量基（ＳＶＭ）。 人工神經(jīng)元的模型 生物神經(jīng)元模型 結(jié)構(gòu)特點： 軸突（神經(jīng)纖維）很長（輸出沖動）、 樹突接受沖動，突出連接２者（體現(xiàn)出連接權(quán)值），細 胞膜內(nèi)外有電位差（內(nèi)高外低） 40100mV。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則 按網(wǎng)絡(luò)結(jié)構(gòu)分類：前向神經(jīng)網(wǎng)絡(luò) 反饋神經(jīng)網(wǎng)絡(luò) 按學(xué)習(xí)方式分類：有導(dǎo)師神經(jīng)網(wǎng)絡(luò) 無導(dǎo)師神經(jīng)網(wǎng)絡(luò) * 一定 的結(jié)構(gòu)決定了一定的學(xué)習(xí)方式。 輸出層神經(jīng)元的工作： ① 計算隱層各神經(jīng)元輸出的加權(quán)和。 將隨機運算引入到神經(jīng)網(wǎng)絡(luò)中，具體來說，神經(jīng)元的運算是按概率原理進行的。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 定義： 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)又稱為 訓(xùn)練 ，是指神經(jīng)網(wǎng)絡(luò)根據(jù)環(huán)境的刺激作用自動調(diào)整 神經(jīng)元連結(jié)權(quán)值和自身閾值的過程。下面介紹 5種主要的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則： Hebb學(xué)習(xí) 、 糾錯學(xué)習(xí) 、 基于記憶的學(xué)習(xí) 、 隨機學(xué)習(xí) 、 競爭學(xué)習(xí) 1 Hebb學(xué)習(xí)規(guī)則 a) 語言描述： i 如果一個突觸 Wij兩邊的神經(jīng)元被同時激活，則它的能量（權(quán)重）就被選擇性的加強； ii 如果一個突觸兩邊的神經(jīng)元被異步激活，則它的能量（權(quán)重）就被選擇性的消弱或消除。 jxix?ii xx ? jj xx ?)()1()( nwnwnw ijij ???? ][][)( jjii xxS i g nxxS i g nnw ?????? ?情況 神經(jīng)元 Xi、 Xj活動異步，則即 之一的情況存在，權(quán)重 Δ Wij顯然小于 0。 ? ? )()()()()()()()(nWnwnwnwnwnwnwnwij323122211211???????????? 因此，神經(jīng)網(wǎng)絡(luò)的運算（前向 —— 工作、反向 —— 學(xué)習(xí)）都是矩陣運算。 競爭學(xué)習(xí)中，神經(jīng)元網(wǎng)絡(luò)之間相互競爭，在任 一 時刻。 ③ 故障診斷 破壞性試驗 獲得數(shù)據(jù) —— 訓(xùn)練樣本 ④ 非線性軟測量 軟測量就是間接測量，利用溫度計接觸式測量溫度是直接測量，利用光譜測量溫度就是 溫度軟測量 。 為什么個人能夠在瞬間識別出人的身份， 而現(xiàn)在的機器卻要幾十分鐘。 重新調(diào)整系數(shù)，使得｛ 系數(shù)｝數(shù)據(jù)量最小。紙張的平滑度與 印刷 油墨 在紙面上的均一轉(zhuǎn)移密切相關(guān)。 這里（ 21）直線 (j=2)、平面 (j=3)、超平面 (j3)。 怎么好那？大的權(quán)值易出現(xiàn)“早熟”。 自適應(yīng)線性元件實現(xiàn)非線性可分有 2個辦法。 LMS學(xué)習(xí)算法的推導(dǎo)： n時刻的誤差： 誤差的均方值： 由上 2式得到： )()()()( nWnXndne T??)(21)( 2 neWE ?)()()()()(nXWneWneneWWET?????????由上 2式得到： 為了使誤差均方值盡快減小，令權(quán)值 沿著誤差函數(shù)負 梯度方向 改變 LMS算法權(quán)值調(diào)整公式 學(xué)習(xí)步長 對于 LMS算法影響很大： ① 快速性； ② 全局最優(yōu)； ③ 收斂性 ；④ 數(shù)據(jù) 存 儲 量。這種由輸入層、隱含層（一層或多層）和輸出層構(gòu)成的網(wǎng)絡(luò)成為 多層前向神經(jīng)元網(wǎng)絡(luò)（ Multilayer forward Neural Networks)。其結(jié)構(gòu)如下圖。 BP算法是針對于多層感知器的算法，因此 多層感知器又稱為 BP網(wǎng)絡(luò)。 4 新激活函數(shù) 5 組合激活函數(shù) 2)(21)( b axebxg??? ?)t a n h ()())( s i n h (t a n2)(211xxfxxf?? ?? BP學(xué)習(xí)算法 BP學(xué)習(xí)算法的描述 BP學(xué)習(xí)算法分為正向傳播和反向傳播 2部分。 各層的連接權(quán)值分別是 Wmi Wij Wjp 神經(jīng)元的輸入和輸出： 上標表示層（ M、 I、 J、 P）下標表示神經(jīng)元序號， u表示輸入， v表示輸出。下面是 反向傳播過程。 這里很難直接求出， E對 wip(n)的導(dǎo)數(shù)。 (31) )()( )( nnu nE PpPp????? )(nPp?)())(()()( )( nvnufnenw nE JjPpkpjp?????)()()()()()(nwnununEnwnEjpPpPpjp ???????)()()()()()()()()()(nwnununynynenenEnwnEjpPpPpkpkpkpkpjp ???????????)())(( nenuf kpPpPp ???JjjpPpPpPpPpPpkpkpkpkpkpvnw nunufnu nvnv nyny nenene nE ????????????????? )( )(,))(()( )(,1)( )(,1)( )(,)()( )()()()( nEnunw Ppjp ???????????)()( )( nvnw nE JjPpjp?????)()( )()( nvnw nEnw JjPpjpjp ???????Sigmoid函數(shù) 的導(dǎo)數(shù)是 從而有 因此代入（ 31），得到 因此，第二隱層和輸出層之間的網(wǎng)絡(luò)權(quán)值改變量由網(wǎng)絡(luò)實際輸 出和期望輸出、實際輸入就可以計算易于計算。 第四步 （反向過程）根據(jù)偏差反向計算每層神經(jīng)元的局部偏差 第五步 計算權(quán)值的修正量，并獲得新權(quán)值 )](,),(),([)( 21 nynynynY kPkkk ??)](,),(),([)( 21 ndndndnd kPkkk ??)0(),0(),0( JPIJMI WWWIinwnnufnJjnwnnufnPpnyndnynynJjijJjIiIiPpjpPpJjJjppppPp,2,1),()())(()(,2,1),()())(()(,2,1)),()())((1)(()(11?????????????????????????第六部 若所有的樣本都用完了，結(jié)束；否則轉(zhuǎn)到第三步。 4）步長 5）激勵函數(shù) 6）訓(xùn)練結(jié)束條件 ??)( nE BP算法的改進 實際應(yīng)用中的神經(jīng)網(wǎng)絡(luò)存在 2個問題，收斂速度慢和目標 函數(shù)存在局部極小點。 在 E(n)減小后，經(jīng)過若干步后，傳遞到動量項，調(diào)節(jié)量減小 ( 正負抵消），但有些滯后，顯然這是動量項的一個缺點，會 引起一定幅度的 振蕩（總會有小幅振蕩） ，但很快會消除。 采用的方法，只提取偏差符號，若連續(xù)偏差同號，加大步長；若出現(xiàn)變號，說明出現(xiàn)震蕩，減小步長。 RBF網(wǎng)絡(luò)結(jié)構(gòu)： 與 BP網(wǎng)絡(luò)類似，輸入層、隱含層、輸出層三層組成，其中隱含層的個數(shù)由問題的復(fù)雜程度及研究精度而定，隱層函數(shù)是 對稱衰減的非線性非負函數(shù)。 水分定量耦合關(guān)系 )1()()1()1()( 12121111111 ???????? kwNkubkubkxakx)()()1()()( 22221212212 NkwNkubkubNkxakx ????????經(jīng)過解耦 )1()1()1()( 11111111 ????