【正文】 為原則（才能使得網(wǎng)絡無差），為避免正負號的影響，采用 e(n)的最小二乘值最小為性能指數(shù) )()( te21nE 2? 可以推出權值的調(diào)整為 )()()( nxnenw jij ??? 每一步運算都會得到一個權值的修改量 用于修改權值 )()(( nwnw1nw ijijij ???? ）反復次運算，就可以獲得新的權值，它實際是一個矩陣， 例如，下面是一個 3單元輸入層， 2單元輸出層的神經(jīng)網(wǎng)絡。 Hebb規(guī)則的工作過程的描述： 情況 神經(jīng)元 Xi、 Xj活動充分，則 權值被加強了。 圖 111 有教師的神經(jīng)網(wǎng)絡學習 圖 112 無教師神經(jīng)網(wǎng)絡實現(xiàn)濾波電路 神經(jīng)網(wǎng)絡學習的方式： 每 個神經(jīng)網(wǎng)絡結構都對應著一種學習方式。 ①每個輸出神經(jīng)元都與輸入節(jié)點全連結； ②輸出神經(jīng)元之間全互連 （用于相互比較） ； ③最終，競爭獲勝的勝者作為網(wǎng)絡的輸出。 這是一個自反饋神經(jīng)網(wǎng)絡， z1是滯后環(huán)節(jié)。 2. 多層前向神經(jīng)網(wǎng)絡 多層前向神經(jīng)網(wǎng)含有一個或多個隱層，即至少隱層和輸出層都有運算能力。)是激勵函數(shù)， yi是輸出 ???N1jjiji xwuiii buv ???????????? ??N1jijiji bxwfy常用的激勵函數(shù)有３種 （１）閾值函數(shù)（符號函數(shù)） 可用于分類 ??? ??0v00v1vf?)(??? ??0v10v1vSgn?)(（２）符號函數(shù) ???????????1v11v1v1v1vf )(（３） Sigmoid函數(shù) （４）組合函數(shù) *激勵函數(shù)的選擇：相似性與緊支撐原則。 應用研究包括兩類： ? 神經(jīng)網(wǎng)絡的軟件模擬和硬件實現(xiàn)的研究； ? 神經(jīng)網(wǎng)絡在各個領域中的應用研究，這些領域包括：模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、智能控制等。是對 BP網(wǎng)絡的一大進步。不必關心它的參數(shù)，只關心輸入 輸出。 1960年， Widrow和 Hoff引入最小均方差（ Least MeanSquare， LMS）算法，用于闡述感知器與 自適應線性元件之間選練差異的標準。 NN的興起，同時也是人工智能（ Artificial Intelligence， AI）這一學科。 特點： *并行運算 （每個神經(jīng)元都在獨立的運算） *自學習能力很強 *非線性處理能力 （這源于神經(jīng)網(wǎng)絡的每一塊磚都是非線性的，如 S型函數(shù)） 因此，神經(jīng)網(wǎng)絡具有能力： 獲取信息 儲存信息。 涉及神經(jīng) 科學 、 數(shù)學 、 統(tǒng)計學 、 計算機科學 的一門學科。 神經(jīng)網(wǎng)絡屬于控制科學的范疇。 人工神經(jīng)網(wǎng)絡發(fā)展歷史 20世紀 40年代開始，經(jīng)歷興起、蕭條、興盛 3個階段。 1949年，生物學家 提出改變 NN連接強度的 Hebb規(guī)則。 （ 19701980） 導致十年低谷的原因包括： 技術上的：計 算機技術支持不夠； 信心上的：資金悲觀情緒 這個階段的標志， 1969年麻省理工學院著名的人工 智能專家 《 感知器 》 指出單層感知器無法解決非線性問題，線性問題需要由多 層感知器來解決，而感知器模型擴展到多層是否有意義， 尚不能從理論上得到證明。 3 興盛階段（ 1980 1982年美國生物物理學家 Hophield提出反饋神經(jīng)網(wǎng)絡 (Hophield網(wǎng)絡 ) ，標志著興盛階段的到來。 90年代初，支持向量基（ＳＶＭ）。 人工神經(jīng)元的模型 生物神經(jīng)元模型 結構特點： 軸突（神經(jīng)纖維）很長（輸出沖動）、 樹突接受沖動，突出連接２者（體現(xiàn)出連接權值），細 胞膜內(nèi)外有電位差（內(nèi)高外低） 40100mV。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡的結構及學習規(guī)則 按網(wǎng)絡結構分類：前向神經(jīng)網(wǎng)絡 反饋神經(jīng)網(wǎng)絡 按學習方式分類：有導師神經(jīng)網(wǎng)絡 無導師神經(jīng)網(wǎng)絡 * 一定 的結構決定了一定的學習方式。 輸出層神經(jīng)元的工作： ① 計算隱層各神經(jīng)元輸出的加權和。 將隨機運算引入到神經(jīng)網(wǎng)絡中，具體來說，神經(jīng)元的運算是按概率原理進行的。 神經(jīng)網(wǎng)絡的學習 定義： 神經(jīng)網(wǎng)絡的學習又稱為 訓練 ，是指神經(jīng)網(wǎng)絡根據(jù)環(huán)境的刺激作用自動調(diào)整 神經(jīng)元連結權值和自身閾值的過程。下面介紹 5種主要的神經(jīng)網(wǎng)絡學習規(guī)則： Hebb學習 、 糾錯學習 、 基于記憶的學習 、 隨機學習 、 競爭學習 1 Hebb學習規(guī)則 a) 語言描述： i 如果一個突觸 Wij兩邊的神經(jīng)元被同時激活，則它的能量（權重）就被選擇性的加強； ii 如果一個突觸兩邊的神經(jīng)元被異步激活，則它的能量（權重）就被選擇性的消弱或消除。 jxix?ii xx ? jj xx ?)()1()( nwnwnw ijij ???? ][][)( jjii xxS i g nxxS i g nnw ?????? ?情況 神經(jīng)元 Xi、 Xj活動異步，則即 之一的情況存在，權重 Δ Wij顯然小于 0。 ? ? )()()()()()()()(nWnwnwnwnwnwnwnwij323122211211???????????? 因此，神經(jīng)網(wǎng)絡的運算（前向 —— 工作、反向 —— 學習）都是矩陣運算。 競爭學習中，神經(jīng)元網(wǎng)絡之間相互競爭，在任 一 時刻。 ③ 故障診斷 破壞性試驗 獲得數(shù)據(jù) —— 訓練樣本 ④ 非線性軟測量 軟測量就是間接測量，利用溫度計接觸式測量溫度是直接測量，利用光譜測量溫度就是 溫度軟測量 。 為什么個人能夠在瞬間識別出人的身份， 而現(xiàn)在的機器卻要幾十分鐘。 重新調(diào)整系數(shù)，使得｛ 系數(shù)｝數(shù)據(jù)量最小。紙張的平滑度與 印刷 油墨 在紙面上的均一轉(zhuǎn)移密切相關。 這里（ 21）直線 (j=2)、平面 (j=3)、超平面 (j3)。 怎么好那？大的權值易出現(xiàn)“早熟”。 自適應線性元件實現(xiàn)非線性可分有 2個辦法。 LMS學習算法的推導： n時刻的誤差： 誤差的均方值： 由上 2式得到： )()()()( nWnXndne T??)(21)( 2 neWE ?)()()()()(nXWneWneneWWET?????????由上 2式得到： 為了使誤差均方值盡快減小，令權值 沿著誤差函數(shù)負 梯度方向 改變 LMS算法權值調(diào)整公式 學習步長 對于 LMS算法影響很大： ① 快速性； ② 全局最優(yōu)； ③ 收斂性 ；④ 數(shù)據(jù) 存 儲 量。這種由輸入層、隱含層（一層或多層）和輸出層構成的網(wǎng)絡成為 多層前向神經(jīng)元網(wǎng)絡（ Multilayer forward Neural Networks)。其結構如下圖。 BP算法是針對于多層感知器的算法，因此 多層感知器又稱為 BP網(wǎng)絡。 4 新激活函數(shù) 5 組合激活函數(shù) 2)(21)( b axebxg??? ?)t a n h ()())( s i n h (t a n2)(211xxfxxf?? ?? BP學習算法 BP學習算法的描述 BP學習算法分為正向傳播和反向傳播 2部分。 各層的連接權值分別是 Wmi Wij Wjp 神經(jīng)元的輸入和輸出： 上標表示層（ M、 I、 J、 P）下標表示神經(jīng)元序號， u表示輸入， v表示輸出。下面是 反向傳播過程。 這里很難直接求出， E對 wip(n)的導數(shù)。 (31) )()( )( nnu nE PpPp????? )(nPp?)())(()()( )( nvnufnenw nE JjPpkpjp?????)()()()()()(nwnununEnwnEjpPpPpjp ???????)()()()()()()()()()(nwnununynynenenEnwnEjpPpPpkpkpkpkpjp ???????????)())(( nenuf kpPpPp ???JjjpPpPpPpPpPpkpkpkpkpkpvnw nunufnu nvnv nyny nenene nE ????????????????? )( )(,))(()( )(,1)( )(,1)( )(,)()( )()()()( nEnunw Ppjp ???????????)()( )( nvnw nE JjPpjp?????)()( )()( nvnw nEnw JjPpjpjp ???????Sigmoid函數(shù) 的導數(shù)是 從而有 因此代入（ 31），得到 因此，第二隱層和輸出層之間的網(wǎng)絡權值改變量由網(wǎng)絡實際輸 出和期望輸出、實際輸入就可以計算易于計算。 第四步 （反向過程）根據(jù)偏差反向計算每層神經(jīng)元的局部偏差 第五步 計算權值的修正量，并獲得新權值 )](,),(),([)( 21 nynynynY kPkkk ??)](,),(),([)( 21 ndndndnd kPkkk ??)0(),0(),0( JPIJMI WWWIinwnnufnJjnwnnufnPpnyndnynynJjijJjIiIiPpjpPpJjJjppppPp,2,1),()())(()(,2,1),()())(()(,2,1)),()())((1)(()(11?????????????????????????第六部 若所有的樣本都用完了，結束；否則轉(zhuǎn)到第三步。 4）步長 5）激勵函數(shù) 6）訓練結束條件 ??)( nE BP算法的改進 實際應用中的神經(jīng)網(wǎng)絡存在 2個問題，收斂速度慢和目標 函數(shù)存在局部極小點。 在 E(n)減小后，經(jīng)過若干步后，傳遞到動量項，調(diào)節(jié)量減小 ( 正負抵消），但有些滯后，顯然這是動量項的一個缺點，會 引起一定幅度的 振蕩（總會有小幅振蕩） ，但很快會消除。 采用的方法，只提取偏差符號，若連續(xù)偏差同號，加大步長；若出現(xiàn)變號，說明出現(xiàn)震蕩，減小步長。 RBF網(wǎng)絡結構： 與 BP網(wǎng)絡類似，輸入層、隱含層、輸出層三層組成，其中隱含層的個數(shù)由問題的復雜程度及研究精度而定，隱層函數(shù)是 對稱衰減的非線性非負函數(shù)。 水分定量耦合關系 )1()()1()1()( 12121111111 ???????? kwNkubkubkxakx)()()1()()( 22221212212 NkwNkubkubNkxakx ????????經(jīng)過解耦 )1()1()1()( 11111111 ????