【正文】 乘值最小為性能指數(shù) )()( te21nE 2? 可以推出權值的調整為 )()()( nxnenw jij ??? 每一步運算都會得到一個權值的修改量 用于修改權值 )()(( nwnw1nw ijijij ???? ）反復次運算，就可以獲得新的權值，它實際是一個矩陣， 例如，下面是一個 3單元輸入層， 2單元輸出層的神經網絡。 基于記憶的學習規(guī)則 基于記憶的學習規(guī)則主要用于模式分類，一種簡單而 有效的方法 —— 最近臨域法。 4. 隨機學習規(guī)則 又稱為 Boltzmann學習規(guī)則，其實質是模擬退火（ Simulated Annealing， SA）算法。只能有一個輸出神經元是活性的。 ①曲線擬合： 濃度傳感器的 濃度 輸出電壓 的非線性關系 ② 神經網絡控制 神經網絡可以學習控制器（ PID、模糊、大林等等），也可以是一個有經驗的操作工人，完成人工智能控制。 熱電廠煤塊粉碎尺寸的軟測量 測量粉碎機中煤塊的尺寸 利用聲音完成測量 ⑤ 基于小波 神經網絡的瓷坯泥內部應力分布的軟測量 壓力差即壓力梯度是內應力不均勻的反應 陶瓷顆粒定向問題 內部應力的分布與真空練泥機的機頭內壁壓力的關系 ?????????????NMNNMMPPPPPPPPPM???????212222111211軸向 徑向 切向 ⑥ 模式識別 如指紋識別 ⑦ 藥方的配置 黑箱問題： 藥物的種類 藥量 陶瓷的性質 建立對應關系 ⑧面部識別、虹膜識別、筆跡識別 身份識別： 原始數(shù)據(jù)用于訓練、學習；記憶。 面部識別：通過訓練能夠抓住最主要的幾個特征點。是因為抓主 要特征，而忽略細節(jié)。 ⑨語音壓縮、語音記憶、字符語音識別 隱層各個神經元具有正交性（獨立性）、完備性。 進行語音記憶，所占用信息量最小。 ⑩ 金融領域的發(fā)現(xiàn) 金融曲線的分析： 股票分析 證券市場預測 市場預測 自動證券估計 (11) 紙張平滑度軟測量 平滑度是評價 紙 張表面凸凹程度的一個 指標 ， 它是粗糙度的對立概念。因此，對 印刷 用紙的平滑度測量十分必要。 當感 知器輸出 1則認為外部輸入量 x1,x2,? ,xN屬于 l1類； 當感知器輸出 1則認為外部輸入量 x1,x2,? ,xN屬于 l2類； 2個狀態(tài)的分界線是 （ 21） 也就是說，使（ 21）大于等于 0的 x1,x2,? ,xN被識別為 l1類， 而使（ 21）大于等于 0的 x1,x2,? ,xN被識別為 l2類。 例 一種只有 2個外部輸入量 x1,x2的單層感知器。 輸入向量： 權值向量： 其中， n代表迭帶次數(shù)，閾值 b可以用 w0來表示，因此，公式 (21)的 2個狀態(tài)的分界線可以表示為 )](,),(),(,1[)( 21 nxnxnxnX N??)](),(),(),([)( 21 nwnwnwnbnW N??0)()()()(0????nXnWnxnw TNjjj學習步驟： 第一步 定義變量和參數(shù) 訓練樣本 =[輸入向量，期望輸出 ]=[X(n),d(n)] 權值向量（包括閾值 b(n)） W(n)=[b(n),w1(n),w2(n),? ,wN(n)] 實際輸出 y(n) n迭代次數(shù)，即第幾步 是學習速率 第二步 初始化， W(n)=[b(n),w1(n),w2(n),? ,wN(n)]是隨機給出的，不過研究表明 w1(n),w2(n),? ,wN(n)是小隨機數(shù)比較好。 第三步 計算單層感知器輸出（前向運算） ?)]()([)( nXnWSgnny T?第四步 調整感知器權值向量（反向運算） 第五步 判斷是否滿足條件 若滿足 則結束運算；否則 n=n+1，轉到第三步接續(xù)運算。 自適應線性元件 自適應線性元件與感知器同時被提出，也很相似 顯然，自適應線性元件與感知器有相當?shù)墓δ堋? （ 1）給神經元施加非線性輸入函數(shù)，見下圖 分界線為： 模擬輸出為： 0wxxwxwxwxwxb 1221222211212211 ??????1221222211212211 wxxwxwxwxwxby ??????顯然：有一些非線性的運算需要在輸入前完成 例題： （ ， ）（ ， ）（ 1， 1） （ 2）多個自適應線性元件組合，見下圖 解決線性可分的 2方法 問題： 單層感知器與自適應線性元件的區(qū)別在那里？ 答： 在于反饋變量不同，感知器返回與期望值相比較 的是二進制輸出 yi,自適應線性元件的連續(xù)輸出 vi。 LMS學習算法也是基于 糾錯規(guī)則 的學習算法。 )()()( )( nenXWWEW T?? ??????)]()()()[()()()()()(nWnXndnXnWnenXnW1nWTTT?????????)()()( nenXW nE T????10110101 0110 10LMS算法是一種迭代算法。 3 仿真研究 )()(???n1n0???0?第 3章 多層前向網絡及 BP學習算法 主要內容 多層感知器 BP學習算法 徑向基網絡 小腦神經網絡 神經網絡在控制領域中的應用 本章前言 單層感知器只能解決分類問題，在單層感知器的輸入輸出層之間添加隱含層，就得到了多層感知器（ Multilayer Perceptron， MLP)。 多層前向神經元網絡中前一層神經元作為后一層的輸入。 多層感知器 多層感知器能夠解決單層感知器不能解決非線性問 題。 輸入層神經元的個數(shù)為輸入信號的維數(shù)，輸出層的個數(shù)是 輸出信號的維數(shù)，隱層個數(shù)根據(jù)輸入輸出個數(shù)主要是對應 關系的復雜程度而定，通常有 2n+1原則作為隱神經元初 始個數(shù)，而后再調整。 隱層的激勵函數(shù)可以選用非線性函數(shù)，這對于整個神經元網絡的性質非常重要。 正是因為多層感知器的這些特性，使得它是當前應用 最廣泛的一種神經網絡。 3 Gaussian高斯函數(shù) 高斯函數(shù)有簡化優(yōu)化問題的特點，而神經網絡的學習實質上是優(yōu)化問題，所使用的梯度下降法，必然會帶來收斂速度慢的問題，高斯函數(shù)可以改善此問題。 1）工作信號正向傳播： 權值不變，由輸入信號產生輸出信號。 下面以 2層神經網絡為例推導 BP算法 上圖的神經網絡中： 輸入層： M個輸入信號，任一個輸入信號用 m表示； 第一隱層： I個神經元，任一個神經元用 i來表示； 第二隱層： J個神經元，任一個神經元用 j來表示； 輸出層： P個神經元，任一個神經元用 p來表示。 IivIiu所有的神經元都用 Sigmoid函數(shù)。 網絡輸入訓練樣本 Xk,由信號正向傳播過程可得 第一隱層 第二隱層 輸出層 ??? MmkmmiIi xwu1??????? ??MmkmmiIi xwfv1Ii ,2,1 ????????? ??IiIiijJj vwfv1Jj ?,2,1???? JjJjjpPp vwu1kpJjJjjpPp yvwfv ?????????? ?? 1Pp ?,2,1 ??? IiIiijJj vwu1輸出層第 p個神經元誤差信號為 定義神經元 p的誤差能量為 ，則輸出層所有神經元的誤 差能量總和為 E(n) 誤差信號由后向前傳遞，傳播過程中，逐層修改權值。 1）隱層神經元與輸出層神經元之間權值的修改 BP算法中權值的修改量△ W與誤差對該權值的 偏微分 成正比，即 這就是尋優(yōu)方式中所謂的牛頓梯度法。 )()()( nyndne kpkpkp ??)(21 2 nekp???Ppkp nenE12 )(21)()n(w)n(E)n(wjpjp ?????也即 Delta規(guī)則 這里反映了修改權重的依據(jù)是 : 通過調整權重使得誤差的均方值減小。 由下圖可見， E和 wip(n)之間通過 傳遞。 因此有 )()()()()()()()()()()()(nwnununvnvnynynenenEnwnEjpPpPpPpPpkpkpkpkpjp ?????????????)()()()()()( nEnenynvnunw kppkPpPpjp ?????? ??????????JjJjjpPpPpPpPpkpkpkpkpkpvwnunufnvnvnynyndnenenE12)()()()()()()()()(21)(其中 則有 （ 30） 可以簡寫為 更有意 義，設其中 ，這里 是 局部梯度 ，反映了輸出層神 經元其輸入對于偏差的影響。 最后 xexf ?? 11)( )()()1 1(1 1)( 22 xfxfeexf xx ???????)()())(1)(())(( 2 nynynvnvnuf kpkpPpPpPp ?????)()()1( nwnwnw jpjpjp ????Jjkpp2kpkpJjkpkpp2kpkpJjkp2kpkpjpvnyndnynyvnynendnynyvnenynynw))()())(()(()())()())(()(()())()(()(???????????))()())(()(()())()(()( 22 nyndnynynenynyn kppkpkpkpkpkpPp ??????2）隱含層與隱含層之間的權值修正值 )()()(13vuEl e tvuEvwuvwuwuuEwEnwIiJjJjJjIiJjJ1jJjijJjIiijJjijJjJjijij???????????????????????????????（