【正文】 （ 33）展開 由以上公式迭代計算得： 分析：可見在 n時刻，不僅 n時刻的調節(jié)量起作用， n1,n2 ,…n m 時刻的調節(jié)量仍然起作用，只是乘上權重 )()1()()2()3()2()1()2()1()()1()(mnwEmnwmnwnwEnwnwnwEnwnwnwEnwnw?????????????????????????????????????????????m??? , 2 ?)()()()()( mnwE2nwE1nwEnwEnw m2?????????????????? ??????? ?這和控制中的 ID控制器十分相似，公式 中第一項是微分項，后面的都是微分積分項，對于偏差的存 在，積分項加強了調節(jié)作用，最大（假設所用的 相同 ）可達 。 4）步長 5）激勵函數 6）訓練結束條件 ??)( nE BP算法的改進 實際應用中的神經網絡存在 2個問題，收斂速度慢和目標 函數存在局部極小點。 )()()1()()()()()()1()()()()()()1()()()(nwnwnwnxnnwnwnwnwnvnnwnwnwnwnvnnwkmkmkmkmIimiijijijIiJjijjpjpjpJjPpjp????????????????????????]/,/[ FF?2) Sigmoid函數的取值范圍 （ 0,1） ,也就是說只能趨近 0和 1， 因此對于 神經元輸出期望值只能取 和 0和 1的數字。 第四步 （反向過程）根據偏差反向計算每層神經元的局部偏差 第五步 計算權值的修正量，并獲得新權值 )](,),(),([)( 21 nynynynY kPkkk ??)](,),(),([)( 21 ndndndnd kPkkk ??)0(),0(),0( JPIJMI WWWIinwnnufnJjnwnnufnPpnyndnynynJjijJjIiIiPpjpPpJjJjppppPp,2,1),()())(()(,2,1),()())(()(,2,1)),()())((1)(()(11?????????????????????????第六部 若所有的樣本都用完了，結束；否則轉到第三步。 幾組權值 ???????????????????????????????????????JPPPPPJPIJJJIIIJMIIIMMMInWnWnW?????????????????????212221212111212221212111212221212111)()()(),2,1(],[ 21 NkxxxX kMkkk ?? ??期望輸出 實際輸出 第二步 初始化，賦給 小隨機非零數。 (31) )()( )( nnu nE PpPp????? )(nPp?)())(()()( )( nvnufnenw nE JjPpkpjp?????)()()()()()(nwnununEnwnEjpPpPpjp ???????)()()()()()()()()()(nwnununynynenenEnwnEjpPpPpkpkpkpkpjp ???????????)())(( nenuf kpPpPp ???JjjpPpPpPpPpPpkpkpkpkpkpvnw nunufnu nvnv nyny nenene nE ????????????????? )( )(,))(()( )(,1)( )(,1)( )(,)()( )()()()( nEnunw Ppjp ???????????)()( )( nvnw nE JjPpjp?????)()( )()( nvnw nEnw JjPpjpjp ???????Sigmoid函數 的導數是 從而有 因此代入（ 31），得到 因此，第二隱層和輸出層之間的網絡權值改變量由網絡實際輸 出和期望輸出、實際輸入就可以計算易于計算。 )n(w)n(E)n(wjpjp ????? ?)(nekp )(nykp )(nuPp 它們的關系可以由下式表達。 這里很難直接求出， E對 wip(n)的導數。它的思想見下圖。下面是 反向傳播過程。 訓練樣本集 X={X1,X2,? ,Xk,? XN}，其中任一個樣本 Xk=[xk1,xk2,? ,xkM,yk1,yk2,? , ykp],(k=1,2,? ,N). 實際輸出 Yk=[yk1,yk2,? ,ykp]T 期望輸出 dk=[dk1,dk2, ? ,dkP]T K為迭代次數。 各層的連接權值分別是 Wmi Wij Wjp 神經元的輸入和輸出： 上標表示層（ M、 I、 J、 P）下標表示神經元序號， u表示輸入， v表示輸出。 2）誤差信號反向傳播： 偏差信號（網絡實際輸出與 期望輸出的差）由輸出端逐 層向前傳播，即誤差信號反 向傳播，這個過程網絡權值 由誤差反饋進行調節(jié)。 4 新激活函數 5 組合激活函數 2)(21)( b axebxg??? ?)t a n h ()())( s i n h (t a n2)(211xxfxxf?? ?? BP學習算法 BP學習算法的描述 BP學習算法分為正向傳播和反向傳播 2部分。 隱層神經元的激勵函數 1 Sigmoid函數 請求解 s形函數的導數 2 雙正切函數 它和 Sigmoid函數形狀相似，不過它具有正負雙極輸出，它可 以被認為是被光滑的階躍函數。 BP算法是針對于多層感知器的算法，因此 多層感知器又稱為 BP網絡。 多層感知器的特點： 引入了隱含層（簡稱隱層），外界無法接觸到它。其結構如下圖。 本章介紹 2種多層前向網絡：多層感知器和徑向基神經網絡，詳細介紹多層感知器的學習算法 —— 著名的誤差反向傳遞算法 (BackPropation Algorithm,BP算法 )及其改進算法，并將比較這 2種算法。這種由輸入層、隱含層（一層或多層）和輸出層構成的網絡成為 多層前向神經元網絡（ Multilayer forward Neural Networks)。 LMS算法的學習速率 LMS算法的學習曲線 學習速率的退火算法 （一種變步長的學習算法） 這里 是初始步長， 隨著時間坐標的變化而衰減，正如退火過程一樣。 LMS學習算法的推導： n時刻的誤差： 誤差的均方值： 由上 2式得到： )()()()( nWnXndne T??)(21)( 2 neWE ?)()()()()(nXWneWneneWWET?????????由上 2式得到： 為了使誤差均方值盡快減小，令權值 沿著誤差函數負 梯度方向 改變 LMS算法權值調整公式 學習步長 對于 LMS算法影響很大： ① 快速性； ② 全局最優(yōu)； ③ 收斂性 ；④ 數據 存 儲 量。 LMS學習算法 感知器和自適應元件，都使用 LMS學習算法調整權值。 自適應線性元件實現非線性可分有 2個辦法。 說明： 1 是一個給定的小正數； 2 期望輸出 )()]()([)()1( nXnyndnWnW ???? ???)()( nynd ????????2)(11)(1)(InXInXnd屬于屬于關于線性可分與線性不可分的問題 ① 線性可分的情況：通過學習可以獲得邊界條件 ② 線性不可分的情況：通過學習無法獲得邊界條件 例題 用單層感知器實現 “ 與 ” 、 “ 或 ” 、 “ 異或 ” 的運算。 怎么好那？大的權值易出現“早熟”。 它的分界線是： 可以在一個平面上畫出這個單層感知器 01????Njjjij bxw02211 ??? bxwxw單層感知器的工作包括 2部分： ！學習（以確定邊界線） !! 識別（判斷輸入量屬于 I1 I2) ? 單層感知器的學習就是確定邊界的過程，也就是調整權值 w1 w2 ?? 和閾值 b的過程。 這里（ 21）直線 (j=2)、平面 (j=3)、超平面 (j3)。 Aguilar, ., Arenas, . and Salinas, R. Friction noise technique for the measurement of surface roughness of papers[J]. Applied Acoustics, 2022, 70 (9):12351240. 紙張定量儀測量紙張定量過程 紙張定量測量值 基于紙張定量噪聲 STPS的紙張 平滑度在線軟測量系統(tǒng)框圖 第二章 單層前向網絡及 LMS學習算法 主要內容 單層感知器 自適應線性元件 LMS學習算法 單層感知器 單層感知器的運算 線性累加器： 外部偏差： 二值閾值元件： ???Njjiji xwu1iii buv ??????????????????????NiijijNiijijNiijiji0bxw0bxwbxwSgny111 ,11)(?若若單層感知器的作用 對外部輸入量 x1,x2,? ,xm進行識別分類 ,分成 2類 l1和 l2。紙張的平滑度與 印刷 油墨 在紙面上的均一轉移密切相關。 字符語音識別：相關性計算。 重新調整系數，使得｛ 系數｝數據量最小。 筆跡識別：是神經網絡識別的成功事例。 為什么個人能夠在瞬間識別出人的身份， 而現在的機器卻要幾十分鐘。 與新的圖像數據進行相關分析。 ③ 故障診斷 破壞性試驗 獲得數據 —— 訓練樣本 ④ 非線性軟測量 軟測量就是間接測量，利用溫