【正文】 （ 33）展開 由以上公式迭代計(jì)算得： 分析：可見在 n時(shí)刻，不僅 n時(shí)刻的調(diào)節(jié)量起作用， n1,n2 ,…n m 時(shí)刻的調(diào)節(jié)量仍然起作用，只是乘上權(quán)重 )()1()()2()3()2()1()2()1()()1()(mnwEmnwmnwnwEnwnwnwEnwnwnwEnwnw?????????????????????????????????????????????m??? , 2 ?)()()()()( mnwE2nwE1nwEnwEnw m2?????????????????? ??????? ?這和控制中的 ID控制器十分相似，公式 中第一項(xiàng)是微分項(xiàng)，后面的都是微分積分項(xiàng)，對(duì)于偏差的存 在，積分項(xiàng)加強(qiáng)了調(diào)節(jié)作用，最大（假設(shè)所用的 相同 ）可達(dá) 。 4）步長 5）激勵(lì)函數(shù) 6）訓(xùn)練結(jié)束條件 ??)( nE BP算法的改進(jìn) 實(shí)際應(yīng)用中的神經(jīng)網(wǎng)絡(luò)存在 2個(gè)問題，收斂速度慢和目標(biāo) 函數(shù)存在局部極小點(diǎn)。 )()()1()()()()()()1()()()()()()1()()()(nwnwnwnxnnwnwnwnwnvnnwnwnwnwnvnnwkmkmkmkmIimiijijijIiJjijjpjpjpJjPpjp????????????????????????]/,/[ FF?2) Sigmoid函數(shù)的取值范圍 （ 0,1） ,也就是說只能趨近 0和 1， 因此對(duì)于 神經(jīng)元輸出期望值只能取 和 0和 1的數(shù)字。 第四步 （反向過程）根據(jù)偏差反向計(jì)算每層神經(jīng)元的局部偏差 第五步 計(jì)算權(quán)值的修正量，并獲得新權(quán)值 )](,),(),([)( 21 nynynynY kPkkk ??)](,),(),([)( 21 ndndndnd kPkkk ??)0(),0(),0( JPIJMI WWWIinwnnufnJjnwnnufnPpnyndnynynJjijJjIiIiPpjpPpJjJjppppPp,2,1),()())(()(,2,1),()())(()(,2,1)),()())((1)(()(11?????????????????????????第六部 若所有的樣本都用完了，結(jié)束；否則轉(zhuǎn)到第三步。 幾組權(quán)值 ???????????????????????????????????????JPPPPPJPIJJJIIIJMIIIMMMInWnWnW?????????????????????212221212111212221212111212221212111)()()(),2,1(],[ 21 NkxxxX kMkkk ?? ??期望輸出 實(shí)際輸出 第二步 初始化，賦給 小隨機(jī)非零數(shù)。 (31) )()( )( nnu nE PpPp????? )(nPp?)())(()()( )( nvnufnenw nE JjPpkpjp?????)()()()()()(nwnununEnwnEjpPpPpjp ???????)()()()()()()()()()(nwnununynynenenEnwnEjpPpPpkpkpkpkpjp ???????????)())(( nenuf kpPpPp ???JjjpPpPpPpPpPpkpkpkpkpkpvnw nunufnu nvnv nyny nenene nE ????????????????? )( )(,))(()( )(,1)( )(,1)( )(,)()( )()()()( nEnunw Ppjp ???????????)()( )( nvnw nE JjPpjp?????)()( )()( nvnw nEnw JjPpjpjp ???????Sigmoid函數(shù) 的導(dǎo)數(shù)是 從而有 因此代入（ 31），得到 因此，第二隱層和輸出層之間的網(wǎng)絡(luò)權(quán)值改變量由網(wǎng)絡(luò)實(shí)際輸 出和期望輸出、實(shí)際輸入就可以計(jì)算易于計(jì)算。 )n(w)n(E)n(wjpjp ????? ?)(nekp )(nykp )(nuPp 它們的關(guān)系可以由下式表達(dá)。 這里很難直接求出， E對(duì) wip(n)的導(dǎo)數(shù)。它的思想見下圖。下面是 反向傳播過程。 訓(xùn)練樣本集 X={X1,X2,? ,Xk,? XN}，其中任一個(gè)樣本 Xk=[xk1,xk2,? ,xkM,yk1,yk2,? , ykp],(k=1,2,? ,N). 實(shí)際輸出 Yk=[yk1,yk2,? ,ykp]T 期望輸出 dk=[dk1,dk2, ? ,dkP]T K為迭代次數(shù)。 各層的連接權(quán)值分別是 Wmi Wij Wjp 神經(jīng)元的輸入和輸出： 上標(biāo)表示層（ M、 I、 J、 P）下標(biāo)表示神經(jīng)元序號(hào)， u表示輸入， v表示輸出。 2）誤差信號(hào)反向傳播： 偏差信號(hào)（網(wǎng)絡(luò)實(shí)際輸出與 期望輸出的差）由輸出端逐 層向前傳播，即誤差信號(hào)反 向傳播，這個(gè)過程網(wǎng)絡(luò)權(quán)值 由誤差反饋進(jìn)行調(diào)節(jié)。 4 新激活函數(shù) 5 組合激活函數(shù) 2)(21)( b axebxg??? ?)t a n h ()())( s i n h (t a n2)(211xxfxxf?? ?? BP學(xué)習(xí)算法 BP學(xué)習(xí)算法的描述 BP學(xué)習(xí)算法分為正向傳播和反向傳播 2部分。 隱層神經(jīng)元的激勵(lì)函數(shù) 1 Sigmoid函數(shù) 請求解 s形函數(shù)的導(dǎo)數(shù) 2 雙正切函數(shù) 它和 Sigmoid函數(shù)形狀相似，不過它具有正負(fù)雙極輸出，它可 以被認(rèn)為是被光滑的階躍函數(shù)。 BP算法是針對(duì)于多層感知器的算法，因此 多層感知器又稱為 BP網(wǎng)絡(luò)。 多層感知器的特點(diǎn)： 引入了隱含層（簡稱隱層），外界無法接觸到它。其結(jié)構(gòu)如下圖。 本章介紹 2種多層前向網(wǎng)絡(luò)：多層感知器和徑向基神經(jīng)網(wǎng)絡(luò)，詳細(xì)介紹多層感知器的學(xué)習(xí)算法 —— 著名的誤差反向傳遞算法 (BackPropation Algorithm,BP算法 )及其改進(jìn)算法，并將比較這 2種算法。這種由輸入層、隱含層（一層或多層）和輸出層構(gòu)成的網(wǎng)絡(luò)成為 多層前向神經(jīng)元網(wǎng)絡(luò)（ Multilayer forward Neural Networks)。 LMS算法的學(xué)習(xí)速率 LMS算法的學(xué)習(xí)曲線 學(xué)習(xí)速率的退火算法 （一種變步長的學(xué)習(xí)算法） 這里 是初始步長， 隨著時(shí)間坐標(biāo)的變化而衰減，正如退火過程一樣。 LMS學(xué)習(xí)算法的推導(dǎo)： n時(shí)刻的誤差： 誤差的均方值： 由上 2式得到： )()()()( nWnXndne T??)(21)( 2 neWE ?)()()()()(nXWneWneneWWET?????????由上 2式得到： 為了使誤差均方值盡快減小，令權(quán)值 沿著誤差函數(shù)負(fù) 梯度方向 改變 LMS算法權(quán)值調(diào)整公式 學(xué)習(xí)步長 對(duì)于 LMS算法影響很大： ① 快速性； ② 全局最優(yōu)； ③ 收斂性 ；④ 數(shù)據(jù) 存 儲(chǔ) 量。 LMS學(xué)習(xí)算法 感知器和自適應(yīng)元件，都使用 LMS學(xué)習(xí)算法調(diào)整權(quán)值。 自適應(yīng)線性元件實(shí)現(xiàn)非線性可分有 2個(gè)辦法。 說明： 1 是一個(gè)給定的小正數(shù)； 2 期望輸出 )()]()([)()1( nXnyndnWnW ???? ???)()( nynd ????????2)(11)(1)(InXInXnd屬于屬于關(guān)于線性可分與線性不可分的問題 ① 線性可分的情況：通過學(xué)習(xí)可以獲得邊界條件 ② 線性不可分的情況：通過學(xué)習(xí)無法獲得邊界條件 例題 用單層感知器實(shí)現(xiàn) “ 與 ” 、 “ 或 ” 、 “ 異或 ” 的運(yùn)算。 怎么好那？大的權(quán)值易出現(xiàn)“早熟”。 它的分界線是： 可以在一個(gè)平面上畫出這個(gè)單層感知器 01????Njjjij bxw02211 ??? bxwxw單層感知器的工作包括 2部分： ！學(xué)習(xí)（以確定邊界線） !! 識(shí)別（判斷輸入量屬于 I1 I2) ? 單層感知器的學(xué)習(xí)就是確定邊界的過程，也就是調(diào)整權(quán)值 w1 w2 ?? 和閾值 b的過程。 這里（ 21）直線 (j=2)、平面 (j=3)、超平面 (j3)。 Aguilar, ., Arenas, . and Salinas, R. Friction noise technique for the measurement of surface roughness of papers[J]. Applied Acoustics, 2022, 70 (9):12351240. 紙張定量儀測量紙張定量過程 紙張定量測量值 基于紙張定量噪聲 STPS的紙張 平滑度在線軟測量系統(tǒng)框圖 第二章 單層前向網(wǎng)絡(luò)及 LMS學(xué)習(xí)算法 主要內(nèi)容 單層感知器 自適應(yīng)線性元件 LMS學(xué)習(xí)算法 單層感知器 單層感知器的運(yùn)算 線性累加器： 外部偏差： 二值閾值元件： ???Njjiji xwu1iii buv ??????????????????????NiijijNiijijNiijiji0bxw0bxwbxwSgny111 ,11)(?若若單層感知器的作用 對(duì)外部輸入量 x1,x2,? ,xm進(jìn)行識(shí)別分類 ,分成 2類 l1和 l2。紙張的平滑度與 印刷 油墨 在紙面上的均一轉(zhuǎn)移密切相關(guān)。 字符語音識(shí)別：相關(guān)性計(jì)算。 重新調(diào)整系數(shù)，使得｛ 系數(shù)｝數(shù)據(jù)量最小。 筆跡識(shí)別：是神經(jīng)網(wǎng)絡(luò)識(shí)別的成功事例。 為什么個(gè)人能夠在瞬間識(shí)別出人的身份， 而現(xiàn)在的機(jī)器卻要幾十分鐘。 與新的圖像數(shù)據(jù)進(jìn)行相關(guān)分析。 ③ 故障診斷 破壞性試驗(yàn) 獲得數(shù)據(jù) —— 訓(xùn)練樣本 ④ 非線性軟測量 軟測量就是間接測量，利用溫