【正文】
集合 ) 。神經(jīng)元主要由三部分構(gòu)成( 1)細(xì)胞體( 2)軸突( 3)樹突( 4)突觸 (如圖 ) 神經(jīng)元的結(jié)構(gòu)與功能特性 2. 人工神經(jīng)元的工作過程 對于某個處理單元(神經(jīng)元)來說,假設(shè)來自其他處理單元(神經(jīng)元) i的信息為 Xi,它們與本處理單元的互相作用強度即連接權(quán)值為 Wi, i=0,1,…,n 1,處理單元的內(nèi)部閾值為 θ。 J. McClelland David Rumelhart 1 BP神經(jīng)網(wǎng)絡(luò)模型 ?(1) 三層 BP網(wǎng)絡(luò)結(jié)構(gòu) 1 BP神經(jīng)網(wǎng)絡(luò)模型 ?( 2)激活函數(shù) ?必須處處可導(dǎo) 一般都使用 S型函數(shù) ?( 3)使用 S型激活函數(shù)時 BP網(wǎng)絡(luò)輸入與輸出關(guān)系 ?輸入 ?輸出 1 1 2 2 ... nnn e t x w x w x w? ? ? ?1f ( )1e n e ty n e t ??? ?1 BP神經(jīng)網(wǎng)絡(luò)模型 ?( 4)輸出的導(dǎo)數(shù) 211f 39。 ?( 2)學(xué)習(xí)的本質(zhì): ?對各連接權(quán)值的動態(tài)調(diào)整 ?( 3)學(xué)習(xí)規(guī)則: ?權(quán)值調(diào)整規(guī)則,即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。 ?隱含層輸入向量; ?隱含層輸出向量 。 ?輸出層輸出向量 。 ? ?12, , , nx x x?x? ?12, , , ph i h i h i?hi? ?12, , , pho ho ho?ho? ?12, , , qy i y i y i?yi? ?12, , , qyo yo yo?yo? ?12, , , qd d d?od2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 ?輸入層與中間層的連接權(quán)值 : ?隱含層與輸出層的連接權(quán)值 : ?隱含層各神經(jīng)元的閾值 : ?輸出層各神經(jīng)元的閾值 : ?樣本數(shù)據(jù)個數(shù) : ?激活函數(shù) : ?誤差函數(shù): ihwf()?howhb1 , 2 ,km?ob211 ( ( ) ( ) )2qoooe d k y o k????2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 ?(10)標(biāo)準(zhǔn)學(xué)習(xí)算法的主要步驟 ?第一步,網(wǎng)絡(luò)初始化 ?給各連接權(quán)值分別賦一個區(qū)間( 1, 1)內(nèi)的隨機數(shù),設(shè)定誤差函數(shù) e,給定計算精度值 和最大學(xué)習(xí)次數(shù) M。 oho o hoe e y iw y i w? ? ??? ? ?( ( ) )()()ph o h oo hhh o h ow h o k by i kh o kww????????211( ( ( ) ( )) )2( ( ) ( )) ( )( ( ) ( )) f ( ( )) ( )qoooo o oooo o o od k yo ked k yo k yo kyi yid k yo k yi k k??????? ? ? ????? ? ? ??()o k?2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 ( ) ( )o ohho o hoe e y i k ho kw y i w?? ? ?? ? ?? ? ?1()()( ( ) )()()hi h h i hni h i hh iii h i he e h i kw h i k ww x k bh i kxkww?? ? ??? ? ??????????第五步,利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 1( ) ( ) ( )( ) ( )h o o hhoNNh o h o o hew k k h o kww w k h o k? ? ?????