人工神經(jīng)網(wǎng)絡(luò)講ppt課件-文庫吧資料
2025-01-11 05:06本頁面
【正文】 意多層的網(wǎng)絡(luò)。( ) ( 1 , 2 , , )ij i i i jW c d O f ne t X j n? ? ? ?梯度矢量分量： 由于最小誤差要求權(quán)變換是負(fù)梯度方向，所以取式 中 c—— 正常數(shù)。( ) ( 1 , 2 , , )Ti i i jijE d O f W X X j nW? ? ? ? ??iW c E? ? ? ?2( ) 39。 一般要求 c取較小的值，是在權(quán)空間，按負(fù)的方向轉(zhuǎn)動權(quán)矢量。( )2 Ti i iE d O f W X X? ? ? ?誤差梯度矢量： 這個學(xué)習(xí)規(guī)則可從 Oi與 di最小方差得出。( )TTi i ir d f W X f W X?39。 Delta學(xué)習(xí)規(guī)則 僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學(xué)習(xí)模型有效。由于期望值（ di）與響應(yīng)值（ Oi ）均為 +1或者 1，所以權(quán)調(diào)整量為： 2iW cX? ? ?1 sgn( ) 1Tiid W X? ? ?，1 sg n ( ) 1Tiid W X? ? ? ?，s gn ( )Tiid W X?這里“＋”號， “－”號， 當(dāng) 權(quán)值無變化。 sgn ( )[ sgn ( ) ][ sgn ( ) ] ( 1 , 2 , , )iiTiiTi i ijTi i i jr d OO W XW c d W X XW c d W X X j n??? ? ?? ? ? ?注意：這個規(guī)則僅能用于雙極二進(jìn)制神經(jīng)響應(yīng)。 Hebb學(xué)習(xí)規(guī)則 權(quán)分量用下式調(diào)整： 或 abW ab??()()TiTiir f W XW cf W X X??()Tij i jW c f W X X??( 1 , 2 , , )ij i jW c O X j n? ? ?當(dāng)兩個神經(jīng)元同時興奮時，突觸的傳遞效率加強，那么在人工神經(jīng)網(wǎng)絡(luò)中就表現(xiàn)為連接權(quán)的增加。在時刻 t連接權(quán)的變化量為： ( ) [ ( ) , ( ) , ( ) ] ( )i i i iW t c r W t X t d t X t??其中 c是一個正數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。 ( , , )iir r W X d??令為 Wij第 i個神經(jīng)元的第 j個輸入連接權(quán)，這個輸入可以是外來的輸入信號，也可以試來自其他神經(jīng)元的輸出。 kjykjy第二種：誤差平方和 式中： M—— 樣本模式對個數(shù)； Q—— 輸出單元個數(shù)。 ?有教師學(xué)習(xí) ?無教師學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程 ： 211()QMkj k jkjyyEMQ??????關(guān)于綜合誤差有各種不同的定義，但本質(zhì)上都是一致的。 學(xué)習(xí)是神經(jīng)系統(tǒng)的本能，人的神經(jīng)系統(tǒng)是最發(fā)達(dá)的，所以人的學(xué)習(xí)能力也最強。這種在同一層內(nèi)互聯(lián)的目的是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制的數(shù)目，已完成特定功能。這種網(wǎng)絡(luò)如果在某一時刻從外部加一個輸入信號，各個神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到收斂于某個穩(wěn)定值為止。所以 ，即 在t0時，輸入可以取消或被系統(tǒng)自動保持。 前饋網(wǎng)絡(luò)沒有反饋，可以連成多層網(wǎng)，前饋網(wǎng)絡(luò)通常是有教師提供信息，提供期望值，可以從誤差信號來修正權(quán)值，直到誤差小于允許范圍。 人工神經(jīng)網(wǎng)絡(luò)的分類 ： 第一種：前饋網(wǎng)絡(luò)（ Feedforward Network） 1212ij1[ , , , ][ , , , ]W i j i ji( 1 , 2 , , )[ ] ( ) [ ( ) ]TnTmni ij jjX X X XO O O One t W X i mO W X O t W X t?????? ? ? ??輸 入 矢 量 ：輸 出 矢 量 ：表 示 神 經(jīng) 元 與 之 間 的 連 接 權(quán) ， 為 目 的 神 經(jīng) 元 ， 為 源 神 經(jīng) 元第 個 神 經(jīng) 元 的 激 活 值 為 ：經(jīng) 非 線 性 映 射 可 得 到 神 經(jīng) 元 的 輸 出 ：下面介紹幾種常見的神經(jīng)網(wǎng)絡(luò)。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。 人工神經(jīng)網(wǎng)絡(luò)的提出 ： ?信息的分布表示 ?運算的全局并行和局部操作 ?處理的非線性 人工神經(jīng)網(wǎng)絡(luò)的三大特點 ： 人工神經(jīng)網(wǎng)絡(luò)的定義 ： 人工神經(jīng)網(wǎng)絡(luò)是一個 并行，分布處理結(jié)構(gòu) ，它由處理單元及稱為聯(lián)接的無向信號通道互連而成。 10()00n e tf n e tn e t???? ??10()10n e tf n e tn e t???? ???激活函數(shù)： ?閾值型： 3神經(jīng)元的數(shù)學(xué)模型 ? S型（ Sigmoid）激活函數(shù) S 2( ) 1 , ( ) ( 0 , 1 )1 e xp( )f ne t f ne tne t?????單 極 型 型 激 活 函 數(shù) ：S 2( ) , ( )
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1