神經(jīng)網(wǎng)絡(luò)綜述及簡(jiǎn)單應(yīng)用實(shí)例課件matlab程序清華大學(xué)-全文預(yù)覽
【正文】 ◆ sigmoid函數(shù)： 10()00vvv????? ??111( ) ( 1 ) 1 1201vv v vv?????? ? ? ? ???????1()1 e x p ( )v v? ?? ??( ) t a n h ( )vv???4. 激勵(lì)函數(shù)的形式 ◆ 前饋型網(wǎng)絡(luò) ： ◆ 反饋型網(wǎng)絡(luò) ： 1x2xnx1y2yny輸 入 層 隱 層 輸 出 層 1x 2x 1nx? nx1y 2y 1ny? ny四、 網(wǎng)絡(luò)結(jié)構(gòu)及工作方式 1. 網(wǎng)絡(luò)結(jié)構(gòu) ◆ 學(xué)習(xí)期 ： 各計(jì)算單元狀態(tài)不變，各連接線上權(quán)值通過學(xué)習(xí)來修改 ◆ 工作期 ： 連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài) 2. 工作方式 ◆ 有教師學(xué)習(xí) ： 外界存在一個(gè)教師，對(duì)給定的一組輸入，提供應(yīng)有的輸出（標(biāo)準(zhǔn)答案），學(xué)習(xí)系統(tǒng)可根據(jù)實(shí)際輸出與標(biāo)準(zhǔn)答案之間的差值來調(diào)整系統(tǒng)參數(shù) 學(xué) 習(xí) 系 統(tǒng) 教師 環(huán)境 ?輸入 應(yīng)有 響應(yīng) + 誤差信號(hào) 實(shí)際響應(yīng) — 五、 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 1. 學(xué)習(xí)方式 ◆ 無教師學(xué)習(xí)： 學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù) 環(huán)境 學(xué) 習(xí) 系 統(tǒng) 動(dòng)作 輸出 輸入 狀態(tài) 環(huán)境 學(xué)習(xí)系統(tǒng) 輸入 ◆ 強(qiáng)化學(xué)習(xí)： 環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲），系統(tǒng)通過強(qiáng)化受獎(jiǎng)動(dòng)作來改善自身性能 ● 考察神經(jīng)元 k 在 n 時(shí)刻的輸入和輸出 ● 輸入： ● 實(shí)際輸出： ● 應(yīng)有輸出： ● 由誤差信號(hào)構(gòu)造能量函數(shù)： 其中 E(.)為求期望算子 ● 求解最優(yōu)化問題： ● 得出系統(tǒng)參數(shù)： ()kxn()( ) ( ) ( )()kk k kkyne n d n y ndn? ????誤差信號(hào)：21( ) ( )2 kkJ E e n?????????21( ) ( )2 kkJ E e n? ?????????min?2. 學(xué)習(xí)規(guī)則 通常情況下用時(shí)刻 n 的瞬時(shí)值 代替 J，即求解最優(yōu)化問題 由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可得 其中 為學(xué)習(xí)步長(zhǎng) 21( ) ( )2nkkJ e n? ? ?21( ) ( )2nk kJ e n? ? ? ?min?)()( nxne jkkj ?? ?? 神經(jīng)學(xué)家 Hebb提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神經(jīng)元同步激活（或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，反之應(yīng)減弱，數(shù)學(xué)描述如下： 其中 分別為 兩端神經(jīng)元的狀態(tài) 最常用的一種情況是： ( ), ( )kjh n h n ij?))(),(( nhnhF jkkj ?? ?)()( nhnh jkkj ?? ??3. Hebb學(xué)習(xí)規(guī)則 對(duì)于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了多層網(wǎng)絡(luò)的發(fā)展， BP算法的出現(xiàn)解決了這一困難。一個(gè)神經(jīng)元的各樹突和細(xì)胞體往往通過突觸和大量的其他神經(jīng)元相連接。神經(jīng)元細(xì)胞體通過樹突接受脈沖信號(hào)，通過 軸突 傳到 突觸前膜 。 ? 低潮 (7080年代初 ) ? 第二次熱潮 1. 生物神經(jīng)元模型 二、 生物神經(jīng)元 生物神經(jīng)元模型就是一個(gè)簡(jiǎn)單的信號(hào)處理器。 2． 什么是人工神經(jīng)網(wǎng)絡(luò) 1943年 ,美國(guó)心理學(xué)家 在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即 MP模型。 大腦是由生物神經(jīng)元
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1