神經(jīng)網(wǎng)絡(luò)分類器ppt課件(編輯修改稿)
2025-02-01 15:32 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 ? 優(yōu)化計(jì)算 ? 信號(hào)處理 ? 智能控制 ? 模式識(shí)別 ? 機(jī)器視覺(jué)等 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 常用輸出函數(shù)： 線性輸出函數(shù)： a=f (x)=x Sigmoid 函數(shù)： xexfa ???? 11)(Hebb學(xué)習(xí)規(guī)則： 如果神經(jīng)元 ui接收來(lái)自另一神經(jīng)元 uj的輸出，則當(dāng)這兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，從 uj到 ui的權(quán)值 wij就得到加強(qiáng)，可寫(xiě)成： 神經(jīng)元的學(xué)習(xí)算法 iji xyw ???? ?式中 Δwij為到 uj的第 i個(gè)權(quán)值的修正量， η為控制修正速度的系數(shù)。“修正”為“增強(qiáng)”或“減弱”的概念，不局限于代數(shù)的“加”或“減”。 ? 前饋神經(jīng)網(wǎng)絡(luò)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，無(wú)反饋，可用一有向無(wú)環(huán)圖表示。 ? 前饋網(wǎng)絡(luò)通常分為不同的層，第 i層的輸入只與第 i1層的輸出聯(lián)接。 ? 可見(jiàn)層：輸入層和輸出層 ? 隱層：中間層 前饋神經(jīng)網(wǎng)絡(luò)及其主要方法 例：感知器 ? 雙層神經(jīng)網(wǎng)絡(luò)：一層為輸入層，另一層有計(jì)算單元； ? 修正權(quán)值 w： )())()(()()1( kxkykykwkwiiiijji ???????式中 k為迭代次數(shù)。 i=1,2,…,n j=1,2,…,m ? 反復(fù)依次輸入訓(xùn)練集中的特征向量 x，計(jì)算實(shí)際輸出值，并修正權(quán)向量 ? 與線性判別函數(shù)等價(jià)，只解決線性可分問(wèn)題，收斂速度快 三層前饋神經(jīng)網(wǎng)絡(luò) 用三層前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)邏輯門 例：與非門 (NAND) x1, x2∈ {1,1} ?????????0101)s g n()(xwxwxwxwfTTTT y∈ {1,1} 用前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“與非門”，可組成任何邏輯函數(shù) 三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性分類 例：異或 (XOR) 任何一個(gè)邏輯電路都可以只用 XOR門來(lái)實(shí)現(xiàn)， XOR是通用門 實(shí)線： + 虛線： 數(shù)字：權(quán)值 單個(gè)閾值神經(jīng)元可實(shí)現(xiàn)任意多輸入的與、或、與非、或非門 任何邏輯函數(shù)可用一個(gè)三層前饋網(wǎng)絡(luò)實(shí)現(xiàn) 有 4個(gè)模式，要分為 2類： ? 適當(dāng)選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡(luò)可以逼近任意的多元非線性函數(shù) ? 若有足夠多的隱單元，任何從輸入到輸出的連續(xù)函數(shù)都可以用一個(gè)這樣的三層網(wǎng)絡(luò)任意精度近似 ? 三層或三層以上的前饋網(wǎng)絡(luò)通常被叫做多層感知器 (MLP) ? MLP的適用范圍大大超過(guò)單層網(wǎng)絡(luò) 多層前饋網(wǎng)絡(luò) ?雙層網(wǎng)絡(luò) → 一個(gè)線性邊界 ?三層或三層以上 → 任意決策邊界 存在問(wèn)題： ?未給出隱單元數(shù)目 ?未給出權(quán)值 ?僅根據(jù)訓(xùn)練樣本，很難知道應(yīng)該有什么形式的界面函數(shù) ?實(shí)際設(shè)計(jì)過(guò)程中還有很多問(wèn)題 ?三層前饋網(wǎng)絡(luò)的使用范圍大大超過(guò)二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)方法較為復(fù)雜，主要困難是中間的隱層不直接與外界連接，無(wú)法直接計(jì)算其誤差。 反向傳播算法 ?反向傳播算法：從后向前反向逐層“傳播”輸出層的誤差，以間接算出隱層誤差。分兩個(gè)階段： ? 正向過(guò)程：從輸入層經(jīng)隱層逐層正向計(jì)算各單元的輸出 ? 反向過(guò)程：由輸出層誤差逐層反向計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值 ? 用已知類別的特征向量為訓(xùn)練集，當(dāng)輸入屬于第 j類的特征向量時(shí)，應(yīng)使輸出 yj=1，其他輸出為 1；設(shè)期望的輸出為： Y=[y1,y2,…, yn]T，實(shí)際輸出為： TnyyyY ],.. .,[ 21 ???? ?某一層第 j個(gè)計(jì)算單元： ? i：前一層的第 i個(gè)計(jì)算單元 ? k：后一層的第 k個(gè)計(jì)算單元 ? Oj：本層的第 j個(gè)計(jì)算單元的輸出 ? wij：前一層第 i個(gè)單元到本層第 j個(gè)單元的權(quán)值 正向過(guò)程： 輸入某樣本時(shí)，從前到后對(duì)每個(gè)神經(jīng)元計(jì)算： ??iijij Own e t2)(11 ? ????jjj yyNE對(duì)輸出層， 是實(shí)際輸出值， yj是期望輸出值，誤差為： 定義局部梯度： jj ne tE????計(jì)算權(quán)值對(duì)誤差的影響： ijijjjijOwne tne tEwE ?????? ???? ?jj Oy ??利用梯度下降原理
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1