《人工神經(jīng)網(wǎng)絡(luò)b》ppt課件-文庫(kù)吧
2024-12-21 05:03 本頁面
【正文】 網(wǎng) 絡(luò) 結(jié) 構(gòu) 或 拓 撲 ( 連 接 形 式 )神 經(jīng) 元 的 計(jì) 算 特 性 傳 遞 函 數(shù)學(xué) 習(xí) 規(guī) 則上 述 要 素 不 同 組 合 ， 形 成 各 種 神 經(jīng) 網(wǎng) 絡(luò) 模 型3 . 人 工 神 經(jīng) 網(wǎng) 絡(luò) 三 個(gè) 要 素? ? ? ?? ? ? ?? ? ? ?23Hopf i e l dSOM?????????????????.1 網(wǎng) 絡(luò) 神 經(jīng) 網(wǎng) 絡(luò)f e e dfrow ar d n e t w or kf e e dba c k n e t w or kc om pe t i t i v e l e ar n i n g n e t w or k4 神 經(jīng) 網(wǎng) 絡(luò) 三 種 基 本前 饋 型模神 經(jīng) 網(wǎng) 絡(luò) 反 饋 網(wǎng) 絡(luò)競(jìng) 爭(zhēng) 學(xué) 習(xí)重 點(diǎn) 介 紹網(wǎng) 絡(luò)型多 層 感 知 器 B P 網(wǎng) 絡(luò) RBF 網(wǎng) 絡(luò)??? 自 學(xué) 習(xí) 自 適 應(yīng) 并 行 處 理 分 布 表 達(dá) 與 計(jì) 算回 歸 狀 態(tài) 預(yù) 測(cè) 可 應(yīng) 用 到 眾 多 領(lǐng) 域 , 如 ： 優(yōu) 化 計(jì) 算 ； 信 號(hào) 處 理 ； 智 能 控 制 ； 模 式 識(shí) 別 ； 機(jī) 器 視 覺 ； 等 等 。神 經(jīng) 網(wǎng) 絡(luò) 特 點(diǎn)神 經(jīng) 網(wǎng) 絡(luò) 應(yīng) 用神 經(jīng) 網(wǎng) 絡(luò) 本 質(zhì) 上 ， 可 以 理 解 為 函 數(shù) 逼 近主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識(shí) 二 . 前饋神經(jīng)網(wǎng)絡(luò) 、 多層感知器 、 及非線性分類 三 . BP神經(jīng)網(wǎng)絡(luò) 四 . 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)的選擇 五 . 應(yīng)用 ?各神經(jīng)元接受來自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)， 無反饋 ，可用一有向無環(huán)圖表示。 ?網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類： 輸入節(jié)點(diǎn) ； 計(jì)算節(jié)點(diǎn) (神經(jīng)元節(jié)點(diǎn) ) ?節(jié)點(diǎn)按層 (layer)組織 ： 第 i層的輸入只與第 i1層的輸出相連。 輸入信號(hào)由輸入層輸入 ,由第一層節(jié)點(diǎn)輸出，傳向下層， …… ?前饋：信息由低層向高層單向流動(dòng) 。 ? 可見層 輸入層 (input layer) 輸入節(jié)點(diǎn)所在層，無計(jì)算能力 輸出層 (output layer) 節(jié)點(diǎn)為神經(jīng)元 ? 隱含層 ( hidden layer) 中間層，節(jié)點(diǎn)為神經(jīng)元 (forward)神經(jīng)網(wǎng)絡(luò) 具有 三層計(jì)算單元的 前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 2. 感知器神經(jīng)網(wǎng)絡(luò) (感知器 )、感知器神經(jīng)元 感知器神經(jīng)元 單層感知器網(wǎng)絡(luò) 感知器神經(jīng)元的傳遞函數(shù) 單層感知網(wǎng)絡(luò)可以實(shí)現(xiàn)線性分類 ? ?? ? ? ?? ?1 0f = s gn =1 0ha r dl i ms1 0ha r dl i m =0 0????????對(duì) 稱 硬 極 限 函 數(shù) 函 數(shù) m at l ab符 號(hào) 函 數(shù)2. 感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元 (續(xù) ) (1)多層感知器 (MLP) 的一致逼近性 ? 單個(gè)閾值神經(jīng)元可以實(shí)現(xiàn) 任意多輸入 的 與 、或 及 與非 、 或非 邏輯門。 ? 任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)算單元）實(shí)現(xiàn) 。 ? 三層或三層以上的前饋網(wǎng)絡(luò)通常稱為 多層感知器 ? 多層感知器的適用范圍大大超過單層網(wǎng)絡(luò)。 3. 多層感知器 （ 含兩層以上的計(jì)算單元 ） 多層感知器示意 ? ?? ? ? ?0111 , ...,ij i 0ji=kk1xgy g ne t v v?? ????????????? ? ? ???????????????? ? c第 個(gè) 隱 含 層 的 第 個(gè) 節(jié) 點(diǎn)的 凈 輸 入輸 出 層 的 第 個(gè) 節(jié) 點(diǎn) 的 凈 輸 入類 ， c 個(gè) 判 別 函 數(shù) 可 表 達(dá) 更 為 復(fù) 雜 的 非 線 性 函 數(shù)不 一 定 為 符 號(hào) 函 數(shù) nk k jk kjjmkxxkc輸 出 單 元 的 輸 出隱 含 層 單一 般 的 前 饋 運(yùn) 算 元 激 活 函 數(shù) 常 要 求 激 活 函 數(shù) 是 連 續(xù) 可 微 的輸 出 層 與 隱 含 層 的 激 活 函 數(shù) 可 以 不 同 ， 并 且 輸 出 層各 單 元 的 激 活 函 數(shù) 可 有 所 區(qū) 別? ?2K ol m og or ov 按 照 定 理 , 任 何 一 個(gè) 判 決 均 可 用前 式 所 示 的 三 層 神 經(jīng) 網(wǎng) 絡(luò) 實(shí) 現(xiàn) 。即 ： 只 要 給 定 足 夠 數(shù) 量 的 隱 含 層 單 元 、 適當(dāng) 的 非 線 性 函 數(shù) 、 以 及 權(quán) 值 ， 任 何 由 輸 入 向 輸出 的 連 續(xù) 映 射 函 數(shù) 均 可 用 一 個(gè)實(shí) 現(xiàn) 。三 層 前 饋 神 經(jīng)多 層網(wǎng)網(wǎng) 絡(luò) 能 力絡(luò)的 表 達(dá)當(dāng)神經(jīng)元的輸出函數(shù)為 sigmoid等函數(shù)時(shí)，三層前饋網(wǎng)絡(luò) (含兩層計(jì)算單元 )可以逼近 任意的多元非線性函數(shù) 。 主要內(nèi)容 一 . 人工神經(jīng)網(wǎng)絡(luò)基本知識(shí) 、 神經(jīng)元與感知器 二 . 前饋神經(jīng)網(wǎng)絡(luò) 、 多層感知器 、 及非線性分類 三 . BP神經(jīng)網(wǎng)絡(luò) 四 . 數(shù)據(jù)處理及 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用 基于 閾值神經(jīng)元 的多層感知器不足 ? 隱含層不直接與外界連接，誤差無法直接估計(jì) ? 中間層神經(jīng)元的激活函數(shù)為閾值函數(shù) (或階躍函數(shù) ) 無法采用 梯度下降法 訓(xùn)練神經(jīng)元權(quán)值 基于 BP算法的多層感知器 (BP網(wǎng)絡(luò) ) ? 各 計(jì)算單元 (神經(jīng)元節(jié)點(diǎn) )傳遞函數(shù)： Sigmoid函數(shù) ? 誤差 逐層反向傳播； 信號(hào) 逐層 正向傳遞 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個(gè)階段 (1)信號(hào)正向傳遞過程 輸入信息 從 輸入層 經(jīng) 隱層 逐層、正向傳遞，直至得到各計(jì)算單元的輸出 (2)誤差反向傳播過程 輸出層誤差 從 輸出層 開始，逐層、反向傳播，可間接計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值 . ? ?? ?? ?? ? ? ?? ?1011,201213 0 1 , ..., 14?????????????B,...,P1=維 輸 入 向 量 層 神 經(jīng) 網(wǎng) 絡(luò)層 號(hào) 輸 入 層層 號(hào) 隱 含 層層 號(hào) 輸 出 層各 層 節(jié) 點(diǎn) 輸 入 節(jié) 點(diǎn) ， 計(jì) 算 節(jié) 點(diǎn) 數(shù) 目 ， 輸 入 層 輸 出 層相 鄰 層 連 接 權(quán) 值 來 自 與第 層 的 當(dāng) 前 的 連 接節(jié) 點(diǎn) 第 層 節(jié) 點(diǎn) 權(quán) 值TnlLlijnx x xLllLlLn l Ln n nl i l jm算 法 訓(xùn) 練 過 程 描 述約 定 ：標(biāo) 準(zhǔn) 化? ?1115111 , ..., 1 , ..., 1 , ...,i , j , kjOijjk??????????BP： 第 層 為 當(dāng) 前 處 理 層 ； 其 前 一 層 、 當(dāng) 前 層 、 后 一 層 的 計(jì) 算 單 元 序 號(hào) 為 ； 位 于 當(dāng) 前 層 第 個(gè) 計(jì) 算 單 元 的 輸 出 為 ， 前 層 第 個(gè) 單 元 到 本 層 第 個(gè) 單 元 的 連 接 權(quán) 值 為 本 層 第 個(gè) 單 元 到 后 層 第 個(gè) 單 元 的 連 接 權(quán) 值 為注 ： 采 用 修 正 權(quán) 值 ， 輸 出 函 數(shù) 應(yīng) 連 續(xù) 可 微 ， 選ljllij lljk lll l lj
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1