人工神經(jīng)網(wǎng)絡bppt課件-在線瀏覽
2025-02-22 05:03本頁面
【正文】 ? ? ?? ?1 0f = s gn =1 0ha r dl i ms1 0ha r dl i m =0 0????????對 稱 硬 極 限 函 數(shù) 函 數(shù) m at l ab符 號 函 數(shù)2. 感知器神經(jīng)網(wǎng)絡、感知器神經(jīng)元 (續(xù) ) (1)多層感知器 (MLP) 的一致逼近性 ? 單個閾值神經(jīng)元可以實現(xiàn) 任意多輸入 的 與 、或 及 與非 、 或非 邏輯門。 ? 三層或三層以上的前饋網(wǎng)絡通常稱為 多層感知器 ? 多層感知器的適用范圍大大超過單層網(wǎng)絡。即 ： 只 要 給 定 足 夠 數(shù) 量 的 隱 含 層 單 元 、 適當 的 非 線 性 函 數(shù) 、 以 及 權 值 ， 任 何 由 輸 入 向 輸出 的 連 續(xù) 映 射 函 數(shù) 均 可 用 一 個實 現(xiàn) 。 主要內(nèi)容 一 . 人工神經(jīng)網(wǎng)絡基本知識 、 神經(jīng)元與感知器 二 . 前饋神經(jīng)網(wǎng)絡 、 多層感知器 、 及非線性分類 三 . BP神經(jīng)網(wǎng)絡 四 . 數(shù)據(jù)處理及 神經(jīng)網(wǎng)絡結構的選擇 五 應用 基于 閾值神經(jīng)元 的多層感知器不足 ? 隱含層不直接與外界連接，誤差無法直接估計 ? 中間層神經(jīng)元的激活函數(shù)為閾值函數(shù) (或階躍函數(shù) ) 無法采用 梯度下降法 訓練神經(jīng)元權值 基于 BP算法的多層感知器 (BP網(wǎng)絡 ) ? 各 計算單元 (神經(jīng)元節(jié)點 )傳遞函數(shù)： Sigmoid函數(shù) ? 誤差 逐層反向傳播； 信號 逐層 正向傳遞 BP神經(jīng)網(wǎng)絡訓練的兩個階段 (1)信號正向傳遞過程 輸入信息 從 輸入層 經(jīng) 隱層 逐層、正向傳遞，直至得到各計算單元的輸出 (2)誤差反向傳播過程 輸出層誤差 從 輸出層 開始，逐層、反向傳播，可間接計算隱層各單元的誤差，并用此誤差修正前層的權值 . ? ?? ?? ?? ? ? ?? ?1011,201213 0 1 , ..., 14?????????????B,...,P1=維 輸 入 向 量 層 神 經(jīng) 網(wǎng) 絡層 號 輸 入 層層 號 隱 含 層層 號 輸 出 層各 層 節(jié) 點 輸 入 節(jié) 點 ， 計 算 節(jié) 點 數(shù) 目 ， 輸 入 層 輸 出 層相 鄰 層 連 接 權 值 來 自 與第 層 的 當 前 的 連 接節(jié) 點 第 層 節(jié) 點 權 值TnlLlijnx x xLllLlLn l Ln n nl i l jm算 法 訓 練 過 程 描 述約 定 ：標 準 化? ?1115111 , ..., 1 , ..., 1 , ...,i , j , kjOijjk??????????BP： 第 層 為 當 前 處 理 層 ； 其 前 一 層 、 當 前 層 、 后 一 層 的 計 算 單 元 序 號 為 ； 位 于 當 前 層 第 個 計 算 單 元 的 輸 出 為 ， 前 層 第 個 單 元 到 本 層 第 個 單 元 的 連 接 權 值 為 本 層 第 個 單 元 到 后 層 第 個 單 元 的 連 接 權 值 為注 ： 采 用 修 正 權 值 ， 輸 出 函 數(shù) 應 連 續(xù) 可 微 ， 選ljllij lljk lll l ljninknsi gm算 法 訓 練 過 程 描 述假 定梯 度 法 函 數(shù) 。. j jn e t OO n tle?????????????????=+從 樣 本 集 內(nèi) 取 出 一 個 樣 本 , 將 各 分 量 從 輸 入 層輸 入 至 網(wǎng) 絡 , 由 前 向 后 ， 逐 層 得 到 各 的 ：對 于 的 第 個 計 算 單 元 , 該 單 元 的 ljlnlnl l lj ij iilljjetl l lj j jx D xyef n e t f n e t f n e tnf1 輸 入 信 號 的 正 向 傳 遞 過計 算 單 元 實 際 輸 出當 前 層凈 輸 入實 際 輸 出程若 當 前 層 為 ? ?? ?? ?? ?? ?111, ...,jy yydyy????? ????????? ?， 則 計 算 單 元預 測 輸 出 且給 定 輸 出 Tljj mTjmlLO yD實 際 輸 出輸輸理 想 出出 層? ?? ?? ? ? ?? ?? ? ? ?? ?? ?122122111111, ...,112211221xx?????????? ? ? ?? ? ??? ? ?????=最 小 誤 差 平 方 和 。1???????? ? ? ? ???? ? ? ?????? ?局 部 梯 度 Lj Lj Lj j jLjjllj j j jjj j j jyEy d f n e ty n e ty d f n e t f nEn e ty y de yt? ? ? ?? ? ? ?212111111111111211111.1???????????????????????????????????????????????? ? ????= 修 正 應 使 誤 差 最 快 減 續(xù)小 LLijLj LiLijLj j j j jLjLjLjLjLijnLiiLijLijLLij ijLijLiLjjEy y d yn e tOEn e tEn e tnEAtOEeII 輸 出 層 的 權 值 調(diào) 整權 值 對 誤 差 的 影 響輸 出 層 的 權 值 調(diào) 整 修 正 量? ? ? ?? ? ? ? ? ?221 1 1 1.11?? ? ? ???? ? ? ?? ? ???? ? ? ? LLiiL L L Lij ij ij ijj j j jy d yttyOOBt修 正 方 式 ? ? ? ?? ?? ?? ? ? ?11 1 111111 , ...,1 , ...,11??????????????????? ? ? ?? ? ?? ? ? ?? ? ? ??? ????????節(jié) 點后 層 中 的 節(jié) 點 的 輸 出 輸 出 層 誤 差 關 于 隱 含 層 的 節(jié) 點 凈 輸 入 的 局對 后 層 全 部 節(jié) 點部 梯 度 ：均 有 影 響 llllijnnl l lk jk jkjjlkllllljljj jkinljljlIIInfnkO f f fEn e tnenelkOljEEt t
教學課件相關推薦
鄂ICP備17016276號-1