【正文】 如 : 連 接 連 接 ， 其 大 小 決定 信 號(hào) 傳 遞 強(qiáng) 弱 ) 。第 2部分：人工神經(jīng)網(wǎng)絡(luò) 河北師范大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院 主要內(nèi)容 一 . 人工神經(jīng)網(wǎng)絡(luò)基本知識(shí) 生物神經(jīng)網(wǎng)絡(luò) 、 生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò) 、 人工神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)三要素 典型激活函數(shù) 神經(jīng)網(wǎng)絡(luò)幾種典型形式 二 . 前饋神經(jīng)網(wǎng)絡(luò) 、 多層感知器 、 及非線性分類 三 . BP神經(jīng)網(wǎng)絡(luò) 四 . 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 . 應(yīng)用 人工神經(jīng)網(wǎng)絡(luò) 是 生物神經(jīng)網(wǎng)絡(luò) 的某種模型 (數(shù)學(xué)模型 ) 是對生物神經(jīng)網(wǎng)絡(luò)的模仿 基本處理單元為 人工神經(jīng)元 1. 生物神經(jīng)系統(tǒng)與生物神經(jīng)元 大量 生物神經(jīng)元 的廣泛、復(fù)雜連接，形成 生物神經(jīng)網(wǎng)絡(luò) (Biological Neural Network, BNN)。 實(shí)現(xiàn)各種智能活動(dòng) 生物神經(jīng)元 (neuron)是基本的信息處理單元 (1)生物神經(jīng)系統(tǒng) 生物神經(jīng)元 (neuron)是基本的信息處理單元 ,其組成： ? 樹突 (dendrites), 接收來自外接的信息 ? 細(xì)胞體 (cell body), 神經(jīng)細(xì)胞主體，信息加工 ? 軸突 (axon), 細(xì)胞的輸出裝置，將信號(hào)向外傳遞， 與多個(gè)神經(jīng)元連接 ?突觸 （ synapsse), 神經(jīng)元經(jīng)突觸向其它神經(jīng)元（胞體或樹突）傳遞信號(hào) (2)生物神經(jīng)元的基本特征 ? 神經(jīng)元之間彼此 連接 ? 神經(jīng)元之間的 連接強(qiáng)度 決定 信號(hào)傳遞 的強(qiáng)弱 神經(jīng)元之間的 連接強(qiáng)度 可以 隨訓(xùn)練改變 學(xué)習(xí)、遺忘、疲勞 神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間 連接的強(qiáng)弱 ，按外部的激勵(lì)信號(hào)做 自適應(yīng)變化 ? 興奮與抑制 信號(hào)可以起 興奮 作用，也可以起 抑制 作用 一個(gè)神經(jīng)元接受信號(hào)的 累積效果（綜合大小，代數(shù)和） 決定該神經(jīng)元的 狀態(tài) (興奮、抑制 ) 每個(gè)神經(jīng)元可以有一個(gè) “ 閾值 ” 是 對 的 模 擬 。 , 神 經(jīng) 元 的 輸 入輸 出 特 性 )。 ( 權(quán) 值結(jié) 點(diǎn) 神 經(jīng) 網(wǎng) 絡(luò)計(jì) 算 特 性 ( 激 活 特 性網(wǎng) 絡(luò) 結(jié)的 計(jì) 算 通 過 網(wǎng) 絡(luò) 結(jié) 構(gòu) 實(shí) 現(xiàn) ； 生 物 神 經(jīng) 構(gòu)系 統(tǒng) 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 可 以 體 現(xiàn) 各 種 不 同 的 功 能 ； 網(wǎng) 絡(luò) 結(jié) 構(gòu) 的 是 通 過 逐 漸參 數(shù) 學(xué) 習(xí) 修 正 的 。TTnxxnn W R輸 入 信 號(hào)權(quán) 向 量? ?1()iine t xy ne t????????????????? 單 調(diào) 增 函 數(shù) ， 通 常 為 非 線 性 函 數(shù) 網(wǎng) 絡(luò) 輸 入 神 經(jīng) 元 的 輸 入 興 奮 總 量 是 多 個(gè) 輸 入 的 代 數(shù) 和 其 中輸 出 標(biāo) 量 執(zhí) 行 該 神 經(jīng) 元 所 獲 得 的 網(wǎng) 絡(luò) 輸 入 的 變 換niWxf 轉(zhuǎn) 移 函 數(shù) , 激 勵(lì) 激 活 函 數(shù) 傳 輸 函 數(shù) ， 輸 出 函 數(shù) ， 限 幅 函 數(shù) 將 可 能 的 無 線 域 變 換 到 指 定 的 有 限 范 圍 輸 出 。( R am p F u n c t i on )bkbbbbA. 線 性 函 數(shù)B. 非 線 性 斜 數(shù) 函 面(2)幾種常見形式的傳遞函數(shù) (激活函數(shù) ) (2) 輸出函數(shù) f ? ? ? ?? ?,1 ne t 0f ne t = sgn ne t = 1 ne t 0hardl i ms ne tf ne t = ne t ????? ? ???????????????型 函 數(shù) ， 不 可 微 ； 對 稱 硬 極 限 函 數(shù) ； 雙 極 函 數(shù) 函 數(shù) 其 中 非 負(fù) 實(shí) 數(shù) si gnm at l abC. 符 號(hào) 函 數(shù)D. 閾 值 函 數(shù)(2) 輸出函數(shù) f ? ?? ? ? ?? ?? ?210112( ) 11.11ne t ne tne t ne t ne tne tl ogs i gne t ne t???????? ? ? ???? 一 些 重 要 的 學(xué) 習(xí) 算 法 要 求 輸 出 函 數(shù) 可 微 ， 值 域 ， 對 數(shù) S 型 函 數(shù)雙 曲 函 數(shù) ： 值 域 ， 函正 切 S數(shù)型 函 數(shù)n e tfem at l abeef t heE si gm oi d Seem at l ab函 數(shù) 型 函 數(shù) 連 續(xù) 可 微t ans i g?????????：非 線 性 ， 單 調(diào) ； 無 限 次 可 微較 小 時(shí) ( 權(quán) 值 較 小 ) ， 可 近 似 線 性 函 數(shù) 高 增 益 區(qū) 處 理 小 信 號(hào)較 大 時(shí) ( 權(quán) 值 較 大 ) ， 可 近 似 閾 值 函 數(shù) . 低 增 益 區(qū) 處 理 大 信 號(hào)n e tn e t()?????網(wǎng) 絡(luò) 結(jié) 構(gòu) 或 拓 撲 ( 連 接 形 式 )神 經(jīng) 元 的 計(jì) 算 特 性 傳 遞 函 數(shù)學(xué) 習(xí) 規(guī) 則上 述 要 素 不 同 組 合 ， 形 成 各 種 神 經(jīng) 網(wǎng) 絡(luò) 模 型3 . 人 工 神 經(jīng) 網(wǎng) 絡(luò) 三 個(gè) 要 素? ? ? ?? ? ? ?? ? ? ?23Hopf i e l dSOM?????????????????.1 網(wǎng) 絡(luò) 神 經(jīng) 網(wǎng) 絡(luò)f e e dfrow ar d n e t w or kf e e dba c k n e t w or kc om pe t i t i v e l e ar n i n g n e t w or k4 神 經(jīng) 網(wǎng) 絡(luò) 三 種 基 本前 饋 型模神 經(jīng) 網(wǎng) 絡(luò) 反 饋 網(wǎng) 絡(luò)競 爭 學(xué) 習(xí)重 點(diǎn) 介 紹網(wǎng) 絡(luò)型多 層 感 知 器 B P 網(wǎng) 絡(luò) RBF 網(wǎng) 絡(luò)??? 自 學(xué) 習(xí) 自 適 應(yīng) 并 行 處 理 分 布 表 達(dá) 與 計(jì) 算回 歸 狀 態(tài) 預(yù) 測 可 應(yīng) 用 到 眾 多 領(lǐng) 域 , 如 ： 優(yōu) 化 計(jì) 算 ； 信 號(hào) 處 理 ； 智 能 控 制 ； 模 式 識(shí) 別 ； 機(jī) 器 視 覺 ； 等 等 。 ?網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類： 輸入節(jié)點(diǎn) ； 計(jì)算節(jié)點(diǎn) (神經(jīng)元節(jié)點(diǎn) ) ?節(jié)點(diǎn)按層 (layer)組織 ： 第 i層的輸入只與第 i1層的輸出相連。 ? 可見層 輸入層 (input layer) 輸入節(jié)點(diǎn)所在層，無計(jì)算能力 輸出層 (output layer) 節(jié)點(diǎn)為神經(jīng)元 ? 隱含層 ( hidden layer) 中間層，節(jié)點(diǎn)為神經(jīng)元 (forward)神經(jīng)網(wǎng)絡(luò) 具有 三層計(jì)算單元的 前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 2. 感知器神經(jīng)網(wǎng)絡(luò) (感知器 )、感知器神經(jīng)元 感知器神經(jīng)元 單層感知器網(wǎng)絡(luò) 感知器神經(jīng)元的傳遞函數(shù) 單層感知網(wǎng)絡(luò)可以實(shí)現(xiàn)線性分類 ? ??