《神經(jīng)網(wǎng)絡分類器》ppt課件-預覽頁
【正文】 1???? niii xwfy ? f 為閾值函數(shù)： 感知器模型 )s g n(1???? niii xwy ?則： y=sgn (WTX) 即： y =f (WTX) 這種神經(jīng)元沒有內部狀態(tài)的轉變，而且函數(shù)為閾值型。 神經(jīng)元的基本工作機制： ?神經(jīng)元的兩種工作狀態(tài)：興奮和抑制。 二、人工神經(jīng)元 生物神經(jīng)元 典型的神經(jīng)元，即神經(jīng)細胞結構：胞體、樹突、軸突、突觸 胞體：神經(jīng)細胞的本體，完成普通細胞的生存功能。 ? 50年代末提出感知模型，把神經(jīng)網(wǎng)絡的實現(xiàn)付諸工程實踐。第五章 神經(jīng)網(wǎng)絡分類器 感知器算法 神經(jīng)網(wǎng)絡分類器 感知器算法 一、引言 模式識別與人工智能是研究如何利用計算機實現(xiàn)人腦的一些功能。 ? 50年代，研究類似于神經(jīng)網(wǎng)絡的分布系統(tǒng)。 ? 現(xiàn)在神經(jīng)網(wǎng)絡的應用已滲透到智能控制、信號處理、優(yōu)化計算、生物醫(yī)學工程等領域。 突觸：神經(jīng)元相聯(lián)系的部位，對樹突的突觸為興奮性的，使下一個神經(jīng)元興奮；對胞體的突觸為抑制性的，阻止下一個神經(jīng)元興奮。 信號的傳遞過程： ? 接受興奮電位； ? 信號的匯集和傳導； ? 信號的輸出。感知器訓練算法就是由這種神經(jīng)網(wǎng)絡演變來的。 通過上面的定義，感知器問題變成 wi/wj兩類問題。 ? 權向量 w為 (n+1)維向量。若是，結束；若不是，令 k=1，返至第二步 例 1：試用感知器算法求出下列兩類的判別函數(shù)。如果 k=N，則檢驗判別函數(shù) wi’x對 x1, x2… xN,是否都能正確分類。“修正”為“增強”或“減弱”的概念，不局限于代數(shù)的“加”或“減”。 i=1,2,…,n j=1,2,…,m ? 反復依次輸入訓練集中的特征向量 x，計算實際輸出值，并修正權向量 ? 與線性判別函數(shù)等價，只解決線性可分問題，收斂速度快 三層前饋神經(jīng)網(wǎng)絡 用三層前饋神經(jīng)網(wǎng)絡實現(xiàn)邏輯門 例：與非門 (NAND) x1, x2∈ {1,1} ?????????0101)s g n()(xwxwxwxwfTTTT y∈ {1,1} 用前饋神經(jīng)網(wǎng)絡實現(xiàn)“與非門”，可組成任何邏輯函數(shù) 三層神經(jīng)網(wǎng)絡實現(xiàn)非線性分類 例：異或 (XOR) 任何一個邏輯電路都可以只用 XOR門來實現(xiàn)， XOR是通用門 實線： + 虛線： 數(shù)字：權值 單個閾值神經(jīng)元可實現(xiàn)任意多輸入的與、或、與非、或非門 任何邏輯函數(shù)可用一個三層前饋網(wǎng)絡實現(xiàn) 有 4個模式，要分為 2類： ? 適當選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡可以逼近任意的多元非線性函數(shù) ? 若有足夠多的隱單元，任何從輸入到輸出的連續(xù)函數(shù)都可以用一個這樣的三層網(wǎng)絡任意精度近似 ? 三層或三層以上的前饋網(wǎng)絡通常被叫做多層感知器 (MLP) ? MLP的適用范圍大大超過單層網(wǎng)絡 多層前饋網(wǎng)絡 ?雙層網(wǎng)絡 → 一個線性邊界 ?三層或三層以上 → 任意決策邊界 存在問題： ?未給出隱單元數(shù)目 ?未給出權值 ?僅根據(jù)訓練樣本，很難知道應該有什么形式的界面函數(shù) ?實際設計過程中還有很多問題 ?三層前饋網(wǎng)絡的使用范圍大大超過二層前饋網(wǎng)絡，但學習方法較為復雜，主要困難是中間的隱層不直接與外界連接，無法直接計算其誤差。)(39。? 從后向前反向計算每個隱層單元 ? 計算并保存每個權值修正量 )1()( ??????? twOtw ijijij ???)()1()1( twtwtw jiijij ?????? 修正權值 可對各樣本修正權值，也可各樣本計算 σj后按總誤差修正權值 討論 ? 梯度下降法求非線性函數(shù)極值，可能局部極小，不能保證收斂到全局極小點 ? 三層或更多層網(wǎng)絡，初始權值不能全為零或都相同，否則各隱層單元無差異，迭代無效果。 徑向基函數(shù)網(wǎng)絡的作用 ? 對未知函數(shù) f(x)的逼近器。 結構 在二層前饋網(wǎng)絡的輸出層各單元之間相互用較大的負權值輸入對方的輸出，構成正反饋互聯(lián)。例：先選擇少量典型性好的樣本作為權向量初始值。 ? 自組織的過程實際上就是一種無指導的學習
教學課件相關推薦
鄂ICP備17016276號-1