《神經(jīng)網(wǎng)絡(luò)分類器》ppt課件-預(yù)覽頁
【正文】 1???? niii xwfy ? f 為閾值函數(shù)： 感知器模型 )s g n(1???? niii xwy ?則： y=sgn (WTX) 即： y =f (WTX) 這種神經(jīng)元沒有內(nèi)部狀態(tài)的轉(zhuǎn)變，而且函數(shù)為閾值型。 神經(jīng)元的基本工作機(jī)制： ?神經(jīng)元的兩種工作狀態(tài)：興奮和抑制。 二、人工神經(jīng)元 生物神經(jīng)元 典型的神經(jīng)元，即神經(jīng)細(xì)胞結(jié)構(gòu)：胞體、樹突、軸突、突觸 胞體：神經(jīng)細(xì)胞的本體，完成普通細(xì)胞的生存功能。 ? 50年代末提出感知模型，把神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)付諸工程實(shí)踐。第五章 神經(jīng)網(wǎng)絡(luò)分類器 感知器算法 神經(jīng)網(wǎng)絡(luò)分類器 感知器算法 一、引言 模式識別與人工智能是研究如何利用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些功能。 ? 50年代，研究類似于神經(jīng)網(wǎng)絡(luò)的分布系統(tǒng)。 ? 現(xiàn)在神經(jīng)網(wǎng)絡(luò)的應(yīng)用已滲透到智能控制、信號處理、優(yōu)化計(jì)算、生物醫(yī)學(xué)工程等領(lǐng)域。 突觸：神經(jīng)元相聯(lián)系的部位，對樹突的突觸為興奮性的，使下一個神經(jīng)元興奮；對胞體的突觸為抑制性的，阻止下一個神經(jīng)元興奮。 信號的傳遞過程： ? 接受興奮電位； ? 信號的匯集和傳導(dǎo)； ? 信號的輸出。感知器訓(xùn)練算法就是由這種神經(jīng)網(wǎng)絡(luò)演變來的。 通過上面的定義，感知器問題變成 wi/wj兩類問題。 ? 權(quán)向量 w為 (n+1)維向量。若是，結(jié)束；若不是，令 k=1，返至第二步 例 1：試用感知器算法求出下列兩類的判別函數(shù)。如果 k=N，則檢驗(yàn)判別函數(shù) wi’x對 x1, x2… xN,是否都能正確分類。“修正”為“增強(qiáng)”或“減弱”的概念，不局限于代數(shù)的“加”或“減”。 i=1,2,…,n j=1,2,…,m ? 反復(fù)依次輸入訓(xùn)練集中的特征向量 x，計(jì)算實(shí)際輸出值，并修正權(quán)向量 ? 與線性判別函數(shù)等價(jià)，只解決線性可分問題，收斂速度快 三層前饋神經(jīng)網(wǎng)絡(luò) 用三層前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)邏輯門 例：與非門 (NAND) x1, x2∈ {1,1} ?????????0101)s g n()(xwxwxwxwfTTTT y∈ {1,1} 用前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“與非門”，可組成任何邏輯函數(shù) 三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性分類 例：異或 (XOR) 任何一個邏輯電路都可以只用 XOR門來實(shí)現(xiàn)， XOR是通用門 實(shí)線： + 虛線： 數(shù)字：權(quán)值 單個閾值神經(jīng)元可實(shí)現(xiàn)任意多輸入的與、或、與非、或非門 任何邏輯函數(shù)可用一個三層前饋網(wǎng)絡(luò)實(shí)現(xiàn) 有 4個模式，要分為 2類： ? 適當(dāng)選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡(luò)可以逼近任意的多元非線性函數(shù) ? 若有足夠多的隱單元，任何從輸入到輸出的連續(xù)函數(shù)都可以用一個這樣的三層網(wǎng)絡(luò)任意精度近似 ? 三層或三層以上的前饋網(wǎng)絡(luò)通常被叫做多層感知器 (MLP) ? MLP的適用范圍大大超過單層網(wǎng)絡(luò) 多層前饋網(wǎng)絡(luò) ?雙層網(wǎng)絡(luò) → 一個線性邊界 ?三層或三層以上 → 任意決策邊界 存在問題： ?未給出隱單元數(shù)目 ?未給出權(quán)值 ?僅根據(jù)訓(xùn)練樣本，很難知道應(yīng)該有什么形式的界面函數(shù) ?實(shí)際設(shè)計(jì)過程中還有很多問題 ?三層前饋網(wǎng)絡(luò)的使用范圍大大超過二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)方法較為復(fù)雜，主要困難是中間的隱層不直接與外界連接，無法直接計(jì)算其誤差。)(39。? 從后向前反向計(jì)算每個隱層單元 ? 計(jì)算并保存每個權(quán)值修正量 )1()( ??????? twOtw ijijij ???)()1()1( twtwtw jiijij ?????? 修正權(quán)值 可對各樣本修正權(quán)值，也可各樣本計(jì)算 σj后按總誤差修正權(quán)值 討論 ? 梯度下降法求非線性函數(shù)極值，可能局部極小，不能保證收斂到全局極小點(diǎn) ? 三層或更多層網(wǎng)絡(luò)，初始權(quán)值不能全為零或都相同，否則各隱層單元無差異，迭代無效果。 徑向基函數(shù)網(wǎng)絡(luò)的作用 ? 對未知函數(shù) f(x)的逼近器。 結(jié)構(gòu) 在二層前饋網(wǎng)絡(luò)的輸出層各單元之間相互用較大的負(fù)權(quán)值輸入對方的輸出，構(gòu)成正反饋互聯(lián)。例：先選擇少量典型性好的樣本作為權(quán)向量初始值。 ? 自組織的過程實(shí)際上就是一種無指導(dǎo)的學(xué)習(xí)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1