[工學(xué)]pr第五章非線性分類(編輯修改稿)
2024-11-14 23:42 本頁面
【文章內(nèi)容簡介】 t j n? ???? ? ? ? ??? (5) 重新計算輸出，考查誤差指標(biāo)（或其它終止條件）。如達到終止條件則終止，否則置 t=t+1，轉(zhuǎn)（ 2）。 ? 說明： ? 算法可能收斂于局部極小點（梯度算法） ? 與初值、步長等的選擇有關(guān)，更與網(wǎng)絡(luò)結(jié)構(gòu)（結(jié)點數(shù)目）有關(guān)，多憑經(jīng)驗或試驗選擇 用多層感知器網(wǎng)絡(luò)實現(xiàn)模式識別 ? 輸入 —— 樣本特征向量（必要時歸一化） ? 輸出 —— 類別編碼 ? 常用輸出編碼： ? 1ofC編碼： c類則 c個輸出結(jié)點，該輸出結(jié)點值為 1則為該類，否則為 0 ? 兩類：一個輸出結(jié)點， 0、 1各代表一類。 ? 也可用 c個網(wǎng)絡(luò)解決 c類問題，每個網(wǎng)絡(luò)只分一類（是與否）。 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 ? 三個要素： ?神經(jīng)元的傳遞函數(shù) 通常選 Sigmoid函數(shù) ?網(wǎng)絡(luò)結(jié)構(gòu) 通常三層（ 1個隱層）即可滿足常見任務(wù)需求，隱層節(jié)點數(shù)目？ ?連接權(quán)值 通常采用 BP算法學(xué)習(xí) ? 過學(xué)習(xí)（ overfitting）與欠學(xué)習(xí)（ underfitting）問題 ? 樣本數(shù)與網(wǎng)絡(luò)結(jié)構(gòu)問題 ? 隱層節(jié)點數(shù)目： ?根據(jù)具體問題進行試探選擇：例 隱結(jié)點數(shù)目小于輸入維數(shù) ?據(jù)對問題的先驗知識去精心地設(shè)計隱層節(jié)點的層數(shù)和節(jié)點數(shù)目：例 ?用算法來推測適當(dāng)?shù)碾[層節(jié)點數(shù)目：例 ? 前饋神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)模式識別的關(guān)系 ?感知器，基于感知準(zhǔn)則函數(shù)的線性分類器 ?多層感知器，對貝葉斯后驗概率的估計 ? 用于分類：前饋神經(jīng)網(wǎng)絡(luò) 多層感知器，RBF神經(jīng)網(wǎng)絡(luò) ? 用于函數(shù)優(yōu)化：反饋神經(jīng)網(wǎng)絡(luò) — Hopfield網(wǎng) ? 用于聚類（非監(jiān)督學(xué)習(xí)）：基于競爭學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò) — SOM神經(jīng)網(wǎng)絡(luò) 支持向量機 (Support Vector Machines) ? 統(tǒng)計學(xué)習(xí)理論 ? 線性可分的情況 ? 非線性可分的情況 ? 分類函數(shù)應(yīng)該使期望風(fēng)險最小，但實際實現(xiàn)時是使經(jīng)驗風(fēng)險最小 ? 經(jīng)驗風(fēng)險是在給定的訓(xùn)練樣本上對期望風(fēng)險的估計 ? 這個估計量怎么樣？ ? 統(tǒng)計學(xué)習(xí)理論：有限樣本下，經(jīng)驗風(fēng)險和期望風(fēng)險的關(guān)系 ? 在訓(xùn)練誤差相同的情況下，學(xué)習(xí)機器的復(fù)雜度越低（ VC維越低），期望風(fēng)險與經(jīng)驗風(fēng)險的差別越小，學(xué)習(xí)機器的推廣能力越好。 11( ) ( , ( , ) ) ( ) ( , ( , ) ) ( , )Ne m p i i iiR L y f R L y f d F yN ???? ?w x w w x w x( ) ( ) ( )e m p hRR N?? ?ww 廣義線性判
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1