神經(jīng)網(wǎng)絡(luò)分類器(1)-全文預(yù)覽
【正文】 ?單層感知器 vs. 線性分類器 ?多層感知器 vs. 非線性分類器 ?徑向基函數(shù)網(wǎng)絡(luò) vs. Parzen窗密度估計分類器 ?競爭學(xué)習(xí)和側(cè)抑制 。 它通過自身訓(xùn)練 ， 自動對輸入模式進(jìn)行分類 。 帶反饋的神經(jīng)網(wǎng)絡(luò)示意圖 輸入：外部輸入信號和同一區(qū)域的反饋信號 自組織特征映射神經(jīng)網(wǎng)絡(luò) 輸入信號 反饋信號 輸出信號 概念 ? 依據(jù)大腦對信號處理的特點 ， 提出了一種神經(jīng)網(wǎng)絡(luò)模型 —— 自組織特征映射模型 ， 自組織特征映射模型是典型的自組織系統(tǒng) ， 因而也有人稱其為 “ 自組織模型 ” 。競爭的結(jié)果是：具有較大輸入的單元輸出為 1，其他單元輸出都為 0 網(wǎng)絡(luò)功能 實現(xiàn)無監(jiān)督學(xué)習(xí)，完成聚類的任務(wù) 1?jwXWxwn et Tji iijj?? ???? ???其他0)(1 kjn e tn e ty kjj網(wǎng)絡(luò)動作機(jī)制 學(xué)習(xí)時先用隨機(jī)數(shù)作為權(quán)值初始值，整個學(xué)習(xí)過程隨時將權(quán)值進(jìn)行歸一化處理，即： ??ijiijijwww239。輸出為隱層的線性加權(quán)求和，采用基函數(shù)的加權(quán)和來實現(xiàn)對函數(shù)的逼近 ? 隱層把原始的非線性可分的特征空間變換到另一個空間（通常是高維空間），使之可以線性可分。通常采用小隨機(jī)數(shù)，如區(qū)間 [， ] ? 初始值影響收斂，不收斂時改變初始值重新迭代 ? 步長參數(shù) η對收斂影響大，不同問題最佳值不同，約 ~3 ? 慣性系數(shù) α影響收斂速度，常用 ~1， α≥1時不收斂 ? 輸入單元 數(shù) =特征向量維數(shù)，輸出單元數(shù) =類別 個數(shù) 徑向基函數(shù)：沿某種徑向?qū)ΨQ的標(biāo)量函數(shù)。誤差反向傳播原理示意圖 隱層單元 j的局部梯度 σj正比于輸出單元局部梯度的 σk加權(quán)和 由此，輸出單元的局部梯度就“反向”傳播回到隱層單元 當(dāng)非線性函數(shù) f為雙曲正切函數(shù)時： 11 2)( 2 ???? ? xexfy 22221)1( 4)(39。 反向傳播算法 ?反向傳播算法：從后向前反向逐層“傳播”輸出層的誤差，以間接算出隱層誤差。 ? 前饋神經(jīng)網(wǎng)絡(luò)：各神經(jīng)元接受前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。若是，結(jié)束；若不是，令 k=1,返至 (2) 例 2：已知訓(xùn)練樣本 (0， 0)’屬于 ω1類， (1， 1)’屬于 ω2類， ( 1，1)’屬于 ω3類，試求解向量 w1*, w2* , w3* 實驗四：實驗所用樣本數(shù)據(jù)如表給出 ， 編制程序?qū)崿F(xiàn) ω ωω ω4類的分類 。 ω1： {(0,0)T,(0,1)T}， ω2： {(1,0)T,(1,1)T}， 上機(jī)作業(yè)三： ω1=(x1,x2)={(1,0,1),(0,1,1)} ω2=(x3,x4)={(1,1,0),(0,1,0)} 使用感知器算法給出區(qū)分兩類模式的判別函數(shù)。 感知器算法步驟 ?置步數(shù) k=1，令增量 C為常數(shù)，且 C0，分別賦予初始增廣權(quán)矢量 w(1)的各分量較小的任意值。因此，感知器的自組織、自學(xué)習(xí)思想可以用于確定性分類器的訓(xùn)練 —— 感知器訓(xùn)練方法。 設(shè)閾值： θ=ω0 W=(ω1,ω2, … , ωn,ω0)T X=(x1, x2, … , xn, 1)T ??????????????jiTTxxW xW ??01 01感知器算法能夠通過對訓(xùn)練模式樣本集的“學(xué)習(xí)”得出判別函數(shù)的系數(shù)解。 人工神經(jīng)元 1niiin et w x????人工神經(jīng)元模型： xi：輸入，神經(jīng)元的輸入值 ωi：權(quán)值，突觸的連接強(qiáng)度 f ：輸出函數(shù)，非線性函數(shù) y ：輸出 神經(jīng)元動作： ()y f ?常用輸出函數(shù)： 閾值函數(shù)： )sgn()( xxf ?22( ) ( ) 11 xf x th x e ?? ? ??雙曲正切函數(shù)： 非線性，單調(diào)性 無限次可微 權(quán)值很大時接近閾值函數(shù) 權(quán)值很小時接近線性函數(shù) 階躍函數(shù)： )()( xstepxf ?)(1
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1