人工神經(jīng)網(wǎng)絡(luò)的研究方法-在線瀏覽
2025-02-25 06:34本頁面
【正文】 等。 ” 腦神經(jīng)信息活動的特征 (1)巨量并行性。 (3)自組織自學(xué)習(xí)功能。 (2)爭取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即 ANN計(jì)算機(jī)。 神經(jīng)網(wǎng)絡(luò)研究的發(fā)展 (1)第一次熱潮 (4060年代未 ) 1943年 ,美國心理學(xué)家 ，即 MP模型。 (2)低潮 (7080年代初 ): (3)第二次熱潮 1982年，美國物理學(xué)家 Hopfield模型，它是一個(gè)互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運(yùn)算的動態(tài)過程 ,這是符號邏輯處理方法所不具備的性質(zhì) . 1987年首屆國際 ANN大會在圣地亞哥召開，國際 ANN聯(lián)合會成立，創(chuàng)辦了多種 ANN國際刊物。 神經(jīng)網(wǎng)絡(luò)基本模型 細(xì) 胞 體突觸軸 突樹突圖 1 2 . 2 生 物 神 經(jīng) 元 功 能 模 型輸入輸出信 息 處 理電 脈 沖形 成傳 輸 ANN類型與功能 人工神經(jīng)網(wǎng)絡(luò) 研究的局限性 （ 1） ANN研究受到腦科學(xué)研究成果的限制。 （ 3） ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。 一般而言 , ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越 , 只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí) ANN方法才能顯示出其優(yōu)越性。另一方面 , ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題 , 表現(xiàn)出極大的靈活性和自適應(yīng)性。在實(shí)際應(yīng)用中， 80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱 BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。從這些數(shù)據(jù)中分別隨機(jī)抽取 1/4的數(shù)據(jù)各 52組作為檢驗(yàn)樣本和測試樣本 ,其余的 104組 (占 50%)數(shù)據(jù)作為訓(xùn)練樣本。以浮游植物作為輸出因子。 BP神經(jīng)網(wǎng)絡(luò)在環(huán)境科學(xué)與工程中的應(yīng)用 BP網(wǎng)絡(luò)建模特點(diǎn)： ?非線性映照能力 ：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。 ?并行分布處理方式 ：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強(qiáng)的容錯性和很快的處理速度。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。 ?多變量系統(tǒng) ：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（ 10%以上）和測試樣本（ 10%以上） 3部分。 輸入 /輸出變量的確定及其數(shù)據(jù)的預(yù)處理 一般地， BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。 由于 BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用 Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開 Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在 0~1之間。一般要求對不同變量分別進(jìn)行預(yù)處理，也可以對類似性質(zhì)的變量進(jìn)行統(tǒng)一的預(yù)處理。 預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在 ~。 Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用 Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。在設(shè)計(jì) BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)， 應(yīng)優(yōu)先考慮 3層 BP網(wǎng)絡(luò)（即有 1個(gè)隱層）。對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際上就是一個(gè)線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。 隱層節(jié)點(diǎn)數(shù) 在 BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接原因， 但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。 研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入 /輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于 N1。 總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過擬合”的內(nèi)在原因。 訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的 BP網(wǎng)絡(luò)模型并通過向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯栴}， 目前在很大程度上還需要依靠經(jīng)驗(yàn)知識和設(shè)計(jì)者的經(jīng)驗(yàn)。 由于 BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個(gè)無約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。這些方法中應(yīng)用最廣的是增加了沖量（動量）項(xiàng)的改進(jìn) BP算法。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1