人工神經(jīng)網(wǎng)絡(luò)的研究方法(編輯修改稿)
2025-02-04 06:34 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 因素有關(guān)。 在確定隱層節(jié)點(diǎn)數(shù)時(shí) 必須滿足下列條件 ： (1)隱層節(jié)點(diǎn)數(shù)必須小于 N1（其中 N為訓(xùn)練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于 N1。 (2) 訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。 總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過擬合”的內(nèi)在原因。因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。 訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有 1個(gè)隱層（采用 Sigmoid轉(zhuǎn)換函數(shù)）的 BP網(wǎng)絡(luò)可實(shí)現(xiàn)對(duì)任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的 BP網(wǎng)絡(luò)模型并通過向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很小）的問題， 目前在很大程度上還需要依靠經(jīng)驗(yàn)知識(shí)和設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的 BP神經(jīng)網(wǎng)絡(luò)模型的過程，在國(guó)外被稱為“藝術(shù)創(chuàng)造的過程”，是一個(gè)復(fù)雜而又十分煩瑣和困難的過程。 由于 BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個(gè)無約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長(zhǎng)，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn) BP法、遺傳算法（ GA）和模擬退火算法等多種優(yōu)化方法用于 BP網(wǎng)絡(luò)的訓(xùn)練 (這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點(diǎn) )，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加了沖量（動(dòng)量）項(xiàng)的改進(jìn) BP算法。 學(xué)習(xí)率和沖量系數(shù) 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過長(zhǎng)，不過能保證收斂于某個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性（穩(wěn)定性），通常在 ~。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在 0~1之間，而且一般比學(xué)習(xí)率要大。 4 網(wǎng)絡(luò)的初始連接權(quán)值 BP算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了 BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序（建議采用標(biāo)準(zhǔn)通用軟件，如 Statsoft公司出品的 Statistica Neural Networks軟件和 Matlab 軟件 ）必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于 Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在 ~。 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，即使每個(gè)訓(xùn)練樣本的誤差都很小（可以為零），并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差 RSME或均方誤差、 AAE或 MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。 要分析建立的網(wǎng)絡(luò)模型對(duì)樣本所蘊(yùn)含的規(guī)律的逼近情況（能力），即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本（本文稱為檢驗(yàn)樣本和測(cè)試樣本）誤差的大小來表示和評(píng)價(jià)，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之一。 判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律 ,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，而建立的網(wǎng)絡(luò)模型是對(duì)訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò)誤反映。 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。 值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測(cè)試樣本誤差大小的本身，而是要看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。 對(duì)同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于 BP算法存在（很）多個(gè)局部極小點(diǎn)，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1