【文章內(nèi)容簡(jiǎn)介】 實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿(mǎn)足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問(wèn)題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的形式以及樣本數(shù)據(jù)的特性等因素有關(guān)。在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿(mǎn)足下列條件：(1)隱層節(jié)點(diǎn)數(shù)必須小于 N1（其中 N 為訓(xùn)練樣本數(shù)） ，否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無(wú)關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒(méi)有泛化能力，也沒(méi)有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于 N1。(2)訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型?？傊?，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的內(nèi)在原因。因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（一）訓(xùn)練BP 網(wǎng)絡(luò)的訓(xùn)練就是通過(guò)應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有 1 個(gè)隱層（采用 Sigmoid 轉(zhuǎn)換函數(shù)）的 BP 網(wǎng)絡(luò)可實(shí)現(xiàn)對(duì)任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒(méi)有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的 BP 網(wǎng)絡(luò)模型并通過(guò)向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來(lái)滿(mǎn)意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯?wèn)題，目前在很大程度上還需要依靠經(jīng)驗(yàn)知識(shí)和設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過(guò)訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的 BP 神經(jīng)網(wǎng)絡(luò)模型的過(guò)程，在國(guó)外被稱(chēng)為 “藝術(shù)創(chuàng)造的過(guò)程” ，是一個(gè)復(fù)雜而又十分煩瑣和困難的過(guò)程。由于 BP 網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個(gè)無(wú)約束的非線(xiàn)性最優(yōu)化計(jì)算過(guò)程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長(zhǎng)，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn) BP 法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于 BP 網(wǎng)絡(luò)的訓(xùn)練(這些方法從原理上講可通過(guò)調(diào)整某些參數(shù)求得全局極小點(diǎn))，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問(wèn)題不同而異，較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加了沖量（動(dòng)量）項(xiàng)和自適應(yīng)調(diào)整的改進(jìn) BP 算法。（二）學(xué)習(xí)率和沖量系數(shù)學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過(guò)程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過(guò)大，甚至?xí)?dǎo)致權(quán)值在修正過(guò)程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過(guò)小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，不過(guò)能保證收斂于某個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過(guò)程的收斂性（穩(wěn)定性） ，通常在 ～ 之間。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在 0～1 之間，而且一般比學(xué)習(xí)率要大。（三）網(wǎng)絡(luò)的初始連接權(quán)值 BP 算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了 BP 算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于 Sigmoid 轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分～ 之間比較有效。（四）網(wǎng)絡(luò)模型的性能和泛化能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣性） ，即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，即使每個(gè)訓(xùn)練樣本的誤差都很?。梢詾榱悖?，并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差 RSME 或均方誤差、AAE 或 MAPE 等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒(méi)有任何意義的。 要分析建立的網(wǎng)絡(luò)模型對(duì)樣本所蘊(yùn)含的規(guī)律的逼近情況（能力） ，即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本）誤差的大小來(lái)表示和評(píng)價(jià)，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之一。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律,最直接和客觀(guān)的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說(shuō)明建立的網(wǎng)絡(luò)模型并沒(méi)有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，而建立的網(wǎng)絡(luò)模型是對(duì)訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò)誤反映。因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。 值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測(cè)試樣本誤差大小的本身，而是要看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。（五）合理網(wǎng)絡(luò)模型的確定 對(duì)同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于 BP 算法存在（很）多個(gè)局部極小點(diǎn)，因此，必須通過(guò)多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過(guò)比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注意的是，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程本質(zhì)上是求非線(xiàn)性函數(shù)的極小點(diǎn)問(wèn)題，因此，在全局極小點(diǎn)鄰域內(nèi)（即使網(wǎng)絡(luò)誤差相同） ，各個(gè)網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，這有時(shí)也會(huì)使各個(gè)輸入變量的重要性發(fā)生變化，但這與具有多個(gè)零極小點(diǎn)（一般稱(chēng)為多模式現(xiàn)象） （如訓(xùn)練樣本數(shù)少于連接權(quán)數(shù)時(shí)）的情況是截然不同的。此外，在不滿(mǎn)足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時(shí)檢驗(yàn)樣本和測(cè)試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始值，檢驗(yàn)樣本和測(cè)試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多模式現(xiàn)象。對(duì)于不同的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)模型的誤差或性能和泛化能力也不一樣。因此，還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的優(yōu)劣。一般地，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，誤差變小。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點(diǎn)數(shù)增加）的過(guò)程中，網(wǎng)絡(luò)誤差會(huì)出現(xiàn)迅速減小然后趨于穩(wěn)定的一個(gè)階段，因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)定時(shí)的隱層節(jié)點(diǎn)數(shù)。 總之，合理網(wǎng)絡(luò)模型是必須在具有合理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時(shí)沒(méi)有發(fā)生“過(guò)擬合”現(xiàn)象、求得全局極小點(diǎn)和同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計(jì)合理 BP 網(wǎng)絡(luò)模型的過(guò)程是一個(gè)不斷調(diào)整參數(shù)的過(guò)程，也是一個(gè)不斷對(duì)比結(jié)果的過(guò)程，比較復(fù)雜且有時(shí)還帶有經(jīng)驗(yàn)性。這個(gè)過(guò)程并不是想象的那樣，隨便套用一個(gè)公式確定隱層節(jié)點(diǎn)數(shù)，經(jīng)過(guò)一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型（這樣建立的模型極有可能是訓(xùn)練樣本的錯(cuò)誤反映，沒(méi)有任何實(shí)用價(jià)值） 。 雖然神經(jīng)網(wǎng)絡(luò)的類(lèi)型很多，建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，根據(jù)研究對(duì)象的特點(diǎn)，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。 前饋型 BP 網(wǎng)絡(luò)即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP 網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系，即每一組輸入對(duì)應(yīng)一組輸出。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線(xiàn)性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的非線(xiàn)性映射。關(guān)于這類(lèi)網(wǎng)絡(luò)對(duì)非線(xiàn)性的逼近能力，Hornikl 等分別利用不同的方法證明了如下一個(gè)事實(shí)：僅含有一個(gè)隱層的前向網(wǎng)絡(luò)能以任意精度逼近定義在 Rn 的一個(gè)緊集上的任意非線(xiàn)性函數(shù)。誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，盡管存在收斂速度慢、局部極值等缺點(diǎn)，但可通過(guò)各種改進(jìn)措施來(lái)提高它的收斂速度、克服局部極值現(xiàn)象，而且具有簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等特點(diǎn)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。 神經(jīng)網(wǎng)絡(luò)模型參數(shù)的確定 由于傳統(tǒng)的誤差反傳 BP 算法較為成熟，且應(yīng)用廣泛，因此努力提高該方法的學(xué)習(xí)速度具有較高的實(shí)用價(jià)值。BP 算法中有幾個(gè)常用的參數(shù)，包括學(xué)習(xí)率 ，動(dòng)量因子 ，??形狀因子 λ 及收斂誤差界值 E 等。這些參數(shù)對(duì)訓(xùn)練速度的影響最為關(guān)鍵。 隱層的數(shù)目 理論上雖然證明了這類(lèi)網(wǎng)絡(luò)的逼近能力，對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)的要求，并沒(méi)有給出明確的說(shuō)明。因而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有人為的主觀(guān)性和藝術(shù)性，缺乏一個(gè)指導(dǎo)原則。而網(wǎng)絡(luò)訓(xùn)練與結(jié)構(gòu)緊密相關(guān)，太大的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練時(shí)效率不高，而且還會(huì)由于過(guò)擬合(overfitting)造成網(wǎng)絡(luò)的性能脆弱，泛化能力(generalization ability)下降；太小的網(wǎng)絡(luò)可能就根本不收斂。考慮到本研究的特點(diǎn)，結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果，本文選擇了隱層數(shù) L=1 的網(wǎng)絡(luò)結(jié)構(gòu)模型。 隱層神經(jīng)元數(shù)的選擇 隱