【文章內(nèi)容簡(jiǎn)介】 。人工神經(jīng)網(wǎng)絡(luò)不僅具有很強(qiáng)的收斂性、穩(wěn)定性、魯棒性等特性，而且能實(shí)現(xiàn)模式識(shí)別、非線性映射、聚類(lèi)分析、函數(shù)逼近、優(yōu)化設(shè)計(jì)、數(shù)據(jù)壓縮等功能，在處理各種信息方面有著特別廣泛的應(yīng)用。例如手寫(xiě)體識(shí)別、語(yǔ)音識(shí)別、人像識(shí)別、基因檢測(cè)、細(xì)胞分類(lèi)等。1朱大奇，史慧，人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用[M]，北京:科學(xué)出版社，2022:1神經(jīng)生理學(xué)家早在20世紀(jì)初就己發(fā)現(xiàn)，人的各種思維方式以及智力功能都定位在人體的大腦皮層上，而大腦皮層是由無(wú)數(shù)的神經(jīng)元以及數(shù)以千萬(wàn)億的連接支持神經(jīng)元的膠質(zhì)細(xì)胞組成。其中最基本的信息處理單元是神經(jīng)元，它們通過(guò)突觸進(jìn)行相互連接，構(gòu)成了極其復(fù)雜的人體神經(jīng)網(wǎng)絡(luò)系統(tǒng)。人體神經(jīng)網(wǎng)絡(luò)系統(tǒng)具很強(qiáng)的邏輯運(yùn)算和數(shù)值運(yùn)算能力。正是由于人們對(duì)人體神經(jīng)網(wǎng)絡(luò)系統(tǒng)的研究，認(rèn)識(shí)到系統(tǒng)結(jié)構(gòu)決定系統(tǒng)功能，據(jù)此建造出多種人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)。當(dāng)然，這些ANN的結(jié)構(gòu)僅僅是對(duì)人腦生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)的簡(jiǎn)化的模擬。盡管如此，人工神經(jīng)網(wǎng)絡(luò)在一定程度上具有了人腦的某些基本特性，如具有并行處理、聯(lián)想記憶、自我適應(yīng)、自我學(xué)習(xí)、自我組織和容錯(cuò)性等一些特點(diǎn)。這些特性在一定程度上促使ANN形成一定的能力，如模式優(yōu)化決策、預(yù)測(cè)評(píng)價(jià)和識(shí)別等能力。人工神經(jīng)網(wǎng)絡(luò)是以處理單元即神經(jīng)元為節(jié)點(diǎn)，用加權(quán)有向線連接的有向圖形。各單元之間相互連線，形成一種拓?fù)浣Y(jié)構(gòu)，而這種結(jié)構(gòu)即為人工神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)模式。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的一般運(yùn)行規(guī)律是：首先系統(tǒng)從環(huán)境中接受有用的信息，然后開(kāi)始計(jì)算處理，最后將結(jié)果再次輸出到環(huán)境中去，在人工神經(jīng)網(wǎng)絡(luò)內(nèi)部各種處理單元之間的連接并不僅僅信息傳送通道，它還能夠反映二個(gè)處理單元之間的權(quán)重系數(shù)，該系數(shù)可調(diào)整信息量的大小。在大多數(shù)人工神經(jīng)網(wǎng)絡(luò)模型中，可以根據(jù)一定需要改變權(quán)重系數(shù)，因?yàn)樗且粋€(gè)參變量，其如何改變由人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則決定。由此可見(jiàn)，人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由處理單元、學(xué)習(xí)規(guī)則和聯(lián)結(jié)模式這三個(gè)基本要素構(gòu)成，其獨(dú)有的特征性也由此產(chǎn)生。 BP網(wǎng)絡(luò)模型 BP網(wǎng)絡(luò)的概念及其基本模型和特征 誤差逆?zhèn)鞑W(xué)習(xí)算法是由Pall Werbas博士于上世紀(jì)七十年代提出的。之后，以Rumelhart和McCelland為首的科學(xué)家小組則完整概括并提了這一學(xué)習(xí)算法，他們?cè)?986年出版的著作《并行分布信息處理》一書(shū)中，詳盡的分析與介紹了用于多層前饋網(wǎng)絡(luò)的誤差逆?zhèn)鞑W(xué)習(xí)算法(BP算法)，并深入探討了這一算法的潛在能力。后來(lái)人這種前饋型算法被簡(jiǎn)稱(chēng)為BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)具有實(shí)用、簡(jiǎn)潔和高度的非線性映射能力等優(yōu)點(diǎn)，其目前已經(jīng)成為世界上最流行的網(wǎng)絡(luò)模型之一，己被廣泛應(yīng)用于模式識(shí)別、信號(hào)處理、數(shù)據(jù)壓縮、系統(tǒng)辨識(shí)等諸多方面。在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大多數(shù)的模型采用BP網(wǎng)絡(luò)或以其為基礎(chǔ)的其他變化形式。BP神經(jīng)網(wǎng)絡(luò)于1986年由Rumelhan七和MeClelland提出，是目前應(yīng)用最為廣泛的和成功的神經(jīng)網(wǎng)絡(luò)之一，它是一種多層網(wǎng)絡(luò)的“逆推”學(xué)習(xí)算法。其基本思想為:學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)輸入樣本從輸入層傳入，經(jīng)隱層逐層處理后傳向輸出層。若輸出層的實(shí)際輸出與期望的教師信號(hào)不符，則轉(zhuǎn)向誤差的反向傳播階段。誤差的反向傳播是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反向傳播，并將誤差分?jǐn)偨o各層的所有神經(jīng)單元，獲得各層的誤差信號(hào)，并把此誤差信號(hào)作為修正各單元權(quán)值的依據(jù)。這種信號(hào)不斷的正向傳播與不斷的誤差反向傳播的過(guò)程在網(wǎng)絡(luò)中的各層權(quán)值調(diào)整過(guò)程反復(fù)的進(jìn)行，網(wǎng)絡(luò)的實(shí)際輸出的權(quán)值就會(huì)逐漸向各其所對(duì)應(yīng)的期望輸出的權(quán)值靠攏，人工神經(jīng)網(wǎng)絡(luò)對(duì)輸入模式的響應(yīng)的正確率也就逐漸的提高了，因此系統(tǒng)具有穩(wěn)定性。在系統(tǒng)運(yùn)行過(guò)程中，權(quán)值不斷調(diào)整的過(guò)程也是BP人工神經(jīng)網(wǎng)絡(luò)自我學(xué)習(xí)和訓(xùn)練的過(guò)程，此過(guò)程將不斷的重復(fù)出現(xiàn)，直到網(wǎng)絡(luò)的輸出誤差減少到最小范圍或達(dá)到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。從類(lèi)型上講，BP神經(jīng)網(wǎng)絡(luò)是典型的前饋型網(wǎng)絡(luò)，一般來(lái)說(shuō)它由輸入層、若干隱層也就是中間層和輸出層組成，BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程是誤差向后傳播的同時(shí)不斷修改連接層中的加權(quán)系數(shù)的過(guò)程。BP神經(jīng)網(wǎng)絡(luò)的原理是將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中的輸入輸出的映射問(wèn)題變成一種非線性優(yōu)化問(wèn)題，并且使用梯度下降算法，用迭代運(yùn)算方法來(lái)修正神經(jīng)網(wǎng)絡(luò)的權(quán)值，從而實(shí)現(xiàn)網(wǎng)絡(luò)輸出權(quán)值與期望輸出權(quán)值間的方差最小。這種網(wǎng)絡(luò)算法包括前向計(jì)算過(guò)程和誤差反向傳播過(guò)程兩部分。在前向計(jì)算過(guò)程中，輸入信號(hào)由輸入層向隱層逐傳遞，最終傳向輸出層，每一層神經(jīng)元的狀態(tài)只對(duì)下一神經(jīng)元的狀態(tài)有影響。如果輸出層的輸出與期望的輸出不一致，則反向傳播，將誤差信號(hào)沿原路返回，經(jīng)過(guò)對(duì)各層的權(quán)值的修改，使得誤差信號(hào)逐步最小。權(quán)值修改量只與該權(quán)值相連的前一節(jié)點(diǎn)的輸出和后一節(jié)點(diǎn)的誤差有關(guān)，這樣使得BP算法易于實(shí)現(xiàn)。 BP 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)BP網(wǎng)絡(luò)是階層型前向神經(jīng)網(wǎng)絡(luò)，一般具有三層或三層以上。上、下層之間各處理單元實(shí)現(xiàn)相互完全連接，即每一層的每一個(gè)神經(jīng)元與其相鄰兩層的每一個(gè)處理單元實(shí)現(xiàn)全連接，而同一層各處理單元之間無(wú)連接。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如下:圖21 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖 BP網(wǎng)絡(luò)的工作原理及過(guò)程 BP網(wǎng)絡(luò)按照一定的順序進(jìn)行學(xué)習(xí)，學(xué)習(xí)過(guò)程大體可分為兩個(gè)階段：第一，信號(hào)正向傳播階段，當(dāng)網(wǎng)絡(luò)接收到一對(duì)學(xué)習(xí)模式后，處理單元開(kāi)始激活，并將數(shù)值從輸入層經(jīng)各隱含層向輸出層不斷的傳播，輸出層的各處理單元獲得網(wǎng)絡(luò)的輸入響應(yīng)；第二，是誤差修正反向傳播階段，當(dāng)輸出層沒(méi)有得到預(yù)期的輸出值時(shí)，數(shù)據(jù)將會(huì)被則逐層遞歸地計(jì)算實(shí)際與期望之間的誤差，方向?yàn)闇p小期望輸出與實(shí)際輸出的誤差，然后從輸出層開(kāi)始經(jīng)各隱含層逐層進(jìn)行修正各連接權(quán)，最后再回到輸入層，這就是所謂的“誤差逆?zhèn)鞑W(xué)習(xí)算法”。根據(jù)這種誤差逆?zhèn)鞑バ拚慕Y(jié)果，網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷提高。 BP算法流程BP算法共有六個(gè)步驟，是一種監(jiān)督式學(xué)習(xí)算法，在大多數(shù)的BP網(wǎng)絡(luò)中都采用這種算法。BP神經(jīng)網(wǎng)絡(luò)算法的步驟主要有以下幾個(gè):(1)運(yùn)行開(kāi)始前必須初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)。(2)提供各種滿足學(xué)習(xí)條件的要求，如訓(xùn)練模式、訓(xùn)練網(wǎng)絡(luò)等。(3)確定的訓(xùn)練模式以及計(jì)算出網(wǎng)絡(luò)的輸出模式，并與期望模式相比較，若誤差與期望模式相比較，如符合要求，則執(zhí)行反向傳播過(guò)程(4)，否則返回到第(2)步驟。(4)計(jì)算單元誤差，對(duì)權(quán)值進(jìn)行修正，再返回步驟(2)，繼續(xù)運(yùn)算。BP網(wǎng)絡(luò)的學(xué)習(xí)是通過(guò)用給定的訓(xùn)練集訓(xùn)練而實(shí)現(xiàn)的訓(xùn)練，學(xué)習(xí)的效果通過(guò)均方根誤差的大小來(lái)定量反映，基本即算法的流程如圖22所示。設(shè)學(xué)習(xí)樣本數(shù)為P，輸出向量x 1，x 2，……，x p，希望輸出向量t1，t 2，……t p，學(xué)習(xí)算法是將實(shí)際的輸出向量y 1，y 2……，y p與 1，t 2，……t p相減而得的差值來(lái)修改連接權(quán)和閾值，使y與期望要求盡可能接近。如果輸入第P1中的一個(gè)個(gè)樣本對(duì)，通過(guò)一定方式學(xué)習(xí)后，得到一組權(quán)wp1，此時(shí)wp1的解不是唯一解。圖22 BP算法流程圖BP 網(wǎng)絡(luò)整個(gè)過(guò)程分為兩階段:從網(wǎng)絡(luò)的底部向上進(jìn)行計(jì)算，如果網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)已設(shè)定(如不設(shè)定初始值，BP 網(wǎng)絡(luò)可能不收斂)，輸入己知學(xué)習(xí)樣本，就可以計(jì)算每一層神經(jīng)元的輸出。對(duì)權(quán)和閡值的修改，從已知最高層的誤差修改與最高層相連的權(quán)開(kāi)始，然后修改各層的權(quán)。兩個(gè)過(guò)程反復(fù)交替，直到網(wǎng)絡(luò)收斂為止。如果選擇神經(jīng)網(wǎng)絡(luò)輸出神經(jīng)元對(duì)每個(gè)學(xué)習(xí)樣本的輸出與相應(yīng)的理想輸出的均方差小于某一極小值為結(jié)束條件，則在一個(gè)學(xué)習(xí)周期結(jié)束需進(jìn)行判斷，如果所有輸出的均方差小于 E，則表示學(xué)習(xí)結(jié)果滿足要求，可以結(jié)束該 BP 網(wǎng)絡(luò)學(xué)習(xí)過(guò)程。否則繼續(xù)對(duì)樣本集合中所有樣本進(jìn)行學(xué)習(xí)，開(kāi)始下一個(gè)學(xué)習(xí)周期。 BPN 網(wǎng)絡(luò)模型 BPN 網(wǎng)絡(luò)模型的算法和結(jié)構(gòu)誤差逆?zhèn)魃窠?jīng)網(wǎng)絡(luò)包括一個(gè)輸入層、一個(gè)或多個(gè)隱含層和一個(gè)輸出層等幾部分構(gòu)成。BPN網(wǎng)絡(luò)模型的輸出層和輸入層處理單元的結(jié)點(diǎn)數(shù)由輸入、輸出變量的多少?zèng)Q定，因此對(duì)網(wǎng)絡(luò)起決定性的作用為隱含層處理單元結(jié)點(diǎn)數(shù)的多少。在神經(jīng)網(wǎng)絡(luò)中，隱含層的結(jié)點(diǎn)越多， BPN網(wǎng)絡(luò)模型收斂速度就會(huì)越慢慢且容易產(chǎn)生與訓(xùn)練數(shù)據(jù)的相吻合的情況；而如果結(jié)點(diǎn)過(guò)少，那么BPN網(wǎng)絡(luò)模型又難以擬合輸出、輸入變量之間的關(guān)系。隱含層節(jié)點(diǎn)的多少通常由問(wèn)題的復(fù)雜程度決定。經(jīng)過(guò)反復(fù)的研究實(shí)驗(yàn)發(fā)現(xiàn)，一個(gè)三層的BPN網(wǎng)絡(luò)模型就能完全模擬任何連續(xù)函數(shù)。所以，在現(xiàn)有的模擬神經(jīng)網(wǎng)絡(luò)的研究中一般采用三層，這種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)更容易解釋?zhuān)岣哂?xùn)練速度，同時(shí)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)也避免了產(chǎn)生過(guò)度吻合的問(wèn)題，三層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖23。圖23 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 2BPN網(wǎng)絡(luò)模型算法以利用當(dāng)前的輸入誤差來(lái)對(duì)權(quán)值進(jìn)行調(diào)整為主要特征。BPN網(wǎng)絡(luò)模型的主要算法如下：（1）根據(jù)輸出、輸入變量的數(shù)目，對(duì)輸入層、隱含層和輸出層的神處理單元點(diǎn)數(shù)進(jìn)行初始化；（2)設(shè)定神經(jīng)網(wǎng)絡(luò)的最大迭代次數(shù)和學(xué)習(xí)速率；（3)反復(fù)對(duì)每一個(gè)訓(xùn)練向量進(jìn)行以下4—7步的過(guò)程；（4)把輸入向量賦值給輸入層結(jié)點(diǎn)，同時(shí)把輸出向量賦值給輸出層結(jié)點(diǎn)；（5)對(duì)輸入層向隱含層結(jié)點(diǎn)的輸入進(jìn)行計(jì)算， 同時(shí)計(jì)算隱含層結(jié)點(diǎn)，并以同樣的方法計(jì)算輸出處理單元的輸出；（6)計(jì)算輸出層和隱含層的誤差項(xiàng)；（7)根據(jù)上一步的結(jié)果計(jì)算各結(jié)點(diǎn)的新權(quán)值，并修改原來(lái)的權(quán)值。如果BPN網(wǎng)絡(luò)模型的迭代次數(shù)小于最大迭代次數(shù)或者誤差大于某一個(gè)預(yù)先設(shè)定的閾值，重復(fù)進(jìn)行4～7步的運(yùn)算。模型算法的是把一組樣本輸入輸出的問(wèn)題轉(zhuǎn)化為一個(gè)非線性問(wèn)題進(jìn)行解決。雖然BPN網(wǎng)絡(luò)有著很多的優(yōu)點(diǎn)，但BPN網(wǎng)絡(luò)模型算法尚存在一些缺陷，例如收斂慢、迭代次數(shù)多，容易形成局部極小而得不到整體最優(yōu)等。為解決BPN網(wǎng)絡(luò)模型算法的一些問(wèn)題，國(guó)內(nèi)外學(xué)者經(jīng)過(guò)長(zhǎng)期研究，提出了共軛梯度法、自適應(yīng)學(xué)習(xí)率法、快速優(yōu)化學(xué)習(xí)算法和變尺度法等改進(jìn)方法。 BPN 網(wǎng)絡(luò)模型的檢驗(yàn)BPN網(wǎng)絡(luò)模型的應(yīng)用，必須依靠一定數(shù)量的樣本，并用一定數(shù)量的樣本檢驗(yàn)訓(xùn)練模型的模擬能力。長(zhǎng)期研究認(rèn)為：訓(xùn)練的樣本數(shù)與網(wǎng)絡(luò)權(quán)值數(shù)量比為5：1。當(dāng)樣本達(dá)到10倍時(shí)，才不會(huì)導(dǎo)致模型的局部?jī)?yōu)化，即與訓(xùn)練數(shù)據(jù)的高度吻合。檢驗(yàn)?zāi)Ｐ湍M能力時(shí)，分別用不同的兩個(gè)數(shù)據(jù)集訓(xùn)練和檢驗(yàn)?zāi)Ｐ?，兩個(gè)數(shù)據(jù)一個(gè)用于訓(xùn)練和測(cè)試模型，另一個(gè)用于驗(yàn)證模型。但在實(shí)際研究中，由于人力和物力方面的限制，很難同時(shí)滿足這個(gè)條件。2圖片來(lái)源于中國(guó)科學(xué)院植物研究所植被數(shù)量生態(tài)學(xué)重點(diǎn)實(shí)驗(yàn)室如果樣本足夠大時(shí)，通常隨機(jī)地把整個(gè)數(shù)據(jù)集分成訓(xùn)練樣本數(shù)和測(cè)試樣本數(shù)兩部分，他們的比例可為1：1或2：1或3：1等。當(dāng)然，測(cè)試樣本的數(shù)量要足以檢驗(yàn)網(wǎng)絡(luò)的模擬能力，訓(xùn)練樣本的數(shù)量要足以代表輸入、輸出變量之間的關(guān)系；采用全部測(cè)試樣本與訓(xùn)練樣本進(jìn)行測(cè)試，采用交互驗(yàn)證的方法對(duì)BPN網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試是一般使用的方法。如果樣本數(shù)據(jù)不是很充足，一般采用Jacknife過(guò)程分配測(cè)試樣本與訓(xùn)練樣本，即樣本被同時(shí)分成n個(gè)部分，用其中的1個(gè)部分對(duì)樣本進(jìn)行訓(xùn)練，用其余的樣本進(jìn)行測(cè)驗(yàn)，重復(fù)n次這樣的過(guò)程，就能測(cè)驗(yàn)出網(wǎng)絡(luò)的模擬能力。第三章 BPN網(wǎng)絡(luò)模型在農(nóng)業(yè)及生態(tài)學(xué)研究中的應(yīng)用在農(nóng)業(yè)和生態(tài)學(xué)領(lǐng)域的研究中，作為非線性函數(shù)模擬器的BPN網(wǎng)絡(luò)模型通常被用于預(yù)測(cè)作物產(chǎn)量以及生物與環(huán)境之間的關(guān)系等問(wèn)題。從20世紀(jì)90年代初期開(kāi)始，BPN網(wǎng)絡(luò)模型被廣泛的應(yīng)用于農(nóng)業(yè)和生態(tài)學(xué)研究中，隨著對(duì)BPN網(wǎng)絡(luò)模型的研究不斷的深入，這一模型的局限性也被人們所熟知，因此一些改進(jìn)BPN網(wǎng)絡(luò)模型的方法也被提了出來(lái)。 BPN網(wǎng)絡(luò)模型的模擬能力在綜述BPN網(wǎng)絡(luò)在農(nóng)業(yè)和生態(tài)學(xué)中的應(yīng)用時(shí)，Schultz和Wieland(1997)及Schuhz等(2022)認(rèn)為：BPN網(wǎng)絡(luò)模型比多元線性回歸的模擬的效果要好，其模擬效果與非線性模型的模擬效果相差無(wú)幾。Lek等(1996)認(rèn)為：無(wú)論采用什么樣的方法，多元回歸在擬合非線性關(guān)系方面的表現(xiàn)效果也很差。相對(duì)于前兩種模型，BPN網(wǎng)絡(luò)模型的預(yù)測(cè)效果最好，既使變量沒(méi)有進(jìn)行非線性轉(zhuǎn)換。Wolf和Francl(1998)利用BPN網(wǎng)絡(luò)模型，設(shè)計(jì)出小麥病菌肌感病周期的模型，并將此模型與用邏輯型回歸和多元判別分析建立的模型進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明：BPN模型的預(yù)測(cè)精度為87％，遠(yuǎn)遠(yuǎn)高于逐步邏輯回歸和多元判別分析的69％和50％的預(yù)測(cè)精度。Starrett等(1998)利用BPN模型預(yù)測(cè)泥炭草地殺蟲(chóng)劑的淋洗效果，并將此模型與利用一次和二次多項(xiàng)式回歸建立的模型預(yù)測(cè)的效果進(jìn)行了比較。結(jié)果表明：BPN模型預(yù)測(cè)值與實(shí)測(cè)值的離差平方和為17．4，而一次和二次多項(xiàng)式回歸模的預(yù)測(cè)值與實(shí)測(cè)值的離差平方和是BPN模型的幾十倍。對(duì)