【正文】 的輸出f提激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X,X,……，X的共同刺激達(dá)到閾值時以何種方式輸出。人們按不同的角度對神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，通?？砂?個原則進(jìn)行神經(jīng)網(wǎng)絡(luò)的歸類。按照學(xué)習(xí)方式區(qū)分，則有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)。按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)[8]。在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(自適應(yīng)共振理論)網(wǎng)絡(luò)[9]。這個網(wǎng)絡(luò)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。它可用于語言綜合，識別和自適應(yīng)控制等用途。Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。因而，在輸出層中，神經(jīng)元之間有近揚遠(yuǎn)抑的反饋特性，從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測器。這是一種無教師學(xué)習(xí)網(wǎng)絡(luò)。在ART網(wǎng)絡(luò)中，通常需要兩個功能互補的子系統(tǒng)相互作用，這兩個子系統(tǒng)為注意子系統(tǒng)和取向子系統(tǒng)?？傊?，人工神經(jīng)網(wǎng)絡(luò)是由大量簡單的處理單元組成的非線性、自適應(yīng)、自組織系統(tǒng)，是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上，試圖通過模擬人類神經(jīng)系統(tǒng)對信息進(jìn)行加工、記憶和處理的方式，設(shè)計出的一種具有人腦風(fēng)格的信息處理系統(tǒng)。ANN學(xué)習(xí)對于訓(xùn)練數(shù)據(jù)中的錯誤健壯性很好，且已被成功應(yīng)用到很多領(lǐng)域中，例如文本識別、語音識別、圖像復(fù)原、圖像分割、目標(biāo)跟蹤等。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng)，如故障診斷、特征提取和預(yù)測等問題，ANN往往是最有利的工具。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法（1）學(xué)習(xí)方式通過向環(huán)境學(xué)習(xí)獲取知識并改進(jìn)自身性能是神經(jīng)網(wǎng)絡(luò)的一個重要特點。學(xué)習(xí)方式一般有如下幾種：①監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)需要外界存在一個“教師”，它可以對給定一組輸入提供應(yīng)有的輸出結(jié)果，這組己知的輸入輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)可根據(jù)己知輸出與實際輸出之間的差值來調(diào)節(jié)系統(tǒng)參數(shù)。③再勵學(xué)習(xí)再勵學(xué)習(xí)介于上面兩種情況之間，外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息(獎勵或者懲罰)而不是給出正確答案。（2）學(xué)習(xí)算法①誤差糾正學(xué)習(xí)誤差糾正學(xué)習(xí)的目的是使某一基于誤差信號的目標(biāo)函數(shù)達(dá)到最小，以使網(wǎng)絡(luò)中每一個輸出單元的實際輸出在某種統(tǒng)計意義上逼近應(yīng)有輸出。在自適應(yīng)濾波器理論中，對這種學(xué)習(xí)的收斂性及其統(tǒng)計特性有較深入的分析。 ③競爭學(xué)習(xí)競爭學(xué)習(xí)中，網(wǎng)絡(luò)各輸出單元互相競爭，最后達(dá)到只有一個最強者激活，最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接，這樣原來輸出單元中如有某一單元較強，則它將獲勝并抑制其他單元，最后只有此強單元處于激活狀態(tài)。如果環(huán)境是非平穩(wěn)的，通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化，為解決此問題，需要網(wǎng)絡(luò)有一定的自適應(yīng)能力，此時對每一不同輸入都作為一個新的例子來對待。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，分為由信息的正向傳播和誤差的反向傳播兩個過程。當(dāng)實際輸出與期望輸出不符時，進(jìn)入誤差的反向傳播階段。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程將一直循環(huán)進(jìn)行，直到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定好的學(xué)習(xí)次數(shù)為止。 BP算法的基本思想是，學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個過程組成。若輸出層的實際輸出與期望的輸出（教師信號）不符，則轉(zhuǎn)入誤差的反向傳播階段。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行的。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。一般習(xí)慣將單純隱層前饋網(wǎng)成為三層前饋網(wǎng)或三層感知器，所謂三層包括了輸入層、隱層和輸出層。輸入層到隱層之間的權(quán)值矩陣用V表示，V=（V，V，…，V，…，V），其中列向量V為隱層第個神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用W表示，W=(W，W，…，W，…，W)，其中列向量W為輸出層第個神經(jīng)元對應(yīng)的權(quán)向量。對于輸入層，有 （21） （22）對于隱層，有 （23） （24）以上兩式中，轉(zhuǎn)移函數(shù)均為單極性Sigmoid函數(shù) （25）具有連續(xù)、可導(dǎo)的特點，且有 （26）式（21）~式（26）共同構(gòu)成了三層前饋網(wǎng)的數(shù)學(xué)模型。（1）非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存儲大量的輸入—輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。在工程上及許多技術(shù)領(lǐng)域中經(jīng)常遇到這樣的問題：對某輸入—輸出系統(tǒng)已經(jīng)積累了大量相關(guān)的輸入—輸出數(shù)據(jù)，但對其內(nèi)部蘊含的規(guī)律仍未掌握，因此無法用數(shù)學(xué)方法來描述該規(guī)律。對于這類問題，多層前饋網(wǎng)絡(luò)具有無可比擬的優(yōu)勢。這種能力稱為多層前饋網(wǎng)的泛化能力，它是衡量多層前饋網(wǎng)絡(luò)性能優(yōu)劣的一個重要的指標(biāo)。因為對權(quán)值矩陣的調(diào)整過程也是從大量的樣本對中提取統(tǒng)計特性的過程，反映正確規(guī)律的知識來自全體樣本，個別樣本中的錯誤不能左右對權(quán)值矩陣的調(diào)整。正向傳播時，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而或得各層單元的誤差信號，此誤差信號即作為修正各單元權(quán)值的依據(jù)。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。 網(wǎng)絡(luò)誤差與權(quán)值調(diào)整當(dāng)網(wǎng)絡(luò)誤差與期望輸出不等時，存在輸出誤差E，定義如下 (27)將以上誤差定義式展開至隱層，有 (28)進(jìn)一步展開至輸入層，有 (29)由上式可以看出，網(wǎng)絡(luò)誤差是各層權(quán)值、的函數(shù)，因此調(diào)整權(quán)值可改變誤差。 BP算法的原理推導(dǎo)式(28)僅是對權(quán)值調(diào)整思路的數(shù)學(xué)表達(dá)，而不是具體的權(quán)值調(diào)整計算公式。在全部推導(dǎo)過程中，對輸出層均有；；對隱層均有；。下面推導(dǎo)如何求和。對于輸出層，利用式(27)，可得 (220)對于隱層，利用式(28)，可得 (221)將以上結(jié)果帶入式(215)，并應(yīng)用激活函數(shù)的性質(zhì)得， (222) (223)至此兩個誤差信號的推導(dǎo)已完成，將式(216)代回到式(213)，得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式為 (224) (225) BP算法的程序?qū)崿F(xiàn)之前推導(dǎo)出的算法是BP算法的基礎(chǔ)，稱為標(biāo)準(zhǔn)BP算法。（1）初始化 對權(quán)值矩陣、賦隨機(jī)數(shù)，將樣本模式計數(shù)器和訓(xùn)練次數(shù)計數(shù)器置1，總誤差置0，學(xué)習(xí)率設(shè)為0~1間小數(shù)，網(wǎng)格訓(xùn)練后達(dá)到的精度設(shè)為一正小數(shù)；（2）輸入訓(xùn)練樣本計算各層輸出，用當(dāng)前樣本、對向量數(shù)組、賦值，計算和中各分量；（3）計算網(wǎng)絡(luò)輸出誤差 設(shè)共有對訓(xùn)練樣本，網(wǎng)絡(luò)對應(yīng)不同的樣本具有不同的誤差，可用其中最大者代表網(wǎng)絡(luò)的總誤差，也可以用其均方根作為網(wǎng)絡(luò)的總誤差；（4）計算各層誤差信號 即計算和；（5）調(diào)整各層權(quán)值 計算、中各分量；（6）檢查是否對所有樣本完成一次輪訓(xùn) 若，計數(shù)器、增1，返回步驟2，否則轉(zhuǎn)步驟5。由于單樣本訓(xùn)練只針對每個樣本產(chǎn)生的誤差進(jìn)行調(diào)整，難免顧此失彼，使整個訓(xùn)練的次數(shù)增加，導(dǎo)致收斂速度過慢。由于批訓(xùn)練遵循以減小全局誤差的原則，因而可以保證總誤差向減小方向變化。批訓(xùn)練流程可參見圖24。第3章 基于BP神經(jīng)網(wǎng)絡(luò)的脈沖噪聲檢測 脈沖噪聲圖像的數(shù)學(xué)模型一般來說，圖像中像素的灰度是連續(xù)漸變的，脈沖噪聲點的灰度是該點正?；叶扰c噪聲灰度的疊加，由于脈沖噪聲的上沖與下沖特性，其灰度值往往接近于圖像中最大或最小的灰度值，從而與其周圍相鄰像素點的灰度值相差較大。即： （31）其中：可取1或0,0代表原圖像像素，1代表該元素所對應(yīng)的原圖像像素為脈沖噪聲。 脈沖噪聲模型為了更好地驗證本文方法對各種脈沖噪聲圖像的去噪性能，下面給出兩種脈沖噪聲模型。當(dāng)時，為椒鹽噪聲。 噪聲檢測弱分類器的設(shè)計根據(jù)脈沖噪聲的圖像特征，利用待識別像素及其鄰域灰度差值來判斷一個像素是否為噪聲點。由上面給出的脈沖噪聲模型定義易見，噪聲點必然取0或255附近的某個值。若當(dāng)前點像素值位于區(qū)間內(nèi)，則分類為信號點；否則，分類為噪聲點。易見，確定邊界和的準(zhǔn)確度，將直接影響該弱分類器的精度。而且，同一個弱分類器，對于不同噪聲密度的含噪圖像也會表現(xiàn)出不同的分類能力。BP神經(jīng)網(wǎng)絡(luò)的設(shè)計包括訓(xùn)練樣本集設(shè)計、訓(xùn)練與測試和網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計三方面內(nèi)容。一般來說，訓(xùn)練樣本數(shù)越多，訓(xùn)練結(jié)果越能正確反映其內(nèi)在規(guī)律，但樣本數(shù)據(jù)多到一定程度時，網(wǎng)絡(luò)的精度也很難進(jìn)一步提高，訓(xùn)練誤差與樣本數(shù)之間的關(guān)系如圖31所示。一些學(xué)者經(jīng)過長時間的學(xué)習(xí)實踐，總結(jié)出了一個關(guān)于樣本數(shù)的經(jīng)驗規(guī)則：訓(xùn)練樣本數(shù)是網(wǎng)絡(luò)連接權(quán)總數(shù)的5到10倍。 樣本的選擇與組織網(wǎng)絡(luò)訓(xùn)練中提取的規(guī)律都蘊含在樣本中，因此樣本一定要有代表性。即使是同一類樣本也要照顧樣本的多樣性與均勻性。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓(xùn)練集中隨機(jī)選擇輸入樣本。當(dāng)各類樣本輪流集中輸入時，網(wǎng)絡(luò)的訓(xùn)練會出現(xiàn)振蕩使訓(xùn)練時間延長。本文中輸入量為由弱分類器分類得到的0,1序列。在訓(xùn)練樣本選擇上遵循如下準(zhǔn)則：（1）半數(shù)以上弱分類器能夠正確分類的像素點作為待選樣本，確保樣本特征明顯；（2）樣本數(shù)量約為網(wǎng)絡(luò)連接權(quán)總數(shù)的10倍，確保樣本的多樣性；（3）不同類別樣本（目標(biāo)結(jié)果為0或1）數(shù)量大致相等，確保樣本的均勻性；（4）隨機(jī)抽取，確保樣本間的不相關(guān)性。其中，輸入層節(jié)點數(shù)等于弱分類器的個數(shù)；輸出層的節(jié)點數(shù)為1；隱層節(jié)點數(shù)可根據(jù)輸入層節(jié)點數(shù)確定。在設(shè)計多層前饋網(wǎng)絡(luò)時，一般來說先考慮設(shè)計一個隱層。但是實際上，我們可以同多增加隱層的節(jié)點數(shù)來改善這個問題，不需要多設(shè)置一個隱層。2. 輸入層節(jié)點數(shù)在前文中己經(jīng)說明本文章中輸入變量為由弱分類器分類得到的0,1序列。3. 輸出層節(jié)點數(shù)本文選擇數(shù)值表示法，即輸出值為[0,1]內(nèi)實數(shù)，認(rèn)為是噪聲點。4. 隱含層節(jié)點數(shù)隱含層節(jié)點的作用是從樣本中提取并儲存其內(nèi)在的規(guī)律，每個節(jié)點有若干個權(quán)值，而每個權(quán)值都是增強網(wǎng)絡(luò)映像能力的一個參數(shù)。但是現(xiàn)實中我們無法實現(xiàn)無數(shù)個隱含層節(jié)點，我們必學(xué)根據(jù)需要確定隱含層節(jié)點數(shù)。另一方面，隱含層節(jié)點數(shù)量過多，則有可能把非規(guī)律性的內(nèi)容如噪音也學(xué)會記牢，從而出現(xiàn)“過擬合”的現(xiàn)象，反而降低了神經(jīng)網(wǎng)絡(luò)的泛化能力。因此，設(shè)置多少個隱含層節(jié)點取決于訓(xùn)練樣本的多少、樣本噪聲的大小以及樣本中蘊含規(guī)律的復(fù)雜程度。在適用試湊法的時候，可以用一些確定隱含層節(jié)點數(shù)的經(jīng)驗公式。有以下幾個公式: （36） （37） （38）以上各式中，為隱藏節(jié)點數(shù)，為輸入層節(jié)點數(shù)，為輸出層節(jié)點數(shù)，為1 ~10之間的常數(shù)。根據(jù)該算法，在訓(xùn)練過程中影響小的權(quán)值將逐漸衰減到零，因此可以去掉相應(yīng)的節(jié)點，最終