【文章內(nèi)容簡(jiǎn)介】 中，在其后的工作階段，當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力，它是衡量多層前饋網(wǎng)絡(luò)性能優(yōu)劣的一個(gè)重要的指標(biāo)。（3）容錯(cuò)能力 多層前饋網(wǎng)絡(luò)的魅力還在于，允許輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤。因?yàn)閷?duì)權(quán)值矩陣的調(diào)整過(guò)程也是從大量的樣本對(duì)中提取統(tǒng)計(jì)特性的過(guò)程，反映正確規(guī)律的知識(shí)來(lái)自全體樣本，個(gè)別樣本中的錯(cuò)誤不能左右對(duì)權(quán)值矩陣的調(diào)整。 BP學(xué)習(xí)算法BP算法的基本思想是，學(xué)習(xí)過(guò)程中由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望輸出（教師信號(hào)）不符，則轉(zhuǎn)入是、誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而或得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)爭(zhēng)相傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出地誤差減小到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 網(wǎng)絡(luò)誤差與權(quán)值調(diào)整當(dāng)網(wǎng)絡(luò)誤差與期望輸出不等時(shí)，存在輸出誤差E，定義如下 (27)將以上誤差定義式展開至隱層，有 (28)進(jìn)一步展開至輸入層，有 (29)由上式可以看出，網(wǎng)絡(luò)誤差是各層權(quán)值、的函數(shù)，因此調(diào)整權(quán)值可改變誤差。顯然調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即 ； (210) ； (211)式中負(fù)號(hào)表示梯度下降，常數(shù)表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率。 BP算法的原理推導(dǎo)式(28)僅是對(duì)權(quán)值調(diào)整思路的數(shù)學(xué)表達(dá)，而不是具體的權(quán)值調(diào)整計(jì)算公式。下面推導(dǎo)三層BP算法權(quán)值調(diào)整的計(jì)算公式。在全部推導(dǎo)過(guò)程中，對(duì)輸出層均有；；對(duì)隱層均有；。對(duì)于輸出層，式(210)可寫為 (212)對(duì)于隱層，式(212)可寫為 (213)對(duì)于輸出層和隱層各定義一個(gè)誤差信號(hào)，令 (214) (215)綜合應(yīng)用式(25)和式(214)，可將式(212)的權(quán)值調(diào)整式改寫為 (216)同樣，式(215)改為 (217)可以看出，只要計(jì)算出式(212)中的誤差信號(hào)和，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面推導(dǎo)如何求和。對(duì)于輸出層，可展開為 (218)對(duì)于隱層，可展開為 (219)下面求式(213)中網(wǎng)絡(luò)誤差對(duì)各層輸出地偏導(dǎo)。對(duì)于輸出層，利用式(27)，可得 (220)對(duì)于隱層，利用式(28)，可得 (221)將以上結(jié)果帶入式(215)，并應(yīng)用激活函數(shù)的性質(zhì)得， (222) (223)至此兩個(gè)誤差信號(hào)的推導(dǎo)已完成，將式(216)代回到式(213)，得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為 (224) (225) BP算法的程序?qū)崿F(xiàn)之前推導(dǎo)出的算法是BP算法的基礎(chǔ)，稱為標(biāo)準(zhǔn)BP算法。由于目前神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)仍以軟件編程為主，現(xiàn)在介紹標(biāo)準(zhǔn)BP算法的編程步驟[13]。（1）初始化 對(duì)權(quán)值矩陣、賦隨機(jī)數(shù)，將樣本模式計(jì)數(shù)器和訓(xùn)練次數(shù)計(jì)數(shù)器置1，總誤差置0，學(xué)習(xí)率設(shè)為0~1間小數(shù)，網(wǎng)格訓(xùn)練后達(dá)到的精度設(shè)為一正小數(shù)；（2）輸入訓(xùn)練樣本計(jì)算各層輸出，用當(dāng)前樣本、對(duì)向量數(shù)組、賦值，計(jì)算和中各分量；（3）計(jì)算網(wǎng)絡(luò)輸出誤差 設(shè)共有對(duì)訓(xùn)練樣本，網(wǎng)絡(luò)對(duì)應(yīng)不同的樣本具有不同的誤差，可用其中最大者代表網(wǎng)絡(luò)的總誤差，也可以用其均方根作為網(wǎng)絡(luò)的總誤差；（4）計(jì)算各層誤差信號(hào) 即計(jì)算和；（5）調(diào)整各層權(quán)值 計(jì)算、中各分量；（6）檢查是否對(duì)所有樣本完成一次輪訓(xùn) 若，計(jì)數(shù)器、增1，返回步驟2，否則轉(zhuǎn)步驟5。從以上步驟可以看出，在標(biāo)準(zhǔn)BP算法中，每輸入一個(gè)樣本，都要回傳誤差并調(diào)整權(quán)值，這種對(duì)每個(gè)樣本輪訓(xùn)的權(quán)值調(diào)整方法又稱為單樣本訓(xùn)練。由于單樣本訓(xùn)練只針對(duì)每個(gè)樣本產(chǎn)生的誤差進(jìn)行調(diào)整，難免顧此失彼，使整個(gè)訓(xùn)練的次數(shù)增加，導(dǎo)致收斂速度過(guò)慢。另一種方法是在所有的樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差 = (226)然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值，這種積累誤差的批處理方式稱為批訓(xùn)練或周期訓(xùn)練。由于批訓(xùn)練遵循以減小全局誤差的原則，因而可以保證總誤差向減小方向變化。在樣本數(shù)較多時(shí)，批訓(xùn)練比單樣本訓(xùn)練時(shí)的收斂速度要快。批訓(xùn)練流程可參見(jiàn)圖24。初始化V、W計(jì)數(shù)器q=1，p=1輸入樣本，計(jì)算各層輸出,計(jì)算誤差計(jì)算各層誤差信號(hào)， 調(diào)整各層權(quán)值， ， pPEEmin結(jié)束p增1，q增1E=0，p=1圖24 批訓(xùn)練流程圖 本章小結(jié)本章主要介紹了神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展，是全文的理論指導(dǎo)，在本章的后半段著重介紹本文引用的BP神經(jīng)網(wǎng)絡(luò)理論的數(shù)學(xué)模型及其特性，這為我們接下來(lái)的計(jì)算機(jī)模擬仿真提供了理論依據(jù)。第3章 基于BP神經(jīng)網(wǎng)絡(luò)的脈沖噪聲檢測(cè) 脈沖噪聲圖像的數(shù)學(xué)模型一般來(lái)說(shuō)，圖像中像素的灰度是連續(xù)漸變的，脈沖噪聲點(diǎn)的灰度是該點(diǎn)正?；叶扰c噪聲灰度的疊加，由于脈沖噪聲的上沖與下沖特性，其灰度值往往接近于圖像中最大或最小的灰度值，從而與其周圍相鄰像素點(diǎn)的灰度值相差較大。為了標(biāo)識(shí)脈沖噪聲，首先定義與待檢測(cè)圖像的維數(shù)大小相同的矩陣，定義為噪聲標(biāo)識(shí)矩陣W，在該矩陣中每個(gè)矩陣元素都與待處理的噪聲圖像中每個(gè)像素相對(duì)應(yīng)，用表示。即： （31）其中：可取1或0,0代表原圖像像素，1代表該元素所對(duì)應(yīng)的原圖像像素為脈沖噪聲。W初始化為全1矩陣，在進(jìn)行噪聲檢測(cè)的過(guò)程中，根據(jù)脈沖噪聲的檢測(cè)結(jié)果將矩陣中的元素值設(shè)置為0或保持原值1。 脈沖噪聲模型為了更好地驗(yàn)證本文方法對(duì)各種脈沖噪聲圖像的去噪性能，下面給出兩種脈沖噪聲模型。1. 噪聲模型Ⅰ.對(duì)任意像素點(diǎn)，若其為信號(hào)點(diǎn)，則像素值為；若其為噪聲點(diǎn)，則像素值為，的概率密度函數(shù)定義為： （32）噪聲取值于長(zhǎng)度為的兩個(gè)固定范圍內(nèi)，噪聲點(diǎn)隨機(jī)地取范圍內(nèi)的任意值，且高強(qiáng)度和低強(qiáng)度脈沖噪聲按相同比例分布。當(dāng)時(shí)，為椒鹽噪聲。2. 噪聲模型Ⅱ. （33）其中，且類似于模型Ⅰ，但高強(qiáng)度和低強(qiáng)度脈沖噪聲按不同比例分布。 噪聲檢測(cè)弱分類器的設(shè)計(jì)根據(jù)脈沖噪聲的圖像特征，利用待識(shí)別像素及其鄰域灰度差值來(lái)判斷一個(gè)像素是否為噪聲點(diǎn)。本文噪聲判別參照傳統(tǒng)的BDND方法。由上面給出的脈沖噪聲模型定義易見(jiàn)，噪聲點(diǎn)必然取0或255附近的某個(gè)值。以當(dāng)前點(diǎn)為中心定義一個(gè)窗口： （34）對(duì)窗口內(nèi)的像素點(diǎn)排序后，要設(shè)法確定兩個(gè)邊界和，可將窗口內(nèi)的像素點(diǎn)按，劃分為3個(gè)子集，使得噪聲點(diǎn)位于和區(qū)間內(nèi)，而非噪聲點(diǎn)位于區(qū)間內(nèi)。若當(dāng)前點(diǎn)像素值位于區(qū)間內(nèi)，則分類為信號(hào)點(diǎn)；否則，分類為噪聲點(diǎn)。具體算法描述如下：（1）以當(dāng)前點(diǎn)為中心，取尺寸為窗口；（2）將窗口內(nèi)的點(diǎn)按像素值升序排序，排序后向量記為，且向量中間元素元素記為；（3）計(jì)算向量中相鄰兩個(gè)元素間的差值（后一個(gè)元素減去前一個(gè)元素），形成差異向量；（4）對(duì)于向量中位于區(qū)間內(nèi)的元素，在向量中定位最大差值位置，并將向量中相應(yīng)未知元素確定為邊界；（5）類似地，對(duì)于向量位于區(qū)間內(nèi)的元素，可以確定出邊界；若當(dāng)前點(diǎn)像素值位于區(qū)間內(nèi)，則分類為信號(hào)點(diǎn)；否則，分類為噪聲點(diǎn)。易見(jiàn)，確定邊界和的準(zhǔn)確度，將直接影響該弱分類器的精度。 噪聲檢測(cè)強(qiáng)分類器的設(shè)計(jì)對(duì)于同一像素點(diǎn)、不同尺寸的弱分類器，可能會(huì)給出相反的分類結(jié)果。而且，同一個(gè)弱分類器，對(duì)于不同噪聲密度的含噪圖像也會(huì)表現(xiàn)出不同的分類能力。因此，對(duì)于一幅含噪圖像，首先要用若干不同尺寸的弱分類器進(jìn)行分類；再綜合考慮各弱分類器針對(duì)不同噪聲密度圖像的分類能力以及各弱分類器之間的聯(lián)系，采用BP神經(jīng)網(wǎng)絡(luò)，訓(xùn)練出強(qiáng)分類器，給出最終判決，得到含噪圖像的二進(jìn)制影射圖，0代表信號(hào)點(diǎn)，1代表噪聲點(diǎn)。BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)包括訓(xùn)練樣本集設(shè)計(jì)、訓(xùn)練與測(cè)試和網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)三方面內(nèi)容。 訓(xùn)練和檢驗(yàn)樣本集設(shè)計(jì)訓(xùn)練和檢驗(yàn)數(shù)據(jù)的準(zhǔn)備工作是網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的基礎(chǔ)，數(shù)據(jù)選擇以及數(shù)據(jù)表示的科學(xué)合理性對(duì)于網(wǎng)絡(luò)設(shè)計(jì)具有極為重要的作用。一般來(lái)說(shuō)，訓(xùn)練樣本數(shù)越多，訓(xùn)練結(jié)果越能正確反映其內(nèi)在規(guī)律，但樣本數(shù)據(jù)多到一定程度時(shí)，網(wǎng)絡(luò)的精度也很難進(jìn)一步提高，訓(xùn)練誤差與樣本數(shù)之間的關(guān)系如圖31所示。誤差樣本數(shù)0圖31 網(wǎng)絡(luò)誤差與樣本數(shù)的關(guān)系實(shí)踐表明，網(wǎng)絡(luò)訓(xùn)練所需的樣本數(shù)取決于輸入輸出間非線性關(guān)系的復(fù)雜程度，映射關(guān)系越復(fù)雜，樣本中含有的噪聲越大，為了保證精度所需的樣本數(shù)也就越多，而且網(wǎng)絡(luò)的規(guī)模也越大。一些學(xué)者經(jīng)過(guò)長(zhǎng)時(shí)間的學(xué)習(xí)實(shí)踐，總結(jié)出了一個(gè)關(guān)于樣本數(shù)的經(jīng)驗(yàn)規(guī)則：訓(xùn)練樣本數(shù)是網(wǎng)絡(luò)連接權(quán)總數(shù)的5到10倍。由于本網(wǎng)絡(luò)結(jié)構(gòu)采用了“331”形式，故根據(jù)此原則，訓(xùn)練樣本數(shù)應(yīng)該設(shè)定在60到120之間，取網(wǎng)絡(luò)連接權(quán)總數(shù)的10倍，即120個(gè)訓(xùn)練樣本。 樣本的選擇與組織網(wǎng)絡(luò)訓(xùn)練中提取的規(guī)律都蘊(yùn)含在樣本中，因此樣本一定要有代表性。樣本的選擇要注意樣本類別的均衡，盡量使每個(gè)類別的樣本數(shù)量大致相等。即使是同一類樣本也要照顧樣本的多樣性與均勻性。這種“平均主義”原則選擇的樣本能使網(wǎng)絡(luò)在訓(xùn)練時(shí)見(jiàn)多識(shí)廣，而且可以避免網(wǎng)絡(luò)對(duì)樣本數(shù)量多的類別“印象深”，而對(duì)出現(xiàn)次數(shù)少的類別“印象淺”。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓(xùn)練集中隨機(jī)選擇輸入樣本。因?yàn)橥悩颖咎袝?huì)使網(wǎng)絡(luò)訓(xùn)練時(shí)傾向于只建立與其匹配的映射關(guān)系，當(dāng)另一類樣本集中輸入時(shí)，權(quán)值的調(diào)整又轉(zhuǎn)向新的映射關(guān)系而將前面的訓(xùn)練結(jié)果否定。當(dāng)各類樣本輪流集中輸入時(shí)，網(wǎng)絡(luò)的訓(xùn)練會(huì)出現(xiàn)振蕩使訓(xùn)練時(shí)間延長(zhǎng)。 輸入輸出量的選擇與表示一般來(lái)說(shuō)，輸入量是選取對(duì)輸出影響大而且能夠檢測(cè)或提取的變量。本文中輸入量為由弱分類器分類得到的0,1序列。所謂輸出量代表系統(tǒng)要實(shí)現(xiàn)的目標(biāo)功能，實(shí)際上是網(wǎng)絡(luò)訓(xùn)練的期望輸出，本文選擇數(shù)值表示法，即輸出值為[0,1]內(nèi)實(shí)數(shù)，認(rèn)為是噪聲點(diǎn)。在訓(xùn)練樣本選擇上遵循如下準(zhǔn)則：（1）半數(shù)以上弱分類器能夠正確分類的像素點(diǎn)作為待選樣本，確保樣本特征明顯；（2）樣本數(shù)量約為網(wǎng)絡(luò)連接權(quán)總數(shù)的10倍，確保樣本的多樣性；（3）不同類別樣本（目標(biāo)結(jié)果為0或1）數(shù)量大致相等，確保樣本的均勻性；（4）隨機(jī)抽取，確保樣本間的不相關(guān)性。 多層前饋網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)為單隱層的3層前饋網(wǎng)，包括輸入層、隱層和輸