【文章內(nèi)容簡介】 后，傳至輸出層。在計算處理過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，如果在輸出層得到的結(jié)果不是所期望的輸出，那么就轉(zhuǎn)為反向傳播。反向傳播把誤差信號沿原連接路徑返回，并按照一定的原則對各層神經(jīng)元的連接權(quán)值進(jìn)行適當(dāng)修改，直至第一個隱層，這時再開始進(jìn)行正向傳播，利用剛才的輸入信息進(jìn)行正向網(wǎng)絡(luò)計算，如果網(wǎng)絡(luò)的輸出達(dá)到了誤差要求，則學(xué)習(xí)過程結(jié)束，如果網(wǎng)絡(luò)的輸出達(dá)不到誤差要求，則再進(jìn)行反向傳播的連接權(quán)值調(diào)整。這一過程不斷往復(fù)，直到網(wǎng)絡(luò)正向計算的輸出結(jié)果達(dá)到誤差要求為止，這時學(xué)習(xí)就告結(jié)束。網(wǎng)絡(luò)的訓(xùn)練過程結(jié)束之后，在用于求解實際問題時就只須使用正向傳播，而不需要再進(jìn)行反向傳播了。BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程如下： (1).選擇一組訓(xùn)練樣例，每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成。一般來說，神經(jīng)網(wǎng)絡(luò)的輸入信息是一個向量( ， ，… ， )，我們稱之為輸入1X2NiX向量，神經(jīng)網(wǎng)絡(luò)的輸出信息也是一個向量( ， ，… ， )，我們稱之為輸出向量。Y2oY(2).從訓(xùn)練樣例集當(dāng)中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。 (3).分別計算經(jīng)過神經(jīng)元處理后的各層節(jié)點的輸出。 (4).計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差。 (5).從輸出層反向計算到第一個隱層，并按照能使誤差向減小最快的方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。 (6).對訓(xùn)練樣例集當(dāng)中的每一個樣例重復(fù)(3)(5)的步驟，直到整個訓(xùn)練樣例北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）7集的誤差達(dá)到要求時為止。 　BP 網(wǎng)絡(luò)學(xué)習(xí)的整體步驟 ，包括網(wǎng)絡(luò)的層數(shù)和網(wǎng)絡(luò)各層的節(jié)點數(shù)。 并且合理選擇神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)，包括學(xué)習(xí)效率 η 和沖量參數(shù) α，這兩個參數(shù)一般都設(shè)置成小于 1 的正數(shù)。同時，還要確定神經(jīng)網(wǎng)絡(luò)的平均誤差容限。一般來說，最基本的 BP神經(jīng)網(wǎng)絡(luò)至少要包含三層：輸入層，隱層，輸出層。此處為了簡便起見，我們以最基本的BP 神經(jīng)網(wǎng)絡(luò)為例來進(jìn)行說明。其中，網(wǎng)絡(luò)的輸入層節(jié)點的數(shù)目和輸出層節(jié)點的數(shù)目是根據(jù)訓(xùn)練樣例來確定的，輸入層的節(jié)點數(shù)目等于每一個訓(xùn)練樣例當(dāng)中，輸入向量所包含的分量數(shù)目；輸出層的節(jié)點數(shù)目等于每一個訓(xùn)練樣例當(dāng)中，輸出向量所包含的分量數(shù)目。隱層節(jié)點數(shù)目的選擇沒有確定的指導(dǎo)原則，是帶有嘗試性的。在實踐中，我們認(rèn)為，應(yīng)該按照以下兩個原則來選擇隱層節(jié)點的數(shù)目： ，并且能夠讓神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程的收斂速度最快。 。 ，將其初始化成[1,+1] 區(qū)間內(nèi)的隨機數(shù)。此處，為了表示方便，我們分別用 , , 來表示輸入層，隱層和輸出層的節(jié)iNho點數(shù)目。在 BP 神經(jīng)網(wǎng)絡(luò)中，對于隱層的第 i 個節(jié)點來說 (i=1,2,…, )，它具有 個hNi連接權(quán)值 , ,…, ，這 個連接權(quán)值分別對應(yīng)于輸入層的 個節(jié)點；此外，它還39。1iW39。2i39。iNi i具有自己的閾值 。對于輸出層的第 j 個節(jié)點來說(j=1,2,…, )，它具有 個連接權(quán)值39。i? oh, ,…, ，這 個連接權(quán)值分別對應(yīng)于隱層的 個節(jié)點；此外，它還具有自己1j2jhjNh hN的閾值 。j K 個訓(xùn)練樣例。對訓(xùn)練樣例集當(dāng)中的每個訓(xùn)練樣例，進(jìn)行第四步～第六步處理。每個訓(xùn)練樣例包括輸入向量 X=( ， ，… ， )和期望的1X2NiX輸出向量 Y=( ， ，…， )。當(dāng)對訓(xùn)練樣例集中所有的樣例都進(jìn)行了第四步～第六1Y2No步的處理之后，就完成了學(xué)習(xí)過程的一次迭代。第四步，正向傳播。根據(jù)當(dāng)前的訓(xùn)練樣例，逐層正向計算網(wǎng)絡(luò)各層節(jié)點的實際輸出。對于隱層的第 i 個節(jié)點來說(i=1,2,…, ) ，其輸出值為 。其中，h)(139。39。???INjijiiiXWfH?是隱層第 i 個節(jié)點關(guān)于輸入層的第 j 個節(jié)點的連接權(quán)值， 是來自于輸入層的第 j 39。ijWj個節(jié)點的輸入值，也就是當(dāng)前的訓(xùn)練樣例的輸入向量當(dāng)中的第 j 個分量， 是隱層第 i 39。i?個節(jié)點的閾值。對于輸出層的第 i 個節(jié)點來說(i=1,2,…, )，其輸出值為oN北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）8其中， 是輸出層第 i 個節(jié)點關(guān)于隱層的第 j 個節(jié)點的連接權(quán))(1???hNjijiiiHWfO?ij值， 是來自于隱層的第 j 個節(jié)點的輸出值， 是輸出層第 i 個節(jié)點的閾值。而式中的j i?函數(shù) ，為 S 型激發(fā)函數(shù)。xef??1)(第五步，計算當(dāng)前訓(xùn)練樣例的輸出誤差。設(shè)當(dāng)前的訓(xùn)練樣例的實際輸出向量為( ， ，…， )，期望輸出向量為( ， ，…， )，則當(dāng)前的訓(xùn)練樣例的輸出誤1O2No1Y2No差為 。???iiipOYE12第六步，反向傳播。根據(jù)當(dāng)前訓(xùn)練樣例所產(chǎn)生的輸出值，反向逐層計算網(wǎng)絡(luò)各節(jié)點的偏差信號 δ，并根據(jù)這個偏差信號來調(diào)整網(wǎng)絡(luò)各節(jié)點的連接權(quán)值和閾值。具體的說，是進(jìn)行如下的計算： 1).計算輸出層和隱層的各節(jié)點的偏差信號。對于輸出層的第 i 個節(jié)點來說(i=1,2,…, )，oN其偏差信號為 。其中， 表示輸出層的第 i 個節(jié)點的輸出值，)(1iiii OY???i表示當(dāng)前的訓(xùn)練樣例的期望輸出向量當(dāng)中的第 i 個分量。對于隱層的第 i 個節(jié)點來說iY(i=1,2,…, )，其偏差信號為 。其中， 表示隱層的第 i 個節(jié)hN???oNjjiiii WH139。 )(??iH點的輸出值， 表示輸出層的第 j 個節(jié)點關(guān)于隱層的第 i 個節(jié)點的連接權(quán)值， 表示輸jiWj?出層的第 j 個節(jié)點的偏差信號。2).根據(jù)輸出層和隱層各節(jié)點的偏差信號，對輸出層和隱層的各節(jié)點的連接權(quán)值和閾值進(jìn)行調(diào)整。對于輸出層的第 i 個節(jié)點來說(i=1,2,…, )，oN， ，)()1( tOt ijiiij ?????????? )1()(1????tWttijijij, 。其中 表示當(dāng)前輸iii ?? )(iii ?ij出層第 i 個節(jié)點關(guān)于隱層第 j 個節(jié)點的連接權(quán)值， 表示當(dāng)前輸出層第 i 個節(jié)點)ti的閾值， )和 分別表示上次調(diào)整時計算出的連接權(quán)值和閾值， 和(tWijti )1(??tij分別表示當(dāng)前連接權(quán)值和閾值的變化量， 和 分別表示上次調(diào)整時1??ti? )(tWij?)(ti?連接權(quán)值和閾值的變化量， 和 分別是輸出層第 i 個節(jié)點的輸出值和偏差信號， 和iOi? ?北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）9分別是學(xué)習(xí)效率和沖量參數(shù)。對于隱層的第 i 個節(jié)點來說(i=1,2,…, ),? hN, ,)()1(39。39。39。 tWHtWijiiij ?????????? )1()(1(39。39。39。 ????tWttijijij， 。其中， 表示當(dāng)39。39。39。 iii ?? ))(139。39。39。 ??tiii ?39。ij前隱層第 i 個節(jié)點關(guān)于輸入層第 j 個節(jié)點的連接權(quán)值， 表示當(dāng)前隱層第 i 個節(jié)點39。ti的閾值， 和 分別表示上次調(diào)整時計算出的連接權(quán)值和閾值， 和)(39。tij39。ti )1(39。??tij分別表示當(dāng)前連接權(quán)值和閾值的變化量， 和 分別表示上次調(diào)整時139。??ti? )(39。tWij?)(39。ti?連接權(quán)值和閾值的變化量， 和 分別是隱層第 i 個節(jié)點的輸出值和偏差信號， 和iH39。i? ?分別是學(xué)習(xí)效率和沖量參數(shù)。初始時，所有節(jié)點的連接權(quán)值的變化量和閾值的變化量都?被初始化為 0。 ??KpE1 第七步，計算神經(jīng)網(wǎng)絡(luò)的輸出誤差 。其中， 是訓(xùn)練樣例集當(dāng)中第 P ?KpE1p個訓(xùn)練樣例的輸出誤差。若 E≤ (神經(jīng)網(wǎng)絡(luò)的平均誤差容限 )，或者學(xué)習(xí)過程達(dá)到了指定?的迭代次數(shù)，則學(xué)習(xí)過程結(jié)束，否則轉(zhuǎn)向第三步，準(zhǔn)備進(jìn)行學(xué)習(xí)過程的下一次迭代。北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）10開始連接權(quán)及閾值初始化學(xué)習(xí)模式對提供給網(wǎng)絡(luò)計算中間層各單元的輸入 、 輸出計算輸出層各單元的輸入 、 輸出計算輸出層各單元的校正誤差計算中間層各單元的校正誤差調(diào)整中間層至輸出層之間的連接權(quán)及輸出層各單元的輸出閾值調(diào)整輸入層至中間層之間的連接權(quán)及輸出層各單元的輸出閾值更新學(xué)習(xí)輸入模式更新學(xué)習(xí)次數(shù)全部模式訓(xùn)練完 ？誤差 ε 或?qū)W習(xí)次數(shù) N ？學(xué)習(xí)結(jié)束NNYY圖 25 　　BP 網(wǎng)絡(luò)學(xué)習(xí)過程圖北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）11第三章　　圖像的預(yù)處理系統(tǒng)的程序分為圖像預(yù)的預(yù)處理和 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練識別兩大模塊。本章主要介紹的是圖像預(yù)處理過程。在圖像的預(yù)處理過程中，采用了許多圖像處理的技術(shù)，最后將每個數(shù)字的特征提取出來。這些技術(shù)包括，圖像的灰度化、圖像的二值化、圖像的梯度銳化、去除離散的雜點噪聲、圖像整體傾斜度的調(diào)整、字符分割、圖像的歸一化處理、圖像的緊縮重排等。圖 31　　初始讀入的 256 色位圖　256 色位圖灰度化對于 256 色的位圖的調(diào)色板內(nèi)容比較復(fù)雜，是的對于圖像的處理的許多算法都沒有辦法展開，因此有必要其進(jìn)行灰度的處理。所謂灰度圖像就是圖像的每一個像素 R，G，B 分量的值是相等的。彩色圖像 R， G，B 的值是不相同的，所有顯示出紅綠藍(lán)的各種顏色?；叶葓D像沒有顏色的差異，只有亮度的不同。灰度值大的像素點比較亮（最大為 255，白色） ，灰度值小的像素點比較暗（像素值最小為 0，黑色） 。圖像的灰度化有各種不同的算法，比較直接的一種就是給像素的 RGB 值各自一個加權(quán)系數(shù)，然后求和，同時還要對調(diào)色板表項進(jìn)行相應(yīng)的處理。根據(jù)人眼對紅綠藍(lán)三色的敏感程度，可以使用以下比例式進(jìn)行轉(zhuǎn)換： ????BGRray經(jīng)過灰度處理后的 256 色位圖如圖 32 所示。 圖 32　　經(jīng)過灰度處理的文件　灰度圖像二值化進(jìn)行灰度化的處理后，圖像的每個像素均只有一個值，即像素的灰度值?；叶戎档拇笮Q定了像素的明暗程度。為了更加便利的進(jìn)行圖像處理，還需要做二值化處理。圖像的二值化就是把圖像中的像素根據(jù)一定的標(biāo)準(zhǔn)劃分為兩種顏色。本設(shè)計中劃分為黑色和白色。圖像的二值化也有很多成熟的算法，這里采用給定閾值的算法。因為考慮到所要處理的圖像大多是從印刷物上掃描得來的，底色多為白色，所以將這個閾值固定為 220。二值化實現(xiàn)的流程圖如下。北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）12確定像素點的灰度值開始灰度值是否大于 2 2 0 ？輸出白色點 輸出黑色點結(jié)束進(jìn)行圖像掃描Y N 圖 33　　二值化流程圖圖 34　　二值化后的圖片　圖像的梯度銳化由于需要處理的圖像很多是由印刷出版物上掃描得來的，所以經(jīng)常會有字體模糊的情況，給識別圖像帶來一定的困難。所以需要進(jìn)行圖像梯度銳化的處理，使較為模糊不清的圖像變得清晰可見，同時可以對離散噪聲起一定的消除作用。圖像銳化的方法很多，這里采用的方法屬于微分法。采用 Roberts 梯度算子對圖像進(jìn)行銳化。定義如下：設(shè)原始圖像上的點為 ,定義 在 處的梯度矢量為：)(yxf),(yxf, |1,|,1(),|)],([ ?????jijijififjifG設(shè)一個判定閾值為 ，變化后的圖像 定義為：?),(yxg北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）13 ?),(][),(yxfGg????)],([yxf通過公式可以看出梯度銳化可以讓模糊的邊緣變得清楚，同時選擇合適的閾值還可以減弱和消除一些細(xì)小噪聲。梯度銳化具備一定的去噪聲能力，但同時會對字符的邊緣有所損傷。圖 35　　梯度銳化后的圖像　去除離散的雜點噪聲圖像可能會在掃描或者傳送過程中夾帶了一些噪聲，去除噪聲在圖像處理中是一種常用的方法。通常去除離散噪聲使用濾波的方法，比如中值濾波，均值濾波。但這些算法不適合處理數(shù)字字符這樣目標(biāo)細(xì)長的圖像，因為在濾波的過程中很可能會去除掉字符本身的像素。這里是采用去除雜點的方法進(jìn)行去噪聲處理。具體算法如下：首先掃描整個圖像，當(dāng)發(fā)現(xiàn)單個黑色點的時候，就考察和該黑色點間接或直接相連的黑色點的個數(shù)有多少，如果大于一定的數(shù)值，那就說明該點不是離散點，否則就屬于離散點，應(yīng)當(dāng)把它去掉。在考察黑色點是否相連的情況用的是遞歸的方法。具體流程如下圖所示。北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）14初始化判斷當(dāng)前像素點鄰近的八點像素值是否為 2 2 0開始將此像素點變?yōu)榘咨讼袼攸c不變結(jié)束判斷當(dāng)前像素點是否為白色點NYNY圖 36　　去處離散噪聲流程圖圖 37　　去除離散雜點噪聲后的圖像　整體傾斜度調(diào)整因為讀取進(jìn)來的圖像有可能存在角度傾斜，所以必須進(jìn)行位置調(diào)整，使得字符大致處在同一水平位置，這樣既便于其后字符的分割，也可以增加字符識別的準(zhǔn)確率。調(diào)整的算法主要是依據(jù)圖像左右兩邊的黑色像素的平均高度來確定。一般來說，由眾多的字符組成的圖像，它的左右兩邊的字符像素的高度應(yīng)該是處于水平位置附近的，如果兩邊字符像素的平均位置存在比較大的落差，那就說明圖像存在傾斜，需要進(jìn)行傾斜調(diào)整。具體說來，首先要分別計算機圖像左半邊和右半邊的平均高度，然后求得斜率，根據(jù)斜率重新編輯圖像，北京理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計（論文）15里面包含了一個從新圖像到舊圖像的像素映射。如果新圖像的像素映射到舊圖像中時超出了舊圖像的范圍，則把新圖像中的該像素設(shè)置為白色。圖 38　　經(jīng)過傾斜度調(diào)整后的圖像　字符分割系統(tǒng)讀取進(jìn)來的圖像一般會包含不止一個數(shù)字，識別的時候只能根據(jù)每一個字符的特征獨立進(jìn)行