【文章內(nèi)容簡介】 算 ： )()](),(),([)()1( tXtidtXtiWcrtiWtiW ??? 式（ 24） 離散學(xué)習(xí)步驟可寫成 kkikkikiki XdXWcrWW ],[1 ??? 式 （ 25） 其中 c是一個正常數(shù)，成為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。 Delta 學(xué)習(xí)規(guī)則 僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學(xué)習(xí)模型有效。 學(xué)習(xí)信號為 ? ?? ? )( XWfXWfdr TiTii ??? 式 （ 26） )( XWf Ti? 是激活函數(shù) )(f 對 XW Ti? 的導(dǎo)數(shù)。 ]13[ 這個學(xué)習(xí)規(guī)則可以從 iO 與 id 最小方差得出 。 方差 ? ?221 ii OdE ?? 式 （ 27） ? ?2)(21 XWfdE Tii ?? 式 （ 28） 誤差梯度矢量 XXWfOdE Tiii )()( ????? 式（ 29） 梯度矢量分量 jTiiiij XWfOdWE )()( ?????? ),2,1( nj ?? 式 （ 210） 由于最小誤差要求權(quán) 變換是負(fù)梯度方向，所以取 EciW ???? 式（ 211） 式中 c—— 正常數(shù)。 Xn etfOdcW iiii )()( ???? 式 （ 212） 天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 7 XW Tii ? 式 （ 213） jiiiij Xn etfOdcW )()( ???? ),2,1( nj ?? 式 （ 214） X1 X2 X3 Xn W1 W 2 W3 W 4 f (n e t ) Oi di _ + di Oi + + r c X Δ W i 連續(xù)激活函數(shù) 圖 24 Delta 學(xué)習(xí)過程 BP 網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)有很多種，本設(shè)計采用使用最廣泛的 BP 網(wǎng)絡(luò)。 對多層網(wǎng)絡(luò)的訓(xùn)練方法 即 誤差逆?zhèn)鞑ニ惴?（ Error BackPropagation Training）。 主要意思是從后向前計算，所以把這種算法進行誤差校正的多層前饋網(wǎng)絡(luò) 稱 為 BP網(wǎng)絡(luò)。 誤差逆?zhèn)鞑バＵ椒? 誤差逆?zhèn)鞑?校 正方法是利用實際輸出與期望輸出 的 差 值 對網(wǎng)絡(luò)的各層連接權(quán)由后向前逐層 的 進行校正的一種計算方法。下面 分析 一個三層網(wǎng)絡(luò)模型的誤差逆?zhèn)鞑W(xué)習(xí)規(guī)則的原理。 這個網(wǎng)絡(luò)的輸入層有 n個神經(jīng)元，輸出層有 q個神經(jīng)元，中間層有 P 個神經(jīng)元。由于中間層與輸入、輸出端沒有直接的聯(lián)系，所以也常把中間層成為隱含層。首先把網(wǎng)絡(luò)的變量設(shè)置如下： 輸入層至中間層的連接權(quán) ijW 中間層至輸出層的連接權(quán) jtV 中間層各單元的閾值 j? 輸出層各單元的閾值 t? 天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 8 其中 ni ,2,1 ?? ； pj ,2,1 ?? ； qt ,2,1 ?? ； mk ,2,1 ?? 這里 激活函數(shù)采用 S 型函數(shù) ： xexf ???1 1)( 式（ 215） 這里之所以 選擇 S 型函數(shù)作為 BP 網(wǎng)絡(luò)神經(jīng)元的激活函數(shù)，是因為它是連續(xù)可微分的 ，而且更接近生物神經(jīng)元的信號輸出形式。 激活函數(shù)的導(dǎo)數(shù)為 )](1)[()(39。 xfxfxf ?? 式（ 216） 這里的學(xué)習(xí)規(guī)則實際上是一種 Delta 學(xué)習(xí)規(guī)則， 應(yīng)使 jtV 的調(diào)整量 jtV? 與jtkVE?? 的負(fù)值成正比例變化，所以中間層至輸出層連接權(quán)的調(diào)整量應(yīng)為 jtV?jtkVE????? ? 式（ 217） 通過推到 ，可得 jtV? kjbktcktck ????? )1(?? 式（ 218） 為了進一步簡化，設(shè) ktd 為 kE 對輸出層輸入 ktl 的負(fù)偏導(dǎo)，則 ktd )1( ktcktcktktlktcktc kEktl kE ?????????????? ? 式（ 219） 所以 kjbktdjtV ???? ? 式（ 220） 10 ??? ， qt ,2,1 ?? ， pj ,2,1 ?? ， mk ,2,1 ?? 。 同理，輸入層至中間層連接權(quán)的調(diào)整仍按梯度下降法的原則進行。與 jtV? 類似，連接權(quán) ijW 的調(diào)節(jié)量為 ： kikjijkij aeWEW ???????? ?? 式（ 221） 其中， 10 ??? ),2,1。,2,1( pjni ?? ?? 同樣也可求出閾值的調(diào)整量，利用對于連接權(quán)的調(diào)整公式 kjktjt bdV ???? ? ， 取輸出層的輸入 kjb 1? 帶入 上式，則輸出層閾值的調(diào)整量為 ： ktt d??? ?? ),2,1( qt ?? 式（ 222） 天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 9 同理根據(jù) kikjij aeW ???? ? ， 取中間層的輸入 1?kia ，則中間層的閾值的調(diào)整量為 ： kjej ??? ?? ),2,1( pj ?? 式（ 223） 以上的推到僅是針對某一組學(xué)習(xí)模式進行的 ，其誤差也是某一組的誤差。對于全部的輸入模式，我們有網(wǎng)絡(luò)的全局誤差 :E 2/1 1 2)(1 ?? ?? ????? mk qt ktcktymk kEE 式（ 224） 從以上推倒可以看出，各個連接權(quán)的調(diào)整量是分別于各個學(xué)習(xí)模式對的誤差函數(shù) kE 成正比例變化的，這種方法稱為標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴ā? BP 網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則實現(xiàn)的是學(xué)習(xí)模式集合上平方和誤差 kE （或 E ）的梯度下降，而不是特定某個分量的絕對誤差 kj? 的梯度下降。因此，每次校正完后，網(wǎng)絡(luò)輸出端的誤差對于某些神經(jīng)元來說也有可能增加，但在進行多次反復(fù)計算后，其誤差還是應(yīng)該變小的。 BP 網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與計算方法 圖 25 多層前饋網(wǎng)絡(luò)結(jié)構(gòu)示意圖 這是 一種三層 的 BP 網(wǎng)絡(luò)，一般來講， BP 網(wǎng)是一種具有三層或三層以上的多層神經(jīng)元網(wǎng)絡(luò)，它的左、右各層之間各個神經(jīng)元 之間 實現(xiàn)全連接，即左層的每一個神經(jīng)元與右層的每個神經(jīng)元都有連接，而同層內(nèi)的各神經(jīng)元無 相互 連接。BP 網(wǎng) 絡(luò)按有教師學(xué)習(xí)方式進行訓(xùn)練，當(dāng)一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，其神經(jīng)元的激活值將從輸入層經(jīng)各中間層 （隱層） 向輸出層傳播，在輸出層的各個神經(jīng)元輸出對應(yīng)于輸入模式的網(wǎng)絡(luò)響應(yīng)。然后，在減少希望輸出與 實際輸出誤差的原則，天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 10 從輸出層經(jīng)各中間層、最后回到輸入層逐層修正 連接權(quán)。由于這種修正過程是從輸出到輸入逐層進行的，所以稱它為 “誤差逆?zhèn)鞑ニ惴?”。 由于 BP 網(wǎng) 絡(luò) 有處于中間位置的隱含層，并有相應(yīng)的學(xué)習(xí)規(guī)則可循，可訓(xùn)練這種網(wǎng)絡(luò)，使其具有對非線性 模式的識別能力。特別是它的數(shù)學(xué)意義明確、步驟分明的學(xué)習(xí)算法，更 使它 具有廣泛 的 應(yīng)用前景。 BP 網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成： （ 1） 輸入模式順傳播（輸入模式由輸入層經(jīng)中間層向輸出層傳播計算）， （ 2） 輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層）， （ 3） 循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠嬎憬?jīng)過反復(fù)交替循環(huán)進行）， （ 4） 學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。 BP 網(wǎng)絡(luò) 學(xué)習(xí)整體 步驟 （ 1） 初始化，給各連接權(quán) ijW 、 jtV 及閾值 j? 、 t? 賦予 ? ?1,1?? 之間的隨機值。 （ 2） 隨機選取一 個 模式對量為 ? ?knakakakA ,2,1 ?? ， ? ?kqykykykY ,2,1 ?? 提供給網(wǎng)絡(luò)。 （ 3） 用輸入模式 ? ?knakakakA ,2,1 ?? ，連接權(quán) ijW 和閾值 j? 計算中間層各神經(jīng)元的輸入 js （激活值），然后用 js 通過激活函數(shù)計算中間層各單元的輸出 jb ： jb )( jsf? 式（ 225） 式中： jiani ijWjs ????? 1 式（ 226） （ 4）用中間層的輸出 jb 、連接權(quán) jtV 和閾值 t? 計算輸出層個單元的輸入 tl （激活值），然后用 tl 通過激活函數(shù)計算輸出層各單元的響應(yīng) tc tc )(tlf? 式（ 227） 式中： tl tjbpj jtV ?????? 1 ),2,1( qt ?? 式（ 228） （ 5）用希望輸出模式 ? ?kqykykykY ,2,1 ?? ，網(wǎng)絡(luò)實際輸出 tc 計算輸出層個單元天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 11 的校正誤差 ktd ： ktd )1()( tctctckty ???? )1(1 kjbkjbqt jtVktd ???? ?? ?????? 式（ 229） （ 6）用 jtV ， ktd ， jb 計算中間層的校正誤差 kje ： kje )1(1 kjbkjbqt jtVktd ???? ?? ?????? ),2,1( pj ?? 式（ 230） (7)用 jtV ， ktd ， jb 和 t? 計算下一次的中間層和輸出層之間的新連接權(quán)： ? ? jbktdNjtVNjtV ????? ?)(1 式（ 230） ? ? ktdNtNt ???? ??? )(1 式（ 231） 式中： N—— 學(xué)習(xí)次數(shù)。 （ 8）由 kje ， kia ， ijW 和 j? 計算下一次的輸入層和中間層之間的新連接權(quán)： ? ? kiakjeNijWNijW ????? ?)(1 式（ 232） ? ? kjeNjNj ???? ??? )(1 式（ 233） （ 9）隨機選取下一個學(xué)習(xí)模式對提供給網(wǎng)絡(luò)，返回到第（ 3）步，直至全部 m個模 式對訓(xùn)練完。 （ 10）重新從 m 個學(xué)習(xí)模式對中隨機選取一個模式對，返回到第（ 3）步，直至網(wǎng)絡(luò)全局誤差函數(shù) E 小于預(yù)先設(shè)定的限定值（網(wǎng)絡(luò)收斂），或?qū)W習(xí)回數(shù)大于預(yù)先設(shè)定的數(shù)值（網(wǎng)絡(luò)無法收斂）。 （ 11）學(xué)習(xí)結(jié)束 在以上學(xué)習(xí)步驟中（ 3） （ 6）為輸入學(xué)習(xí)模式的“順傳播過程”，（ 7） （ 8）為網(wǎng)絡(luò)誤差的“逆?zhèn)鞑ミ^程”，（ 9）和（ 10）則完成訓(xùn)練和收斂過程。 BP 網(wǎng)絡(luò)學(xué)習(xí)過程框圖如下圖所示。 天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 12 開 始連 接 權(quán) 及 閾 值 初 始 化學(xué) 習(xí) 模 式 對 提 供 給 網(wǎng) 絡(luò)計 算 中 間 層 各 單 元 的 輸 入 、 輸 出計 算 輸 出 層 各 單 元 的 輸 入 、 輸 出計 算 輸 出 層 各 單 元 的 校 正 誤 差計 算 中 間 層 各 單 元 的 校 正 誤 差調(diào) 整 中 間 層 至 輸 出 層 之 間 的 連 接 權(quán)及 輸 出 層 各 單 元 的 輸 出 閾 值調(diào) 整 輸 入 層 至 中 間 層 之 間 的 連 接 權(quán)及 輸 出 層 各 單 元 的 輸 出 閾 值更 新 學(xué) 習(xí) 輸 入 模 式更 新 學(xué) 習(xí) 次 數(shù)全 部 模 式 訓(xùn) 練 完 ？誤 差 ε 或 學(xué) 習(xí) 次 數(shù) N ？學(xué) 習(xí) 結(jié) 束NNYY 圖 26 BP 網(wǎng)絡(luò)學(xué)習(xí)過程圖 天津大學(xué)仁愛學(xué)院 2020屆本科生畢業(yè)設(shè)計（論文） 13 第三章 圖像的預(yù)處理 系統(tǒng)的程序?qū)?現(xiàn) 分 為圖像 預(yù)處理 和神經(jīng)網(wǎng)絡(luò)識別兩大模塊。本章主要介紹圖像 預(yù)處理 過程。在圖像預(yù)處理過程中，采用了許多圖像處理技術(shù)，最后把每個數(shù)字的特征提取出來。這些技術(shù)包括圖像數(shù)據(jù)提取，圖像的灰度化、二值化、圖像的調(diào)整、離散