【正文】 型的學(xué)習(xí)或者說有監(jiān)督型的學(xué)習(xí)是在有指導(dǎo)和考察的情況下進(jìn)行的，如果學(xué)完了沒有達(dá)到要求，那么就要再繼續(xù)學(xué)習(xí)。這種學(xué)習(xí)沒人監(jiān)督，學(xué)到什么程度全靠大腦中的神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)能力，最后也能把這種知識(shí)掌握到一定的程度。例如通過經(jīng)驗(yàn)也可以學(xué)習(xí)，學(xué)習(xí)是神經(jīng)元網(wǎng)絡(luò)最重要的能力。 圖 22 有教師學(xué)習(xí)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 輸入部接收外來的輸入樣本 X ，由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù) W 調(diào)整，然后由輸出部輸出結(jié)果。 在圖中， 1X ， 2X ，?， nX ， 是輸入樣本的信 號(hào)， 1W ， 2W ，?， nW 是權(quán)系數(shù)。輸入樣本信號(hào)通過權(quán)系數(shù)作用，在 u 產(chǎn)生輸出結(jié)果 XiWi? ，即有： nXnWXWXWu ????? ?2211 再把期望輸出信號(hào) Y(t)和 u 進(jìn)行比較，從而產(chǎn)生誤差信號(hào) e。 圖 23 學(xué)習(xí)機(jī)構(gòu)模型 BP 網(wǎng)絡(luò) BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)算法，即反向傳播神經(jīng)網(wǎng)絡(luò)算法，是一種用于前向多層神經(jīng)網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法，這種算法由梅爾哈特 ()和麥克萊倫德 (MeClelland)于1985 年提出，并實(shí)現(xiàn)了明斯基的多層網(wǎng)絡(luò)設(shè)想。如果將 BP 神經(jīng)網(wǎng)絡(luò)算法看作是一個(gè)變換，而網(wǎng)絡(luò)中各人工神經(jīng)元之間的連接權(quán)值看作變換中的參數(shù)，那么，這種算法的目的就是要求得這些參數(shù)。目前， BP 神經(jīng)網(wǎng)絡(luò)算法已經(jīng)成為應(yīng)用最多而且最主要的一種訓(xùn)練前向人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，同時(shí)，這種算法也是前向網(wǎng)絡(luò)得以廣泛應(yīng)用的基礎(chǔ)。在 BP 神經(jīng)網(wǎng)絡(luò)中，同層的各神經(jīng)元之間互不連接，相鄰層的神經(jīng)元?jiǎng)t通過權(quán)值連接。其間各層的激發(fā)函數(shù)要求是可微的，一般是選用 S 型函數(shù)。如下圖所示。 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程由正向傳播和反向傳播組成。 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法是使用一組訓(xùn)練樣例對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行訓(xùn)練，每一個(gè)樣例中，都 包括輸入及期望的輸出兩部分。在計(jì)算處理過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，如果在輸出層得到的結(jié)果不是所期望的輸出，那么就轉(zhuǎn)為反向傳播。這一過程不斷往復(fù)，直到網(wǎng)絡(luò)正向計(jì)算的輸出結(jié)果達(dá)到誤差要求為止，這時(shí)學(xué)習(xí)就告結(jié)束。 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程如下： (1).選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組 成。 (2).從訓(xùn)練樣例集當(dāng)中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。 (4).計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。 (6).對(duì)訓(xùn)練樣例集當(dāng)中的 每一個(gè)樣例重復(fù) (3)(5)的步驟，直到整個(gè)訓(xùn)練樣例 集的誤差達(dá)到要求時(shí)為止。 并且合理選擇神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)，包括學(xué)習(xí)效率 η 和沖量參數(shù) α，這兩個(gè)參數(shù)一般都設(shè)置成小于 1 的正數(shù)。一般來說，最基本的 BP 神經(jīng)網(wǎng)絡(luò)至少要包含三層：輸入層，隱層，輸出層。其中，網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)的數(shù)目和輸出層節(jié)點(diǎn)的 數(shù)目是根據(jù)訓(xùn)練樣例來確定的，輸入層的節(jié)點(diǎn)數(shù)目等于每一個(gè)訓(xùn)練樣例當(dāng)中，輸入向量所包含的分量數(shù)目；輸出層的節(jié)點(diǎn)數(shù)目等于每一個(gè)訓(xùn)練樣例當(dāng)中，輸出向量所包含的分量數(shù)目。在實(shí)踐中，我們認(rèn)為，應(yīng)該按照以下兩個(gè)原則來選擇隱層節(jié)點(diǎn)的數(shù)目： ，并且能夠讓神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程的收斂速度最快。 第二步 .對(duì)網(wǎng)絡(luò)各層節(jié)點(diǎn)的連接權(quán)值和閾值進(jìn)行初始化，將其初始化成 [1,+1] 區(qū)間 內(nèi)的隨機(jī)數(shù)。在 BP 神經(jīng)網(wǎng)絡(luò)中，對(duì)于隱層的第 i 個(gè)節(jié)點(diǎn)來說 (i=1,2,…, hN )，它具有 iN 個(gè)連接權(quán)值 39。2iW ,…, 39。i? 。 第三步 .假設(shè)訓(xùn)練樣例集當(dāng)中共包含 K 個(gè)訓(xùn)練樣例。每個(gè)訓(xùn)練樣例包括輸入向量 X=( 1X ， 2X ， … ， NiX )和期望的輸出向量 Y=( 1Y ， 2Y ， … ， NoY )。 第四步，正向傳播。對(duì)于隱層的第 i 個(gè)節(jié)點(diǎn)來說 (i=1,2,…, hN ) ，其輸出值為 )( 139。?? ??INj ijijii XWfH ?。ijW 是隱層第 i 個(gè)節(jié)點(diǎn)關(guān)于輸入層的第 j 個(gè)節(jié)點(diǎn)的連接權(quán)值， jX 是來自于輸入層的第 j 個(gè)節(jié)點(diǎn)的輸入值，也就是當(dāng)前的訓(xùn)練樣例的輸入向量當(dāng)中的第 j 個(gè)分量， 39。對(duì)于輸出層的第 i 個(gè)節(jié)點(diǎn)來說 (i=1,2,…, oN )，其輸出值為 )( 1?? ??hNj ijijii HWfO ?其北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 9 中， ijW 是輸出層第 i 個(gè)節(jié)點(diǎn)關(guān)于隱層的第 j 個(gè)節(jié)點(diǎn)的連接權(quán)值， jH 是來自于隱層的第 j 個(gè)節(jié)點(diǎn)的輸出值， i? 是輸出層第 i 個(gè)節(jié)點(diǎn)的閾值。 第五步，計(jì)算當(dāng)前訓(xùn)練樣例的輸出誤差。 第六步，反向傳播。具體的說，是進(jìn)行如下的計(jì)算： 1).計(jì)算輸出層和隱層的各節(jié)點(diǎn)的偏差信號(hào)。其中， iO 表示輸出層的第 i 個(gè)節(jié)點(diǎn)的輸出值， iY 表示當(dāng)前的訓(xùn)練樣例的期望輸出向量當(dāng)中的第 i 個(gè)分量。 )1( ??。 2).根據(jù)輸出層和隱層各節(jié)點(diǎn)的偏差信號(hào)，對(duì)輸出層和隱層的各節(jié)點(diǎn)的連接權(quán)值和閾值進(jìn)行調(diào)整。其中 )1( ?tWij 表示當(dāng)前輸出層第 i 個(gè)節(jié)點(diǎn)關(guān)于隱層第 j 個(gè)節(jié)點(diǎn)的連接權(quán)值， )1( ?ti? 表示當(dāng)前輸出層第 i 個(gè)節(jié)點(diǎn)的閾值， )(tWij )和 )(ti? 分別表示上次調(diào)整時(shí)計(jì)算出的連接權(quán)值和閾值， )1( ?? tWij 和)1( ?? ti? 分別 表示當(dāng)前連接權(quán)值和閾值的變化量， )(tWij? 和 )(ti?? 分別表示上次調(diào)整時(shí)連接權(quán)值和閾值的變化量， iO 和 i? 分別是輸出層第 i 個(gè)節(jié)點(diǎn)的輸出值和偏差信號(hào)， ? 和 ? 分別 是 學(xué) 習(xí) 效 率 和 沖 量 參 數(shù) 。39。 tWHtW ijiiij ???????? ??? , 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 10 )1()()1( 39。39。39。 tt iii ????? ??????? ，)1()()1( 39。39。其中， )1(39。 ?ti? 表示當(dāng)前隱層第 i 個(gè)節(jié)點(diǎn)的閾值， )(39。 ti? 分別表示上次調(diào)整時(shí)計(jì)算 出的連接權(quán)值和閾值， )1(39。 ?? ti? 分別表示當(dāng)前連接權(quán)值和閾值的變化量， )(39。 ti?? 分別表示上次調(diào)整時(shí)連接權(quán)值和閾值的變化量， iH 和 39。初始時(shí)，所有節(jié)點(diǎn)的連接權(quán)值的變化量和閾值的變化量都被初始化為 0。其中， pE 是訓(xùn)練樣例集當(dāng)中第 P 個(gè)訓(xùn)練樣例的輸出誤差。 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 11 開 始連 接 權(quán) 及 閾 值 初 始 化學(xué) 習(xí) 模 式 對(duì) 提 供 給 網(wǎng) 絡(luò)計(jì) 算 中 間 層 各 單 元 的 輸 入 、 輸 出計(jì) 算 輸 出 層 各 單 元 的 輸 入 、 輸 出計(jì) 算 輸 出 層 各 單 元 的 校 正 誤 差計(jì) 算 中 間 層 各 單 元 的 校 正 誤 差調(diào) 整 中 間 層 至 輸 出 層 之 間 的 連 接 權(quán)及 輸 出 層 各 單 元 的 輸 出 閾 值調(diào) 整 輸 入 層 至 中 間 層 之 間 的 連 接 權(quán)及 輸 出 層 各 單 元 的 輸 出 閾 值更 新 學(xué) 習(xí) 輸 入 模 式更 新 學(xué) 習(xí) 次 數(shù)全 部 模 式 訓(xùn) 練 完 ？誤 差 ε 或 學(xué) 習(xí) 次 數(shù) N ？學(xué) 習(xí) 結(jié) 束NNYY 圖 25 BP 網(wǎng)絡(luò)學(xué)習(xí)過程圖 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 12 第三章 圖像的預(yù)處理 系統(tǒng)的程序分為圖像預(yù)的預(yù)處理和 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練識(shí)別兩大模塊。在圖像的預(yù)處理過程中，采用了許多圖像處理的技術(shù)，最后將每個(gè)數(shù)字的特征提取出來。 圖 31 初始讀入的 256 色位圖 256 色位圖灰度化 對(duì)于 256 色的位圖的調(diào)色板內(nèi)容比較復(fù)雜，是的對(duì)于圖像的處理的許多算法都沒有辦法展開，因此有必要其進(jìn)行灰度的處理。彩色圖像 R， G， B 的值是不相同的，所有顯示出紅綠藍(lán)的各種顏色。灰度值大的像素點(diǎn)比較亮（最大為 255，白色），灰度值小的像素點(diǎn)比較暗（像素值最小為 0，黑色）。 根據(jù)人眼對(duì)紅綠藍(lán)三 色的敏感程度，可以使用以下比例式進(jìn)行轉(zhuǎn)換： ?????? BGRG ra y 經(jīng)過灰度處理后的 256 色位圖如圖 32 所示。灰度值的大小決定了像素的明暗程度。 圖像的二值化就是把圖像中的像素根據(jù)一定的標(biāo)準(zhǔn)劃分為兩種顏色。圖像的二值化也有很多成熟的算法，這里采用給定閾值的算法。二值化實(shí)現(xiàn)的流程圖如下。所以需要進(jìn)行圖像梯度銳化的處理，使較為模糊不清的圖像變得清晰可見，同時(shí)可以 對(duì)離散噪聲起一定的消除作用。采用 Roberts 梯度算子對(duì)圖像進(jìn)行銳化。梯度銳化具備一定的去噪聲能力，但同時(shí)會(huì)對(duì)字符的邊緣有所損傷。通常去除離散噪聲使用濾波的方法，比如中值濾波，均值濾波。這里是采用去除雜點(diǎn)的方法進(jìn)行去噪聲處理。在考察黑色點(diǎn)是否相連的情況用的是遞歸的方法。 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 15 初 始 化判 斷 當(dāng) 前 像 素 點(diǎn)鄰 近 的 八 點(diǎn) 像 素 值 是否 為 2 2 0開 始將 此 像 素 點(diǎn)變 為 白 色此 像 素 點(diǎn) 不變結(jié) 束判 斷 當(dāng) 前 像 素 點(diǎn)是 否 為 白 色 點(diǎn)NYNY 圖 36 去處離散噪聲流程圖 圖 37 去除離散雜點(diǎn)噪聲后的圖像 整體 傾斜度調(diào)整 因?yàn)樽x取進(jìn)來的圖像有可能存在角度傾斜，所以必須進(jìn)行位置調(diào)整，使得字符大致處在同一水平位置，這樣既便于其后字符的分割，也可以增加字符識(shí)別的準(zhǔn)確率。一般來說，由眾多的字符組成的圖像，它的左右兩邊的字符像素的高度應(yīng)該是處于水平位置附近的，如果兩邊字符像素的平均位置存在比較大的落差，那就說明圖像存在傾斜，需要進(jìn)行傾斜調(diào)整。如果新圖像的像素映射到舊圖像中時(shí)超出了舊圖像的范圍，則把新圖像中的該像素設(shè)置為白色。這一步的目的是將圖像中的字符分別獨(dú)立分割出來。 第二步，在這個(gè)高度的范圍之內(nèi)，自左向右逐列進(jìn)行掃描，遇到第一個(gè)黑色的像素點(diǎn)時(shí)認(rèn)為這個(gè)點(diǎn)是字符分割的起始位置，然后繼續(xù)掃描，直至遇到第一列中沒有黑色的像素，則認(rèn)為這個(gè)字符分割完成，然后繼續(xù)掃描。這樣就得到了每個(gè)字符的相對(duì)精確地所在范圍。 為了清楚的看到圖像分割的結(jié)果，在這里用函數(shù) DrawFram 在每個(gè)分割完畢的字符周圍畫上邊框，這個(gè)邊 框只起到標(biāo)識(shí)圖像的作用，并不會(huì)改變位圖本身的內(nèi)容。 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 17 開 始初 始 化是 否 為 圖 像 的 最 高 點(diǎn)記 錄 最 高 點(diǎn) 、最 低 點(diǎn)行 變 量 加 1記 錄 圖 像 的 左 、右 點(diǎn)是 否 為 圖 像 的 最 右 點(diǎn)是 否 為 圖 像 的 最 后 一 行將 分 割 出 來 的矩 形 放 入 數(shù) 組將 每 個(gè) 矩 形 畫出 來結(jié) 束YNYNYN 圖 39 字符分割流程圖 圖 310 經(jīng)過字符分割后并畫上邊框的圖像 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 18 圖像的歸一化處理 因?yàn)橥ㄟ^掃描獲得的圖像中的字符大小存在不同的差異，然而相對(duì)來說，統(tǒng)一尺寸的字符識(shí)別的標(biāo)準(zhǔn)性更強(qiáng)，準(zhǔn)確率也加更高。具體步驟如下：先得到原來字符的高度，跟系統(tǒng)要 求的高度做比較，得出要變換的系數(shù)，然后根據(jù)得到的系數(shù)求出變換后應(yīng)有的寬度。 圖像標(biāo)準(zhǔn)歸一化的高度和寬度可以通過對(duì)話框由使用者自行輸 入，但是為了以后特征提取處理方便，進(jìn)行 BP 網(wǎng)絡(luò)訓(xùn)練的時(shí)候縮短訓(xùn)練時(shí)間，標(biāo)準(zhǔn)化的高度和寬度不宜設(shè)置過大。歸一化信息輸入對(duì)話框的執(zhí)行效果如圖 311 所示。 初 始 化開 始計(jì) 算 圖 像 的高 度 和 寬 度根 據(jù) 規(guī) 定 的 標(biāo) 準(zhǔn) 高 寬計(jì) 算 縮 放 因 子計(jì) 算 新 圖 像 的 像 素 點(diǎn) 映射 到 原 圖 像 的 坐 標(biāo)計(jì) 算 新 圖 像 像 素 點(diǎn) 的灰 度 值結(jié) 束 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 19 圖 312 歸一化流程圖 圖 313 歸一化執(zhí)行效果圖 緊縮的緊縮重排 經(jīng)過標(biāo)準(zhǔn)歸一化處理后的各個(gè)字符在圖像中位置不確定，也并不一定整齊，進(jìn)行特征提取時(shí)相對(duì)麻煩，所以要把經(jīng)過歸一化處理后的字符進(jìn)行緊縮重排，以形成新的位圖句柄，方便下一步特征提取的操作。 開 始是 否 到 最 后 一 行初 始 化確 定 上 下 左 右 位 置將 圖 像 移 到 相應(yīng) 位 置行 變 量 加 1結(jié) 束YN 圖 314 緊縮重排流程圖 圖像緊縮重排后的效果如圖 315 所示。下面就要從被分割歸一化處理完畢的字符中，提取最能體現(xiàn)這個(gè)字符特點(diǎn)的特征向量。特征向量的提取方法多種多樣， 這里 采用 13 點(diǎn)特征提取法。首先把字符平均分成八份，統(tǒng)計(jì)每一份內(nèi)黑色像素點(diǎn)的個(gè)數(shù)作為 8 個(gè)特征，如圖 316 所示。如圖 317 所示。 北京理工大學(xué) 2020 屆本科生畢業(yè)設(shè)計(jì)（論文） 21 開 始初 始 化將 圖 像 分 成 8份 ，分 別 計(jì) 算 每 份 中像 素 的 個(gè) 數(shù)統(tǒng) 計(jì) 穿 過 水 平 線及 垂 直 線 的 數(shù) 字像 素結(jié) 束統(tǒng) 計(jì) 字 符整 體 像 素 圖 318 特征提取流程圖 以上就是特征向量提取的方法。其中，圖像預(yù)處理模塊在對(duì)