【正文】 算法說明，當(dāng)連續(xù)兩次迭代其梯度方法相同時，表明下降太慢，這時可使步長加倍；當(dāng)連續(xù)兩次迭代其梯度方向相反時，表明下降過頭，這時可使步長減半。當(dāng)需要引入動量項時，上述算法的第二項可修改為 在使用該算法時，由于步長在迭代過程中自適應(yīng)調(diào)整，因此對于不同的連接權(quán)系數(shù)實際采用了不同的學(xué)習(xí)率，也就是說誤差代價函數(shù) E在超曲面上在不同地方按照各自比較合理的步長向極小點逼近。 ( 1 ) ( ) ( ) [ ( 1 ) ( ) ( 1 ) ]w t w t t D t D t? ? ?? ? ? ? ? ? 返回 75 ? 一 、訓(xùn)練樣本集的準(zhǔn)備 ? ? ? ? 二、輸入輸出數(shù)據(jù)的歸一化 ? 三、網(wǎng)絡(luò)訓(xùn)練與測試 167。 BP網(wǎng)絡(luò)設(shè)計基礎(chǔ) 76 1. 輸出量的選擇 ? 輸出量 :代表系統(tǒng)要實現(xiàn)的功能目標(biāo) ? 系統(tǒng)的性能指標(biāo) ? 分類問題的類別歸屬 ? 非線性函數(shù)的函數(shù)值 一 、訓(xùn)練樣本集的準(zhǔn)備 77 ? 輸入量選擇的兩條基本原則 ?必須選擇那些對輸出影響大且能夠檢測或提取的變量 ?各輸入變量之間互不相關(guān)或相關(guān)性很小 78 輸入輸出量的性質(zhì) ? 從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)值變量，一類是語言變量。 ?數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。 ?語言變量是用自然語言表示的概念，其“語言值”是用自然語言表示的事物的各種屬性。 ?當(dāng)選用語言變量作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為離散的數(shù)值量。 79 輸入量的提取與表示 XC=(111100111)T XI=(111100111)T XT=(111100111)T (1)文字符號輸入 80 x ( t ) xn x1 t 0 1 2 3 4 5 ? n（ 2）曲線輸入 Tpnpippp xxxxX ),. .. ,. .. ,( 21?p=1,2,… ,P 81 (3)函數(shù)自變量輸入 ?一般有幾個輸入量就設(shè)幾個分量， 1個輸入分量對應(yīng) 1個輸入層節(jié)點。 (4)圖象輸入 ?在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻進行篩選，這種特征提取屬于圖象處理的范疇。 82 3. 輸出量的表示 (1)“n中取 1”表示法 “n中取 1”是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對應(yīng)的輸出分量取 1，其余 n1 個分量全取 0。例如，用 000 00 0100和 1000可分別表示優(yōu)、良、中、差 4個類別。 (2)“n1”表示法 如果用 n1個全為 0的輸出向量表示某個類別，則可以節(jié)省一個輸出節(jié)點。例如，用 000、 00 010和 100也可表示優(yōu)、良、中、差 4個類別。 (3)數(shù)值表示法 對于漸進式的分類，可以將語言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進關(guān)系，并要根據(jù)實際意義拉開距離。 83 二、輸入輸出數(shù)據(jù)的歸一化 歸一化也稱為或標(biāo)準(zhǔn)化，是指通過變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在 [0， 1]或 [1， 1]區(qū)間內(nèi)。 進行歸一化的主要原因： 歸一化的方法： 84 進行歸一化的主要原因： ? 網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的 物理意義和不同的量綱 ，歸一化給各輸入分量以同等重要的地位； ? BP網(wǎng)的神經(jīng)元均采用 Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出 飽和 ，繼而使權(quán)值調(diào)整進入誤差曲面的平坦區(qū)； ? Sigmoid轉(zhuǎn)移函數(shù)的輸出在 01或 11之間。 教師信號 如不進行歸一化處理，勢必使數(shù)值大的輸出分量 絕對誤差 大，數(shù)值小的輸出分量絕對誤差小。 85 歸一化的方法： ? 將輸入輸出數(shù)據(jù)變換為 [0， 1]區(qū)間的值常用以下變換式 m inm a xm inxxxxx ii ???其中， xI代表輸入或輸出數(shù)據(jù)， xmin代表數(shù)據(jù)變化的最小值， xman代表數(shù)據(jù)的最大值 。 ? 將輸入輸出數(shù)據(jù)變換為 [1， 1]區(qū)間的值常用以下變換式 2m i nm a x xxxm i d??)( m i nm a x21 xxxxx m i dii ???其中， xmid代表數(shù)據(jù)變化范圍的中間值 。 86 三、網(wǎng)絡(luò)訓(xùn)練與測試 網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力，對泛化能力的測試不能用訓(xùn)練集的數(shù)據(jù)進行，而要用訓(xùn)練集以外的測試數(shù)據(jù)來進行檢驗。 x2 * ? * * * ? * ? * * ? x187 在隱節(jié)點數(shù)一定的情況下，為獲得好的泛化能力，存在著一個最佳訓(xùn)練次數(shù)。 均 方 誤差 測試數(shù)據(jù) 訓(xùn)練數(shù)據(jù) 訓(xùn)練次數(shù)88 167。 BP網(wǎng)絡(luò)應(yīng)用與設(shè)計實例 ? BP算法應(yīng)用于催化劑配方建模 本例采用 BP神經(jīng)網(wǎng)絡(luò)對脂肪醇催化劑配方的式樣數(shù)據(jù)進行學(xué)習(xí)，訓(xùn)練后的網(wǎng)絡(luò)作為數(shù)學(xué)模型映射配方與優(yōu)化指標(biāo)之間的復(fù)雜非線性關(guān)系。獲得了較高的精度。 ? 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計與訓(xùn)練 ?尋找學(xué)習(xí)樣本 ?確定網(wǎng)絡(luò)結(jié)構(gòu) ? 影響因素的個數(shù)為輸入個數(shù) ? 優(yōu)化指標(biāo)的個數(shù)為輸出個數(shù) 89 ? 脂肪酸甲脂轉(zhuǎn)化率 TR％ ? 脂肪醇產(chǎn)率 YOH ％ ? 脂肪醇選擇性 SOH％ T R %%OHY %OHSCuA / CuZn / CuB / CuC / CuMn /輸 輸 輸 輸 輸 輸 輸 輸 輸 輸 輸 輸?神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) ?得到結(jié)果 90 BP網(wǎng)絡(luò)應(yīng)用于汽車變速的最佳檔位判定 汽車在不同狀態(tài)參數(shù)下運行時，獲得最佳動力性與經(jīng)濟性的檔位稱為最佳檔位。最佳檔位與汽車運行狀態(tài)參數(shù)之間具有某種非線性關(guān)系，即換檔規(guī)律。 ? 獲取換檔規(guī)律 ? 通過學(xué)習(xí)優(yōu)秀駕駛員的換檔經(jīng)驗 ? 根據(jù)汽車自動變速理論 ? 設(shè)計網(wǎng)絡(luò) ? 汽車狀態(tài)參數(shù)包括：車速 v、油門開度、加速度 a，作為輸入分量 ? 輸出設(shè)為四個檔位 ? 本例中設(shè) 2個隱層 ? 由經(jīng)驗確定該多層前向網(wǎng)絡(luò)各層節(jié)點數(shù)為： 3334 91 BP網(wǎng)絡(luò)應(yīng)用于圖象壓縮編碼 ? 原理 把一組輸入模式通過少量的隱層節(jié)點映射到一組輸出模式，并使輸出模式等同于輸入模式。當(dāng)中間隱層節(jié)點數(shù)少于輸入模式維數(shù)，就意味著隱層能更有效地表現(xiàn)輸入模式，并把表現(xiàn)傳遞給輸出層。 ? 編碼過程：輸入層與隱層間的變換 ? 解碼過程：隱層和輸出層間的變換 92 通過調(diào)整權(quán)值使學(xué)習(xí)集圖象的重建誤差達到最小，隱層的輸出向量便是數(shù)據(jù)壓縮的結(jié)果，而輸出層的輸出向量便是圖象重建的結(jié)果。 nN原圖象重建圖象網(wǎng)絡(luò)結(jié)構(gòu)示意圖壓縮 還原nN93 BP網(wǎng)絡(luò)應(yīng)用于水庫優(yōu)化調(diào)度 ? 水庫群調(diào)度屬于優(yōu)化問題，其約束條件為時段發(fā)電量約束、保證供水量約束、水量平衡約束、渠道輸送能力約束、變量可行域約束和棄水約束等等。優(yōu)化目標(biāo)函數(shù)使調(diào)度期供水量最大。 ? 舉例 ? 北方某嚴(yán)重缺水地區(qū)的三個并聯(lián)供水水庫為例 ? 19191984共 66年實測徑流資料，作為樣本。將每年分為 18個時段，對應(yīng)于每個時段設(shè)計一種神經(jīng)網(wǎng)絡(luò)，共18個網(wǎng)絡(luò)。每個網(wǎng)絡(luò)輸入層有 18個神經(jīng)元，分別對應(yīng) 本時段和前兩個時段三個水庫的入庫流量和庫存水量。輸出層三個單元分別對應(yīng)三個水庫的供水量。 94 ? 感知器 感知器解決分類問題 ? 自適應(yīng)線性單元 ? BP算法 結(jié)構(gòu)、算法、存在的問題、結(jié)構(gòu) 的變通、算法的改進 ? 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 ? BP網(wǎng)絡(luò)的應(yīng)用實例 返回 167。 小結(jié)