【正文】 用這種方法 ? 學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題 Hebb學(xué)習(xí)規(guī)則 誤差校正（糾錯）學(xué)習(xí)規(guī)則 無監(jiān)督學(xué)習(xí)規(guī)則 ? Donall Hebb根據(jù)生理學(xué)中條件反射機理，于 1949年提出的神經(jīng)元連接強度變化的規(guī)則 ? 如果兩個神經(jīng)元同時興奮 (即同時被激活 )，則它們之間的突觸連接加強 ? a為學(xué)習(xí)速率， Vi, Vj為神經(jīng)元 i和 j的輸出 ? Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作 Hebb學(xué)習(xí)規(guī)則的變形 Hebb學(xué)習(xí)規(guī)則 ? 用已知樣本作為教師信號對網(wǎng)絡(luò)進行學(xué)習(xí) ? 學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出 ? 誤差校正學(xué)習(xí)規(guī)則實際上是一種梯度方法 ? 不能保證得到全局最優(yōu)解 ? 要求大量訓(xùn)練樣本，收斂速度慢 ? 對樣本地表示次序變化比較敏感 誤差校正規(guī)則 ()ij i ijv? ? ?? ? ?無監(jiān)督的學(xué)習(xí)規(guī)則 ? 這類學(xué)習(xí)不在于尋找一個特殊映射的表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部 ? 輸入可以是連續(xù)值，對噪聲有較強地抗干擾能力 ? 對較少輸入樣本，結(jié)果可能要依賴于輸入序列 人工神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用領(lǐng)域 回歸與預(yù)測 模式識別（分類） 聯(lián)想記憶與學(xué)習(xí) ? 反向傳播網(wǎng)絡(luò) (BackPropagation Network，簡稱 BP網(wǎng)絡(luò) )是對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) ? 權(quán)值的調(diào)整采用反向傳播 (Backpropagation）的學(xué)習(xí)算法 ? 它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是 S型函數(shù) ? 輸出量為 0到 1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射 BP網(wǎng)絡(luò) ? BP網(wǎng)絡(luò)主要用于下述方面 ? 函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù) ? 模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類； ? 數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲 ? 具有將強泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入 ? 泛化性能只對被訓(xùn)練的輸入／輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號函數(shù) {－ 1， 1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對數(shù)或正切激活函數(shù)和線性函數(shù) ? BP網(wǎng)絡(luò)特點 ? 輸入和輸出是并行的模擬量 ? 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法 ? 權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。若是，訓(xùn)練結(jié)束；否則繼續(xù) ? 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù) ? 它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好 ? 線性問題 ? 非線性問題 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。 ? 其方法僅使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機取數(shù) 學(xué)習(xí)速率 ? 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量 ? 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定 ? 小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值 ? 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。 ? 當(dāng)動量因子取值為零時，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生 ? 當(dāng)動量因子取值為 1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了 ? 促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進入誤差曲面底部的平坦區(qū)時， δ i將變得很小，于是，Δw ij(k+1)≈Δw ij (k)，從而防止了 Δw ij=0的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出 ? 在 MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù) ? 的反向傳播網(wǎng)絡(luò) ? 下面是對單層網(wǎng)絡(luò)使用函數(shù) ： [W， B， epochs， errors]＝ trainbpm(W， B，’ F’， P， T， TP) 自適應(yīng)學(xué)習(xí)速率 ? 通常調(diào)節(jié)學(xué)習(xí)速率的準則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值 ? 一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式 ? MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進行反向傳播訓(xùn)練的函數(shù)為 ? 可訓(xùn)練直至三層網(wǎng)絡(luò)。這個技術(shù)已編入了函數(shù) ? 函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已 ? TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； ? [W， B， epochs， [error。 ? 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定 ? 輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的 ? 已經(jīng)證明，兩層 S型線性網(wǎng)絡(luò)，如果 S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系 ? 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值 ? 附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間 ? 太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時間。改進技術(shù)可以用來使反向傳播法更加容易實現(xiàn)并需要更少的訓(xùn)練時間 ? BP網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用 ? DHNN網(wǎng)絡(luò) 單元三 支持向量機（ SVM）及應(yīng)用 ? SVM的理論基礎(chǔ) ? 線性判別函數(shù)和判別面 ? 最優(yōu)分類面 ? 支持向量機 SVM的理論基礎(chǔ) ? 傳統(tǒng)的統(tǒng)計模式識別方法只有在樣本趨向無窮大時，其性能才有理論的保證。 SVM的理論基礎(chǔ)就是統(tǒng)計學(xué)習(xí)理論。 而 單純的經(jīng)驗風(fēng)險最小化會產(chǎn)生 “ 過學(xué)習(xí)問題 ” ，其推廣能力較差。 SVM的理論基礎(chǔ) ? “過學(xué)習(xí)問題 ” ：某些情況下，當(dāng)訓(xùn)練誤差過小反而會導(dǎo)致推廣能力的下降。無論這些樣本是由什么模型產(chǎn)生的，我們總可以用y=sin(w*x)去擬合，使得訓(xùn)練誤差為 0. 二階模型、 ANN、 SVM示意 SVM的理論基礎(chǔ) ? 根據(jù)統(tǒng)計學(xué)習(xí)理論，學(xué)習(xí)機器的實際風(fēng)險由經(jīng)驗風(fēng)險值和置信范圍值兩部分組成。 ? Vapnik 與 1995年 提出的支持向量機（ Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即 SVM是一種基于 結(jié)構(gòu)風(fēng)險最小化 準則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。 ? 當(dāng) g(x)是線性函數(shù)時，這個平面被稱為“超平面” (hyperplane)。 超平面 1212( ) 0w x b w x bw x x? ? ? ? ?? ? ?或 　 　線性判別函數(shù)和判別面 判別函數(shù) g(x)是特征空間中某點 x到超平面的距離的一種代數(shù)度量 . 2| | | |( ) ,| | | |()()| | | |( 0 , | | | | )| | | || | | |()| | | |pppppwx x rwwx x r g x w x bwg x w x bww x r bwww x b w r w x b w w wwrwgxrw??? ? ? ? ?? ? ?? ? ? ?? ? ? ? ? ? ? ? ? ???將 代 入 中 我 們 有線性判別函數(shù)和判別面 廣義 線性判別函數(shù) 在一維空間中 ， 沒有任何一個線性函數(shù)能解決下述劃分問題 （ 黑紅各代表一類數(shù)據(jù) ） ，