【正文】 差平方和 ? 當所訓練矢量的誤差平方和小于誤差目標，訓練停止；否則在輸出層計算誤差變化，且采用反向傳播學習規(guī)則來調(diào)整權(quán)值，然后重復此過程 ? 網(wǎng)絡(luò)完成訓練后，對網(wǎng)絡(luò)輸入一個不是訓練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果 ? 為了能夠較好地掌握 BP網(wǎng)絡(luò)的訓練過程，我們用兩層網(wǎng)絡(luò)為例來敘述 BP網(wǎng)絡(luò)的訓練步驟 ? 初始化：用小的隨機數(shù)初始化每一層的權(quán)值 W和偏差B，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和 ? 期望誤差最小值 error_goal ? 最大循環(huán)次數(shù) max_epoch ? 修正權(quán)值的學習速率 1r，一般情況下 k＝ , ? 變量表達：計算網(wǎng)絡(luò)各層輸出矢量 A1和 A2以及網(wǎng)絡(luò)誤差 E ? A1＝ tansig(W1*P， B1)； ? A2＝ purelin(W2*A1， B2)； ? E＝ TA； ? 權(quán)值修正：計算各層反傳的誤差變化 D2和 D1并計算各層權(quán)值的修正值以及新權(quán)值： ? D2＝ deltalin(A2， E)； ? D1＝ deltatan(A1， D2， W2)； ? [dlWl， dBl]＝ learnbp(P， D1， lr)； ? [dW2， dB2]＝ 1earnbp(A1， D2， 1r)； ? W1＝ W1十 dW1； B1＝ B1十 dBl； ? W2＝ W2十 dW2； B2＝ B2十 dB2 ? 計算權(quán)值修正后誤差平方和 ? SSE＝ sumsqr(Tpurelin(W2*tansig(W1*P， B1)， B2)) ? 檢查： SSE是否小于 err_goal。 ? 使用方法 [W, B, epochs, TE]＝ trainbpa(W， B，’ F’， P， T， TP) ? 可以將動量法和自適應(yīng)學習速率結(jié)合起來以利用兩方面的優(yōu)點。 ? 傳統(tǒng)的統(tǒng)計模式識別方法在進行機器學習時，強調(diào) 經(jīng)驗風險最小化 。 SVM的理論基礎(chǔ) ? 由于 SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此 SVM 的解是全局唯一的最優(yōu)解 ? SVM在解決 小樣本、非線性及高維模式識別 問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到 函數(shù)擬合 等其他機器學習問題中 . 線性判別函數(shù)和判別面 ? 一個線性判別函數(shù) (discriminant function)是指由 x的各個分量的線性組合而成的函數(shù) ? 兩類情況 :對于兩類問題的決策規(guī)則為 ? 如果 g(x)=0， 則判定 x屬于 C1， ? 如果 g(x)0， 則判定 x屬于 C2 ()g x w x b? ? ?線性判別函數(shù)和判別面 ? 方程 g(x)=0定義了一個判定面，它把歸類于 C1的點與歸類于 C2的點分開來。 最優(yōu)分類面 設(shè)線性可分的樣本集 : D維空間中的線性判別函數(shù) : 這樣分類間隔就等于 ,因此要求分類間隔最大 ,就要求 最大 .而要求分類面對所有樣本正確分類 ,就是要求滿足 { , }, 1 , ... , { 1 , 1 }, di i i ix y i l y x R? ? ? ?121 1 2 21 1 2 2~~1 , 2 : 1 212: ( ) , 0.: 0 。 ? ② 對特征空間劃分的最優(yōu)超平面是 SVM的目標 ,最大化分類邊界的思想是 SVM方法的核心 。 ? ② 支持向量樣本集具有一定的魯棒性 。但是 David真的矮嗎？這種分界可以這么武斷嗎？ ? 模糊邏輯能反映人類是怎樣思考的。 ? 1937年，哲學家 Max Black發(fā)表了論文“ Vagueness: an exercise in logical analysis”。 ? 事實上， Zadeh將可能性理論擴展到數(shù)學邏輯的形式系統(tǒng)中，他引入了新概念以應(yīng)用自然語言的術(shù)語。 (a)布 爾 值 (b)模糊值 布 爾 和模糊 邏輯 的 邏輯 值 范圍 模糊集 ? 集合的概念 ? 某些指定的對象集在一起就成為一個集合，也簡稱集 .集合中的每個對象叫做這個集合的元素。 ? 在模糊 理論 中， 論 域 X的模糊集 A定 義為 函 數(shù) μA(x)， 稱為 集合 A的 隸屬函數(shù) μA(x): X ? [0, 1], 其中： 如果 x完全在集合 A中 ， 則 μ A(x) = 1。 ?男性身高 論域 包含三 個 集： short men、 average men和 tall men。 (c) 高斯函數(shù)隸屬函數(shù)。 ? 特點在于評判逐對進行，對被評價對象有唯一的評價值，不受被評價對象所處對象集合的影響。 ? 這種方法，首先對每個因素單獨評判，然后對所有因素綜合評判。(?隸屬度函數(shù)的形式 只要是函數(shù)值都是位于 [0,1]的區(qū)間內(nèi)的函數(shù)，都可成為隸屬函數(shù)常見的隸屬函數(shù)： ■ 三角形隸屬函數(shù) ： ■ 梯形隸屬函數(shù)： ■ 高斯函數(shù)隸屬函數(shù)： ■ s 函數(shù)隸屬函數(shù)： ■ ? 函數(shù)隸屬函數(shù)： (a) 三角形隸屬函數(shù) 。 現(xiàn) 在回到 “ 高個子男人 ” 的例子 。在經(jīng)典的集合論中， X的清晰集 A定義為函數(shù) fA (x)，稱為 A的特征函數(shù)： ? fA(x): X ??{0, 1}, 其中 ??????AxAxxf Ai f0 ,i f1 ,)(? 該集合將 X的論域?qū)?yīng)到兩個元素。模糊邏輯使用介于 0(完全為假 )和 1(完全為真 )之間邏輯值的連續(xù)區(qū)間。他接受模糊的機率。這個人應(yīng)該是很高。 ? 例如：天氣很熱；昨天的雨很大；他很高 ? 而布爾邏輯表達的是明顯的差別，迫使我們在集合的成員和非成員之間劃出明顯的界限。 ? 少數(shù)支持向量決定了最終結(jié)果 ,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本 ,而且注定了該方法不但算法簡單 ,而且具有較好的“魯棒”性。 支持向量機 ? 上節(jié)所得到的最優(yōu)分類函數(shù)為： ? 該式只包含待分類樣本與訓練樣本中的支持向量的內(nèi)積 運算，可見 ,要解決一個特征空間中的最優(yōu)線性分類問題 ,我們只需要知道這個空間中的內(nèi)積運算即可。 線性判別函數(shù)和判別面 線性判別函數(shù)和判別面 廣義線性判別函數(shù) 最優(yōu)分類面 ? SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來的 , 基本思想可用下圖的兩維情況說明 . 圖中 , 方形點和圓形點代表兩類樣本 , H 為分類線 ,H1, H2分別為過各類中離分類線最近的樣本且平行于分類線的直線 , 它們之間的距離叫做 分類間隔 (margin)。而基于經(jīng)驗風險最小化準則的學習方法只強調(diào)了訓練樣本的經(jīng)驗風險最小誤差，沒有 最小化 置信范圍值，因此其推廣能力較差。統(tǒng)計學習理論（ STL）研究有限樣本情況下的機器學習問題。學習速率的選取范圍在 期望誤差值選取 ? 在設(shè)計網(wǎng)絡(luò)的訓練過程中，期望誤差值也應(yīng)當通過對比訓練后確定一個合適的值 ? 這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓練時間來獲得 ? 一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進行訓練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò) 應(yīng)用舉例 ? 求解函數(shù)逼近問題 ? 有 21組單輸入矢量和相對應(yīng)的目標矢量，試設(shè)計神經(jīng)網(wǎng)絡(luò)來實現(xiàn)這對數(shù)組的函數(shù)關(guān)系 P=1::1 T=[ … … ] 測試集 P2=1::1 目標矢量相對于輸入矢量的圖形 初始網(wǎng)絡(luò)的輸出曲線 訓練 1000次 2022次 訓練 3000次 5000次 ? Matlab 中的 ANN演示 語句： nnd 限制與不足 ? 需要較長的訓練時間