【正文】 的最優(yōu)分類面發(fā)展而來的 , 基本思想可用下圖的兩維情況說明 . 圖中 , 方形點(diǎn)和圓形點(diǎn)代表兩類樣本 , H 為分類線 ,H1, H2分別為過各類中離分類線最近的樣本且平行于分類線的直線 , 它們之間的距離叫做 分類間隔 (margin)。 線性判別函數(shù)和判別面 廣義線性判別函數(shù) ? 如果建立一個(gè)二次判別函數(shù) g(x)=(xa)(xb)，則可以很好的解決上述分類問題。 ? 當(dāng) x1和 x2都在判定面上時(shí)， ? 這表明 w和超平面上任意向量正交， ? 并稱 w為超平面的法向量。 SVM的理論基礎(chǔ) ? 由于 SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此 SVM 的解是全局唯一的最優(yōu)解 ? SVM在解決 小樣本、非線性及高維模式識(shí)別 問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到 函數(shù)擬合 等其他機(jī)器學(xué)習(xí)問題中 . 線性判別函數(shù)和判別面 ? 一個(gè)線性判別函數(shù) (discriminant function)是指由 x的各個(gè)分量的線性組合而成的函數(shù) ? 兩類情況 :對(duì)于兩類問題的決策規(guī)則為 ? 如果 g(x)=0， 則判定 x屬于 C1， ? 如果 g(x)0， 則判定 x屬于 C2 ()g x w x b? ? ?線性判別函數(shù)和判別面 ? 方程 g(x)=0定義了一個(gè)判定面，它把歸類于 C1的點(diǎn)與歸類于 C2的點(diǎn)分開來。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒有 最小化 置信范圍值，因此其推廣能力較差。 例如：對(duì)一組訓(xùn)練樣本 (x,y),x分布在實(shí)數(shù)范圍內(nèi)， y取值在 [0， 1]之間。 ? 推廣能力 是指 : 將學(xué)習(xí)機(jī)器 (即預(yù)測函數(shù) ,或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型 )對(duì)未來輸出進(jìn)行正確預(yù)測的能力。 ? 傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法在進(jìn)行機(jī)器學(xué)習(xí)時(shí)，強(qiáng)調(diào) 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 。統(tǒng)計(jì)學(xué)習(xí)理論（ STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問題。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下，達(dá)到了合理的高速率，可以減少訓(xùn)練時(shí)間 ? 80％ 90％的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的。 lr]]＝ trainbpx(W， B， F， P， T， TP) ? 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò) ,以進(jìn)行函數(shù)逼近，模式分類等工作 ? 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。 ? 使用方法 [W, B, epochs, TE]＝ trainbpa(W， B，’ F’， P， T， TP) ? 可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。學(xué)習(xí)速率的選取范圍在 期望誤差值選取 ? 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對(duì)比訓(xùn)練后確定一個(gè)合適的值 ? 這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來獲得 ? 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò) 應(yīng)用舉例 ? 求解函數(shù)逼近問題 ? 有 21組單輸入矢量和相對(duì)應(yīng)的目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這對(duì)數(shù)組的函數(shù)關(guān)系 P=1::1 T=[ … … ] 測試集 P2=1::1 目標(biāo)矢量相對(duì)于輸入矢量的圖形 初始網(wǎng)絡(luò)的輸出曲線 訓(xùn)練 1000次 2022次 訓(xùn)練 3000次 5000次 ? Matlab 中的 ANN演示 語句： nnd 限制與不足 ? 需要較長的訓(xùn)練時(shí)間 ? 完全不能訓(xùn)練 ? 選取較小的初始權(quán)值 ? 采用較小的學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練時(shí)間 ? 局部極小值 ? BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解 BP網(wǎng)絡(luò)的 改進(jìn) 目標(biāo) ?加快訓(xùn)練速度 ?避免陷入局部極小值 附加動(dòng)量法 ? 利用附加動(dòng)量的作用則有可能滑過局部極小值 ? 修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性 ? 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化 ? 帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式 其中 k為訓(xùn)練次數(shù)， mc為動(dòng)量因子，一般取 0． 95左右 ? 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動(dòng)量因子來傳遞。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層簡單得多 ? 定理： ? 實(shí)現(xiàn)任意 N個(gè)輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為 ? 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量 初始權(quán)值的選取 ? 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù) ? 威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略 ? 選擇權(quán)值的量級(jí)為 ? 在 MATLAB工具箱中可采用函數(shù) 來初始化隱含層權(quán)值 W1和 B1。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差 ? TP＝ [disp_freq max_epoch err_goal 1r] ? [W， B， epochs， errors]＝ trainbp(W， B，’ F’， P， T，TP) ? 網(wǎng)絡(luò)的層數(shù) ? 隱含層神經(jīng)元數(shù) ? 初始權(quán)值的選取 ? 學(xué)習(xí)速率 ? 期望誤差的選取 ? 應(yīng)用舉例 ? 局限性 網(wǎng)絡(luò)的層數(shù) ? 理論上已經(jīng)證明：具有偏差和至少一個(gè) S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù) ? 增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明 ? 隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響 ? 只有當(dāng)希望對(duì)網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S型激活函數(shù) ? 在一般情況下，均是在隱含層采用 S型激活函數(shù)，而輸出層采用線性激活函數(shù) ? S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號(hào)，變換成 1到 l之間輸出 ? 對(duì)較大的輸入信號(hào)，放大系數(shù)較?。欢鴮?duì)較小的輸入信號(hào)，放大系數(shù)則較大 ? 采用 S型激活函數(shù)可以處理和逼近非線性輸入 /輸出關(guān)系 學(xué)習(xí)規(guī)則 ? BP算法是一種監(jiān)督式的學(xué)習(xí)算法 ? 主要思想 ? 對(duì)于 q個(gè)輸入學(xué)習(xí)樣本： P1,P2,…,Pq ，已知與其對(duì)應(yīng)的輸出樣本為： T1,T2,…,Tq ? 使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小 ? 用網(wǎng)絡(luò)的實(shí)際輸出 A1,A2,…,Aq, 與目標(biāo)矢量T1,T2,…,Tq 之間的誤差修改其權(quán)值，使 Am與期望的Tm,(m＝ l,…,q) 盡可能接近 學(xué)習(xí)規(guī)則 ? BP算法是由兩部分組成 ,信息的正向傳遞與誤差的反向傳播 ? 正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài) ? 如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號(hào)沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo) ? 假設(shè)輸入為 P，輸入神經(jīng)元有 r個(gè)，隱含層內(nèi)有 s1個(gè)神經(jīng)元，激活函數(shù)為 F1，輸出層內(nèi)有 s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為 F2，輸出為 A，目標(biāo)矢量為 T ? 信息的正向傳遞 ? 隱含層中第 i個(gè)神經(jīng)元的輸出 ? 輸出層第 k個(gè)神經(jīng)元的輸出 ? 定義誤差函數(shù) ? 利用梯度下降法求權(quán)值變化及誤差的反向傳播 ? 輸出層的權(quán)值變化 ? 其中 ? 同理可得 ? 利用梯度下降法求權(quán)值變化及誤差的反向傳播