【正文】 22年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡 ? 神經(jīng)網(wǎng)絡 (Artificial Neural Networks)是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應 ()。我們重點介紹一下前向型網(wǎng)絡及其學習算法。 閾值型函數(shù)： sigmoid函數(shù)： ????????????????xxxxxf ||)(???????????xxxf11)(xxx eexforexf ??? ????? 11)(11)(2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡 ? 感知機學習算法 ： (選取 f為閾值函數(shù) ，學習權值向量 w) (1)初始化：將權值向量和閾值賦予隨機量， t=0 (2)連接權的修正：設訓練樣本的輸入為 x1,..., xi,...,xn，期望輸出為 yj，進行如下計算： ? 計算網(wǎng)絡輸出： y(t)= f(?iwij(t)xi(t)?j(t)) ? 計算期望輸出與實際輸出的誤差： e(t)=yjy(t) ? 若 e=0，則說明當前樣本輸出正確，不必更新權值，否則更新權值和閾值 wij(t+1)= wij(t)+?yjxi(t)； ?j(t+1)=?j(t)+?yj t=t+1(?為學習率 ) (3)返回 (2)，重復所有的訓練樣本直到所有的樣本輸出正確。 x1 xi xI y1 yk yK 輸入層 隱含層 輸出層 u1 ui uI v1 vj vJ wji wkj 2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡 ? 隱含層的接受與投射 (以隱含層第 j個神經(jīng)元為例 )： ? 接受：第 j個神經(jīng)元的值來自于前一層網(wǎng)絡 (本例是輸入層 )輸出值的加權和，即 j=?iwjiui。因此可得到 yk=?jwkjf(j)。 ? 因此，神經(jīng)網(wǎng)絡是一個 黑匣子 。 ? 誤差函數(shù) ：對于每種輸入模式特征矢量 (x1,x2,…,x I),都有對應的輸出矢量 (y1,y2,…,y K)作為訓練網(wǎng)絡的輸出參考基準。在訓練時，同時按輸入輸出矢量對 (Xp,Yp)給出訓練集 (p=1,…,P) 。從理論上可用求極值的方法獲得權值調整的一種典型規(guī)則： ? 其他最流行的網(wǎng)絡結構：徑向基函數(shù) (RBF)神經(jīng)網(wǎng)絡、自組織映射 (SOM)、 Hopfield網(wǎng)絡等。 ? ? ? ? ? ?1ji jijiEttt? ? ? ??? ? ??2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡 ? newcf—— cascadeforward backpropagation work. ? newelm—— Elman backpropagation work. ? newff—— feedforward backpropagation work. ? newfftd—— feedforward inputdelay backprop work. ? newgrnn—— generalized regression neural work. ? newhop—— Hopfield recurrent work. ? newlvq—— learning vector quantization work ? newpnn—— probabilistic neural work. ? newrb—— radial basis work. ? newrbe—— exact radial basis work. ? newsom—— selfanizing map 2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡 ? MatLab工具箱之多層前向 BP網(wǎng)絡示例 ? P = [0 1 2 3 4 5 6 7 8 9 10]。amp。amp。期望輸出 ? =newcf([0 10],[5 1],{‘tansig’ ‘purelin’})。 ? Y = sim(,P)。amp。o39。amp。迭代次數(shù) ? = train(,P,T)。amp。amp。實際輸出 (已學習 ) ? plot(P,T,P,Y,39。) 2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡 0 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 5 10 15 20 25 30 35 40 45 501031021011001011025 0 E p o c h sTrainingBlueP e r f o r m a n c e i s 0 . 0 0 2 2 5 4 8 8 , G o a l i s 02022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 支持向量機 ? 提出的背景 (針對神經(jīng)網(wǎng)絡的不足 ) 1. 大量的控制參數(shù)。 2. 存在過度擬合問題 。其結果它們只能記憶到訓練數(shù)據(jù)點，而對訓練數(shù)據(jù)以外的樣本點泛化能力很差。神經(jīng)網(wǎng)絡訓練過程中主要使用梯度下降的算法，容易陷入局部極小值。神經(jīng)網(wǎng)絡主要采用基于梯度的 BP學習算法，當用于大規(guī)模問題時收斂慢。神經(jīng)網(wǎng)絡沒有明確的函數(shù)形式解釋輸入和輸出變量之間的相互關系，很難解釋從神經(jīng)網(wǎng)絡獲得的結論。使用 SVM方法，人們可以在很高維的空間里構造好的分類規(guī)則。感知器只能解決線性分類問題；通過添加隱含層神經(jīng)網(wǎng)絡可以處理線性不可分問題，因而產(chǎn)生了 BP網(wǎng)絡。 ? SVM方法的出現(xiàn)， 從理論上解釋了隱含層的作用 ，即它是將輸入樣本集變換到高維空間，從而使樣本可分性得到改善，即神經(jīng)網(wǎng)絡學習算法實際上是一種 特殊的核技巧 。 2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 支持向量機 ? 結構化風險最小化與經(jīng)驗風險最小化原則 ? 經(jīng)驗風險最小化原則 考慮分類問題。記p(x,y)表示對象 x為 y類的概率分布。 f的期望風險為： 在有限樣本的情況下， p(x,y)是未知的，因此期望風險無法計算。 d x d yyxpyxffR ? ?? ),()()(???? liiie m p yxflfR1)(1)( )()(lim fRfR em pl ???2022年 5月 27日 9時 39分 決策理論與方法 智能決策理論與方法 機器學習 — 支持向量機 ? 如果 成立，則稱經(jīng)驗風險最小化原則（ Empirical R