第04講智能決策理論與方法-2-文庫吧資料
2025-03-08 13:52本頁面
【正文】 了期望風險和經(jīng)驗風險的如下關(guān)系以概率 1?成立，即 l為樣本點數(shù)目；參數(shù) 0???1； h為函數(shù) f的維數(shù)，簡稱 VC維。 ? 結(jié)構(gòu)風險最小化原則 Vapnik在 1971年證明經(jīng)驗風險最小值未必收斂于期望風險最小值，即 ERM不成立。常使用經(jīng)驗風險代替，且當 l→∞ 時兩者相等。 分類的任務就是尋找分類器 f： U→Y 且使期望風險最小。樣本集為 U={x1,x2,...,xl}(m維空間中的 l個向量 )，每個向量對應一個類別，類別空間 Y={+1,1}。使用 SVM方法，人們可以在很高維的空間里構(gòu)造好的分類規(guī)則。神經(jīng)網(wǎng)絡(luò)沒有明確的函數(shù)形式解釋輸入和輸出變量之間的相互關(guān)系，很難解釋神經(jīng)網(wǎng)絡(luò)獲得的結(jié)論。神經(jīng)網(wǎng)絡(luò)主要采用基于梯度的 BP學習算法，當用于大規(guī)模問題時收斂慢。神經(jīng)網(wǎng)絡(luò)訓練過程中主要使用梯度下降的算法，容易陷入局部極小值。其結(jié)果只能用于訓練數(shù)據(jù)點，而對訓練數(shù)據(jù)以外的樣本點缺乏泛化能力。 2. 存在過度擬合問題 。) 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡(luò) 0 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 5 10 15 20 25 30 35 40 45 501031021011001011025 0 E p o c h sTrainingBlueP e r f o r m a n c e i s 0 . 0 0 2 2 5 4 8 8 , G o a l i s 0決策理論與方法 智能決策理論與方法 機器學習 — 支持向量機 ?提出的背景 (相對神經(jīng)網(wǎng)絡(luò)的不足 ) 1. 大量的控制參數(shù)。實際輸出 (已學習 ) ? plot(P,T,P,Y,39。迭代次數(shù) ? = train(,P,T)。o39。 ? Y = sim(,P)。期望輸出 ? =newcf([0 10],[5 1],{‘tansig’ ‘purelin’})。 ? ? ? ? ? ?1ji jijiEttt? ? ? ??? ? ??決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡(luò) ? newcf—— cascadeforward backpropagation work. ? newelm—— Elman backpropagation work. ? newff—— feedforward backpropagation work. ? newfftd—— feedforward inputdelay backprop work. ? newgrnn—— generalized regression neural work. ? newhop—— Hopfield recurrent work. ? newlvq—— learning vector quantization work ? newpnn—— probabilistic neural work. ? newrb—— radial basis work. ? newrbe—— exact radial basis work. ? newsom—— selfanizing map 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡(luò) ? MatLab工具箱之多層前向 BP網(wǎng)絡(luò)示例 ? P = [0 1 2 3 4 5 6 7 8 9 10]。從理論上可用求極值的方法獲得權(quán)值調(diào)整的一種典型規(guī)則： ? 其他最流行的網(wǎng)絡(luò)結(jié)構(gòu)：徑向基函數(shù) (RBF)神經(jīng)網(wǎng)絡(luò)、自組織映射 (SOM)、 Hopfield網(wǎng)絡(luò)等。在訓練時，同時按輸入輸出矢量對 (Xp,Yp)給出訓練集 (p=1,…,P) 。 ? 誤差函數(shù) ：對于每種輸入模式特征矢量 (x1,x2,…,x I),都有對應的輸出矢量 (y1,y2,…,y K)作為訓練網(wǎng)絡(luò)的輸出參考基準。 ?因此，神經(jīng)網(wǎng)絡(luò)是一個 黑匣子 。因此可得到 yk=?jwkjf(j)。 x1 xi xI y1 yk yK 輸入層 隱含層 輸出層 u1 ui uI v1 vj vJ wji wkj 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡(luò) ?隱含層的接受與投射 (以隱含層第 j個神經(jīng)元為例 )： ? 接受：第 j個神經(jīng)元的值來自于前一層網(wǎng)絡(luò) (本例是輸入層 )輸出值的加權(quán)和，即 j=?iwjiui。 1) ： y(t)= f(?iwij(t)xi(t)?j(t)) ? 計算期望輸出與實際輸出的誤差： e(t)=yjy(t) ? 若 e=0，則說明當前樣本輸出正確，不必更新權(quán)值，否則更新權(quán)值和閾值 wij(t+1)= wij(t)+?yjxi(t)； ?j(t+1)=?j(t)+?yj t=t+1(?為學習率 ) (3)返回 (2)，重復所有的訓練樣本直到所有的樣本輸出正確。 閾值型函數(shù)： sigmoid函數(shù)： ????????????????xxxxxf ||)(???????????xxxf11)(xxx eexforexf ??? ????? 11)(11)(決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡(luò) ? 感知機學習算法： (選取 f為閾值函數(shù)，學習權(quán)值向量 w) (1)初始化：將權(quán)值向量和閾值賦予隨機量， t=0 (2)連接權(quán)的修正：設(shè)訓練樣本的輸入為 x1,..., xi,...,xn，期望輸出為 yj(=177。我們重點介紹一下前向型網(wǎng)絡(luò)及其學習算法。 決策理論與方法 智能決策理論與方法 機器學習 — 歸納學習：決策樹 A1 A0 1 0 1 +1 A2 +1 0 1 1 0 1 決策理論與方法 智能決策理論與方法 機器學習 — 神經(jīng)網(wǎng)絡(luò) ?神經(jīng)網(wǎng)絡(luò) (Artificial Neural Networks)是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應 ()。若取A0，則 ? 當 A0=0時，所有對象類標簽均為 +1，此分支結(jié)束。 決策理論與方法 智能決策理論與方法
教學課件相關(guān)推薦
鄂ICP備17016276號-1