【正文】 化原則 Vapnik在 1971年證明經(jīng)驗(yàn)風(fēng)險(xiǎn)最小值未必收斂于期望風(fēng)險(xiǎn)最小值，即 ERM不成立。常使用經(jīng)驗(yàn)風(fēng)險(xiǎn)代替，且當(dāng) l→∞ 時(shí)兩者相等。 分類的任務(wù)就是尋找分類器 f： U→Y 且使期望風(fēng)險(xiǎn)最小。樣本集為 U={x1,x2,...,xl}(m維空間中的 l個(gè)向量 )，每個(gè)向量對(duì)應(yīng)一個(gè)類別，類別空間 Y={+1,1}。 ? 另外，因?yàn)?支持向量 通常僅為訓(xùn)練數(shù)據(jù)集的一小部分 (解的稀疏性 )，因而加快了訓(xùn)練過(guò)程的收斂速度?，F(xiàn)已證明，當(dāng)隱含層可以任意設(shè)置時(shí)，三層 BP網(wǎng)絡(luò)可以以任意精度逼近任一連續(xù)函數(shù)，但 隱含層神經(jīng)元的理論意義不清楚 。 2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 支持向量機(jī) ? SVM提供了一種分類算法統(tǒng)一的理論框架，這是理論上的一個(gè)重要貢獻(xiàn)。 ? 20世紀(jì) 90年代 Vapnik提出了支持向量機(jī) (Support Vector Machines,SVM)，它被看作是高維空間函數(shù)表達(dá)的一般方法。 5. 黑箱問(wèn)題 。 。 2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 支持向量機(jī) 3. 局部極小值問(wèn)題 。許多現(xiàn)實(shí)的數(shù)據(jù)包含大量的噪聲，如果神經(jīng)網(wǎng)絡(luò)規(guī)模太大，并且網(wǎng)絡(luò)訓(xùn)練時(shí)間控制不適當(dāng)，那么神經(jīng)網(wǎng)絡(luò)將不但獲得數(shù)據(jù)中的有用信息而且會(huì)得到不希望的噪聲。 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、傳輸函數(shù)、損失函數(shù)、學(xué)習(xí)參數(shù)、訓(xùn)練算法以及訓(xùn)練代數(shù)都需要基于反復(fù)試驗(yàn)的方法獲得。o39。amp。網(wǎng)絡(luò)訓(xùn)練 ? Y = sim(,P)。amp。amp。) ? = 50。實(shí)際輸出 (未學(xué)習(xí) ) ? plot(P,T,P,Y,39。amp。創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，最小輸入為 0，最大輸入為 10，兩隱含層，第一層神經(jīng)元（ 5個(gè)神經(jīng)元）函數(shù)為 tansig函數(shù)，第二層神經(jīng)元（ 1個(gè)神經(jīng)元）函數(shù)為 purelin函數(shù)。amp。輸入 ? T = [0 1 2 3 4 3 2 1 2 3 4]。amp。 ? Matlab提供了一套神經(jīng)網(wǎng)絡(luò)工具箱 (Neural Networks Toolbox)，其中包含了一組 new函數(shù)，用以創(chuàng)建各種類型的神經(jīng)網(wǎng)絡(luò)。對(duì)于每個(gè) Xp，按照神經(jīng)元的輸入輸出公式，一個(gè)個(gè)一層層地求出網(wǎng)絡(luò)的實(shí)際輸出 Y1p，則誤差函數(shù)定義為： ???????PppPppp EYYE1121 )(212022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò) ? 權(quán)重調(diào)節(jié)策略 ： 學(xué)習(xí)的目標(biāo)是使 E最小或不大于規(guī)定的誤差。如果用符號(hào) Xp表示第 p個(gè)輸入模式特征矢量，用符號(hào)Yp表示對(duì)應(yīng)的第 p個(gè)輸出基準(zhǔn)矢量。 2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò) ? BP算法 ： BP算法的核心是 確定 W的調(diào)節(jié)規(guī)則 (學(xué)習(xí)規(guī)則 )，使實(shí)際的輸出 Y1(t)盡可能接近期望的輸出 Y(t)。 ? 上述過(guò)程一直持續(xù)到所有的輸出單元得到輸出為止，最后一層的輸出就是網(wǎng)絡(luò)的輸出。 ? 投射：將 第 j個(gè)神經(jīng)元的值經(jīng)過(guò)變換 f(j)，作為下一層網(wǎng)絡(luò) (本例是輸出層 )的輸入， 一般 f(x)=1/(1+ex)。 2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò) ? 多層前向神經(jīng)網(wǎng)絡(luò) ：包括一個(gè)輸入層、一個(gè)輸出層以及多層隱單元。 2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 ? 基本神經(jīng)元及感知機(jī)模型 ： 機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò) wj1 wji wjn yj f(?iwijxi?j) x1 xi xn 2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 神經(jīng)網(wǎng)絡(luò) ? 神經(jīng)元函數(shù) f的選擇 線性函數(shù)： f(x)=?x 帶限的線性函數(shù)： ?為最大輸出。 ? 神經(jīng)網(wǎng)絡(luò)分為 前向型、反饋型、隨機(jī)型 以及 自組織型 。 ? 生成的決策樹(shù)往往過(guò)大，不利于決策時(shí)的應(yīng)用，需要對(duì)其 剪枝 (Pruning)，請(qǐng)參閱相關(guān)文獻(xiàn)。依次構(gòu)造子決策樹(shù)，直至所有的訓(xùn)練樣本均能夠被正確分類。 ?? ???kjjjjj NPINPNPAE1),()(2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：決策樹(shù) A0 A1 A2 A3 類 0 0 0 0 1 0 0 0 1 1 0 0 1 0 1 0 0 1 1 1 0 1 0 0 1 0 1 0 1 1 0 1 1 0 1 0 1 1 1 1 A0 A1 A2 A3 類 1 0 0 0 1 1 0 0 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 0 .9 5 4 4)1610l o g (1610)166l o g (166),( ????NPI9 0 5 )84lo g8484lo g84(168)86lo g8682lo g82(168)4,4(168)6,2(168)(0?????????? IIAE類似地，求出 E(A1)， E(A2)， E(A3)。 )l o g ()l o g (),( NP NNP NNP PNP PNPI ???????2022年 5月 27日 9時(shí) 39分 決策理論與方法 智能決策理論與方法 機(jī)器學(xué)習(xí) — 歸納學(xué)習(xí)：決策樹(shù) 以 A為測(cè)試屬性的 期望信息熵 為 以 A為根節(jié)點(diǎn)的 信息增益 是： Gain(A)=I(P,N)E(A) ? ID3的策略就是 選擇信息增益最大的屬性作為測(cè)試屬性 。 ? 窗口技術(shù) ：對(duì)于訓(xùn)練集很大的情形可選擇其某個(gè)子集 (稱為窗口 )構(gòu)造一棵決策樹(shù)，如果該決策樹(shù)對(duì)訓(xùn)練集中的其它樣本的判決效果很差，則擴(kuò)大窗口，選擇不能被正確判別的樣本加入到窗口中，再建立一個(gè)新的決策樹(shù)，重復(fù)這個(gè)過(guò)程得到最終的決策樹(shù)， 顯然不同的初始窗口會(huì)產(chǎn)生不同的決策樹(shù) 。 ? 產(chǎn)生根節(jié)點(diǎn) T， T包含所有的訓(xùn)練樣本； ? 如果 T中的所有樣本都是正例，則產(chǎn)生一個(gè)標(biāo)有“ 1”的節(jié)點(diǎn)作為 T的子節(jié)點(diǎn)，并結(jié)束； ? 如果 T中的所有樣本都是反例，則產(chǎn)生一個(gè)標(biāo)有“ 1”的節(jié)點(diǎn)作為 T的子節(jié)點(diǎn)，并結(jié)束； ? 選擇一個(gè)屬性 A(如何選 ?)，根據(jù)該屬性的不同取值 v1,v2,…, vn將T中的訓(xùn)練集劃分為 n個(gè)子集，并根據(jù)這 n個(gè)子集建立 T的 n個(gè)子節(jié)點(diǎn) T1,T2,…,T n，并分別以 A=vi作為從 T到 Ti的分支符號(hào)； ? 以每個(gè)子節(jié)點(diǎn) Ti為根建立新的子樹(shù)。 所有的決策樹(shù)都有一等價(jià)的 ANN表示；也可用 SVM實(shí)現(xiàn)相同的功能。 從根結(jié)點(diǎn)到每個(gè)葉結(jié)點(diǎn)都有唯一的一條路徑，這條路徑就是一條決策“規(guī)則”。 所謂決策樹(shù)是一個(gè)類似流程圖的樹(shù)結(jié)構(gòu)，其中樹(shù)的內(nèi)結(jié)點(diǎn)對(duì)應(yīng)屬性或?qū)傩约?，每個(gè)分枝表示檢驗(yàn)結(jié)果 (屬性值 )，樹(shù)枝上的葉結(jié)點(diǎn)代表所關(guān)心的因變量的取值 (類標(biāo)簽 )，最頂端的結(jié)點(diǎn)稱為根