【正文】 jxi(t)； ?j(t+1)=?j(t)+?yj t=t+1(?為學(xué)習(xí)率 ) (3)返回 (2)，重復(fù)所有的訓(xùn)練樣本直到所有的樣本輸出正確。 神經(jīng)網(wǎng)絡(luò) ? 多層前向神經(jīng)網(wǎng)絡(luò) ：包括一個輸入層、一個輸出層以及多層隱單元。 x1 xi xI y1 yk yK 輸入層 隱含層 輸出層 u1 ui uI v1 vj vJ wji wkj 神經(jīng)網(wǎng)絡(luò) ? 隱含層的接受與投射 (以隱含層第 j個神經(jīng)元為例 )： ? 接受：第 j個神經(jīng)元的值來自于前一層網(wǎng)絡(luò) (本例是輸入層 )輸出值的加權(quán)和，即 j=?iwjiui。 ? 投射：將 第 j個神經(jīng)元的值經(jīng)過變換 f(j)，作為下一層網(wǎng)絡(luò) (本例是輸出層 )的輸入， 一般 f(x)=1/(1+ex)。因此可得到 yk=?jwkjf(j)。 ? 上述過程一直持續(xù)到所有的輸出單元得到輸出為止，最后一層的輸出就是網(wǎng)絡(luò)的輸出。 ? 因此，神經(jīng)網(wǎng)絡(luò)是一個 黑匣子 。 神經(jīng)網(wǎng)絡(luò) ? 神經(jīng)網(wǎng)絡(luò)類型 ? BP神經(jīng)網(wǎng)絡(luò) ? 徑向基函數(shù) (RBF)神經(jīng)網(wǎng)絡(luò) ? 自組織映射 (SOM) ? Hopfield網(wǎng)絡(luò) ? 波耳茲曼機(jī)（深度學(xué)習(xí)） ? Matlab提供了一套神經(jīng)網(wǎng)絡(luò)工具箱 (Neural Networks Toolbox)，其中包含了一組 new函數(shù)，用以創(chuàng)建各種類型的神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò) ? newcf—— cascadeforward backpropagation work. ? newelm—— Elman backpropagation work. ? newff—— feedforward backpropagation work. ? newfftd—— feedforward inputdelay backprop work. ? newpnn—— probabilistic neural work. ? newrb—— radial basis work. ? newrbe—— exact radial basis work. ? newsom—— selfanizing map ? newhop—— Hopfield recurrent work. ? newgrnn—— generalized regression neural work. ? newlvq—— learning vector quantization work 神經(jīng)網(wǎng)絡(luò) ? MatLab工具箱之多層前向 BP網(wǎng)絡(luò)示例 ? P = [0 1 2 3 4 5 6 7 8 9 10]。輸入 ? T = [0 1 2 3 4 3 2 1 2 3 4]。期望輸出 ? =newcf([0 10],[5 1],{‘tansig’ ‘purelin’})。 創(chuàng)建一個 BP網(wǎng)絡(luò)，最小輸入為 0，最大輸入為 10，兩隱含層，第一（ 5個神經(jīng)元）、二層（ 1個神經(jīng)元）神經(jīng)元函數(shù)分別為 tansig和 purelin函數(shù)。 ? Y = sim(,P)。 ? plot(P,T,P,Y,39。o39。) ? = 50。 ? = train(,P,T)。 ? Y = sim(,P)。 ? plot(P,T,P,Y,39。o39。) 神經(jīng)網(wǎng)絡(luò) 0 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 5 10 15 20 25 30 35 40 45 501031021011001011025 0 E p o c h sTrainingBlueP e r f o r m a n c e i s 0 . 0 0 2 2 5 4 8 8 , G o a l i s 0不確定性決策理論與方法 不確定性決策概述 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡(luò) 支持向量機(jī) 支持向量機(jī) ? 20世紀(jì) 90年代 Vapnik提出了支持向量機(jī) (Support Vector Machines,SVM)，它被看作是高維空間函數(shù)表達(dá)的一般方法。使用 SVM方法，人們可以在很高維的空間里構(gòu)造好的分類規(guī)則。 支持向量機(jī) ? 經(jīng)驗(yàn)風(fēng)險最小化與結(jié)構(gòu)風(fēng)險最小化原則 ? 經(jīng)驗(yàn)風(fēng)險最小化原則 考慮分類問題。樣本集為 U={x1,x2,...,xl}(m維空間中的 l個向量 )，每個向量對應(yīng)一個類別，類別空間 Y={+1,1}。記p(x,y)表示對象 x為 y類的概率分布。 分類的任務(wù)就是尋找分類器 f： U→Y 且使期望風(fēng)險最小。 f的期望風(fēng)險為： 在有限樣本的情況下， p(x,y)是未知的，因此期望風(fēng)險無法計算。常使用經(jīng)驗(yàn)風(fēng)險代替，且當(dāng) l→∞ 時兩者相等。 dxdyyxpyxffR ? ?? ),()()(11( ) ( )le m p i iiR f f x yl???? )()(lim fRfRem pl ???支持向量機(jī) ? 如果 成立，則稱經(jīng)驗(yàn)風(fēng)險最小化原則（ Empirical Risk Minimization, ERM）具有一致性。 ? 結(jié)構(gòu)風(fēng)險最小化原則 Vapnik在 1971年證明經(jīng)驗(yàn)風(fēng)險最小值未必收斂于期望風(fēng)險最小值，即 ERM不成立。因此提出了 結(jié)構(gòu)風(fēng)險最小化原則 (Structural Risk Minimization, SRM)， 為小樣本統(tǒng)計理論奠定了基礎(chǔ)。 ))(min())(min(lim fRfR e mpl ???支持向量機(jī) ? Vapnik和 Chervonenkis通過研究，得出了期望風(fēng)險和經(jīng)驗(yàn)風(fēng)險的如下關(guān)系以概率 1?成立，即 l為樣本點(diǎn)數(shù)目；參數(shù) 0???1； h為函數(shù) f的維數(shù)，簡稱 VC維。 (在無法求得期望風(fēng)險的情形下找到了它的一個上界 ) ? 不等式右邊與樣本的具體分布無關(guān)，即 Vapnik的統(tǒng)計學(xué)習(xí)理論 無需假設(shè)樣本分布 ， 克服了高維分布對樣本點(diǎn)需求隨維數(shù)而指數(shù)增長的問題 。這是小樣本統(tǒng)計理論與經(jīng)典統(tǒng)計理論的本質(zhì)區(qū)別，也是將 Vapnik統(tǒng)計方法稱之為小樣本統(tǒng)計理論 的原因。 2( l n( 1 ) l n )4( ) ( )e m plhhR f R fl?????VC維置信度 支持向量機(jī) ? 討論 ： (1)如果 l/h較大，則期望風(fēng)險 (實(shí)際風(fēng)險 )主要由經(jīng)驗(yàn)風(fēng)險來決定，因此對于大樣本集經(jīng)驗(yàn)風(fēng)險經(jīng)常能給出較好結(jié)果。 (2)如果比值 l/h較小 (小樣本集 )，則小的經(jīng)驗(yàn)風(fēng)險并不能保證有小的期望風(fēng)險值，必須同時考慮 經(jīng)驗(yàn)風(fēng)險和置信范圍 (稱之為 VC維置信度 )。 VC維在其中起重要作用，實(shí)際上置信范圍是 h的增函數(shù)。在樣本點(diǎn)數(shù)目 l一定時，分類器越復(fù)雜，即 VC維越大，則置信范圍越大，導(dǎo)致實(shí)際風(fēng)險與經(jīng)驗(yàn)風(fēng)險的差別越大。 結(jié)論：要想使實(shí)際風(fēng)險最小不僅要 使經(jīng)驗(yàn)風(fēng)險最小 ， 還同時需要 使分類器函數(shù) f的 VC維 h盡可能最小 ，這就是 結(jié)構(gòu)風(fēng)險最小化原則 。因此尋找最小屬性集變得非常有意義。 支持向量機(jī) ? 支持向量分類模型 ? 基本分類思想 ：支持向量機(jī)的 核心思想 是將 結(jié)構(gòu)風(fēng)險最小化原則 引入到分類問題中 。 從線性可分情況下的 最優(yōu)分類超平面 發(fā)展而來的 ， 其本質(zhì)是在訓(xùn)練樣本中找出具有最優(yōu)分類超平面的 支持向量 。 在數(shù)學(xué)上歸結(jié)為一個求解不等式約束條件的 二次規(guī)劃問題 。 支持向量機(jī) ? margin與支持向量 ： 設(shè)樣本集為 U={x1,x2,...,xl}(m維空間中的 l個向量 )，類別空間 Y={+1,1}。 xi為輸入向量，對應(yīng)的類標(biāo)簽為 yi(+1或 1)。若樣本集是線性可分的，則存在超平面 H： wx+b=0使得 (1)當(dāng) wxi+b?1時， yi=+1 (2)當(dāng) wxi+b?1時， yi=1 其中， w為權(quán)值向量， b為偏離值。統(tǒng)一 (1),(2)得： yi(wxi+b) ?1 對于樣本集的任一向量 (點(diǎn) )xi，其到超平面 H的距離為： wwbwxwbwxdTiii ????? ||||支持向量機(jī) 那么， margin的大小可按下式計算： margin=d++d d+=min{di|i?{1,2,...,l},yi=+1}。 d=min{di|i?{1,2,...,l},yi=1} 若存在樣本點(diǎn) xi使得 wxi+b=177。 1，則稱此向量 xi為 支持向量 ，此時， d+=d=1/|w|， margin=2/|w|。 ? 分類模型 ：尋求最優(yōu)超平面 H，使得 margin最大。因此分類問題轉(zhuǎn)為二次凸規(guī)劃問題： 1)(..21min???bwxytswwiiT支持向量機(jī) ? 圖中 H為最優(yōu)分類超平面； H+1和 H1為最大間隔超平面； H+1和 H1上的點(diǎn)為支持向量。 x1 x2 H: w?x+b=0 H1: w?x+b=1 H+1: w?x+b=1 支持向量機(jī) ? 線性不可分 ：可引入 核函數(shù) 將線性不可分問題轉(zhuǎn)換為高維空間的線性可分問題，常見核函數(shù)有： d次多項(xiàng)式函數(shù) 高斯徑向基函數(shù) 神經(jīng)網(wǎng)絡(luò)核函數(shù) dixxxxK )1(),( 21 ??? )/exp(),( 2221 ?ixxxxK ??? ))(tanh(),(2121 kxxkxxK i ???大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 方法分類 ? 統(tǒng)計類 ：統(tǒng)計模型構(gòu)建，參數(shù)估計，統(tǒng)計檢驗(yàn)。 ? 機(jī)器學(xué)習(xí)類 ：建模，抽樣，訓(xùn)練，檢驗(yàn)。 ? 搜索類 ：管理目標(biāo)已知時，可采用搜索策略。 ? 算法類 ：面向問題迭代計算完成，如 kmeans， PageRank。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之一 ：優(yōu)化模型結(jié)構(gòu) ? 典型代表是深度神經(jīng)網(wǎng)絡(luò)（ deep neural work, 2023年， Hinton， 《 Science》 ）：以受限 Boltzmann機(jī)為核心的多層神經(jīng)網(wǎng)絡(luò)，一種逐步降維的思想，每一層的輸出都是對輸入數(shù)據(jù)的一種更大粒度的特征描述（類似泛化），可用于降維、分類、可視化等。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之二 ：揭示數(shù)據(jù)對象間的結(jié)構(gòu)關(guān)系 ? 典型代表是多尺度無監(jiān)督結(jié)構(gòu)學(xué)習(xí)（ multiscale unsupervised structure learning， 2023年， Joshua T. Vogelstein， 《 Science》 ）。流形學(xué)習(xí)（ Manifold Learning， 2023年， Joshua Tenenbaum（ Isomap）； Sam T. Roweis and Lawrence K. Saul（ LLE）， 《 Science》 ）是結(jié)構(gòu)學(xué)習(xí)的特例。從高維觀測數(shù)據(jù)中發(fā)現(xiàn)潛在的低維結(jié)構(gòu)，并構(gòu)造高維空間到低維空間嵌入的非線性映射。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之三 ：檢驗(yàn) /揭示特征變量間的關(guān)系 ? 典型代表是最大信息系數(shù)（ the maximal information coefficient (MIC)， 2023年， David N. Reshef， 《 Science》 ）：借助于最大信息系數(shù)發(fā)現(xiàn)兩個變量間的關(guān)聯(lián)關(guān)系。 MIC可以捕獲廣泛的關(guān)聯(lián)關(guān)系，包括函數(shù)關(guān)系和非函數(shù)關(guān)系，屬于基于最大信息的非參數(shù)探究（ Maximal informationbased nonparametric exploration, MINE）統(tǒng)計學(xué)范疇。一般通過測量兩個變量間的某種依賴關(guān)系來實(shí)現(xiàn)。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之四 ：快速算法設(shè)計 ? 典型代表是密度峰值的快速搜索與發(fā)現(xiàn)方法（ fast search and find of density peaks， 2023年， Alex Rodriguez and Alessandro Laio， 《 Science》 ），用于聚類分析，其思想是聚類中心被比其密度低的鄰近結(jié)點(diǎn)包圍，而這些鄰近結(jié)點(diǎn)到其他高密度結(jié)點(diǎn)的距離較遠(yuǎn)。 ? 動態(tài)之五 ：亞線性計算方法 /近似計算方法 ? 借助樣本特征的內(nèi)在邏輯，設(shè)計待測指標(biāo)的近似計算方法，如流數(shù)據(jù)二階矩估計的 AMS算法、復(fù)雜網(wǎng)絡(luò)的最短路徑近似計算方法等。 演講完畢，謝謝觀看！