【正文】 演講完畢，謝謝觀看！ 。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之四 ：快速算法設(shè)計 ? 典型代表是密度峰值的快速搜索與發(fā)現(xiàn)方法（ fast search and find of density peaks， 2023年， Alex Rodriguez and Alessandro Laio， 《 Science》 ），用于聚類分析，其思想是聚類中心被比其密度低的鄰近結(jié)點包圍，而這些鄰近結(jié)點到其他高密度結(jié)點的距離較遠。 MIC可以捕獲廣泛的關(guān)聯(lián)關(guān)系，包括函數(shù)關(guān)系和非函數(shù)關(guān)系，屬于基于最大信息的非參數(shù)探究（ Maximal informationbased nonparametric exploration, MINE）統(tǒng)計學(xué)范疇。從高維觀測數(shù)據(jù)中發(fā)現(xiàn)潛在的低維結(jié)構(gòu)，并構(gòu)造高維空間到低維空間嵌入的非線性映射。 大數(shù)據(jù)分析方法發(fā)展動態(tài) ? 動態(tài)之二 ：揭示數(shù)據(jù)對象間的結(jié)構(gòu)關(guān)系 ? 典型代表是多尺度無監(jiān)督結(jié)構(gòu)學(xué)習(xí)（ multiscale unsupervised structure learning， 2023年， Joshua T. Vogelstein， 《 Science》 ）。 ? 算法類 ：面向問題迭代計算完成，如 kmeans， PageRank。 ? 機器學(xué)習(xí)類 ：建模，抽樣，訓(xùn)練，檢驗。因此分類問題轉(zhuǎn)為二次凸規(guī)劃問題： 1)(..21min???bwxytswwiiT支持向量機 ? 圖中 H為最優(yōu)分類超平面； H+1和 H1為最大間隔超平面； H+1和 H1上的點為支持向量。 1，則稱此向量 xi為 支持向量 ，此時， d+=d=1/|w|， margin=2/|w|。統(tǒng)一 (1),(2)得： yi(wxi+b) ?1 對于樣本集的任一向量 (點 )xi，其到超平面 H的距離為： wwbwxwbwxdTiii ????? ||||支持向量機 那么， margin的大小可按下式計算： margin=d++d d+=min{di|i?{1,2,...,l},yi=+1}。 xi為輸入向量，對應(yīng)的類標(biāo)簽為 yi(+1或 1)。 在數(shù)學(xué)上歸結(jié)為一個求解不等式約束條件的 二次規(guī)劃問題 。 支持向量機 ? 支持向量分類模型 ? 基本分類思想 ：支持向量機的 核心思想 是將 結(jié)構(gòu)風(fēng)險最小化原則 引入到分類問題中 。 結(jié)論：要想使實際風(fēng)險最小不僅要 使經(jīng)驗風(fēng)險最小 ， 還同時需要 使分類器函數(shù) f的 VC維 h盡可能最小 ，這就是 結(jié)構(gòu)風(fēng)險最小化原則 。 VC維在其中起重要作用，實際上置信范圍是 h的增函數(shù)。 2( l n( 1 ) l n )4( ) ( )e m plhhR f R fl?????VC維置信度 支持向量機 ? 討論 ： (1)如果 l/h較大，則期望風(fēng)險 (實際風(fēng)險 )主要由經(jīng)驗風(fēng)險來決定，因此對于大樣本集經(jīng)驗風(fēng)險經(jīng)常能給出較好結(jié)果。 (在無法求得期望風(fēng)險的情形下找到了它的一個上界 ) ? 不等式右邊與樣本的具體分布無關(guān)，即 Vapnik的統(tǒng)計學(xué)習(xí)理論 無需假設(shè)樣本分布 ， 克服了高維分布對樣本點需求隨維數(shù)而指數(shù)增長的問題 。因此提出了 結(jié)構(gòu)風(fēng)險最小化原則 (Structural Risk Minimization, SRM)， 為小樣本統(tǒng)計理論奠定了基礎(chǔ)。 dxd yyxpyxffR ? ?? ),()()(11( ) ( )le m p i iiR f f x yl???? )()(lim fRfRe mpl ???支持向量機 ? 如果 成立，則稱經(jīng)驗風(fēng)險最小化原則（ Empirical Risk Minimization, ERM）具有一致性。 f的期望風(fēng)險為： 在有限樣本的情況下， p(x,y)是未知的，因此期望風(fēng)險無法計算。記p(x,y)表示對象 x為 y類的概率分布。 支持向量機 ? 經(jīng)驗風(fēng)險最小化與結(jié)構(gòu)風(fēng)險最小化原則 ? 經(jīng)驗風(fēng)險最小化原則 考慮分類問題。) 神經(jīng)網(wǎng)絡(luò) 0 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 5 10 15 20 25 30 35 40 45 501031021011001011025 0 E p o c h sTrainingBlueP e r f o r m a n c e i s 0 . 0 0 2 2 5 4 8 8 , G o a l i s 0不確定性決策理論與方法 不確定性決策概述 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡(luò) 支持向量機 支持向量機 ? 20世紀(jì) 90年代 Vapnik提出了支持向量機 (Support Vector Machines,SVM)，它被看作是高維空間函數(shù)表達的一般方法。 ? plot(P,T,P,Y,39。 ? = train(,P,T)。o39。 ? Y = sim(,P)。期望輸出 ? =newcf([0 10],[5 1],{‘tansig’ ‘purelin’})。 神經(jīng)網(wǎng)絡(luò) ? newcf—— cascadeforward backpropagation work. ? newelm—— Elman backpropagation work. ? newff—— feedforward backpropagation work. ? newfftd—— feedforward inputdelay backprop work. ? newpnn—— probabilistic neural work. ? newrb—— radial basis work. ? newrbe—— exact radial basis work. ? newsom—— selfanizing map ? newhop—— Hopfield recurrent work. ? newgrnn—— generalized regression neural work. ? newlvq—— learning vector quantization work 神經(jīng)網(wǎng)絡(luò) ? MatLab工具箱之多層前向 BP網(wǎng)絡(luò)示例 ? P = [0 1 2 3 4 5 6 7 8 9 10]。 ? 因此，神經(jīng)網(wǎng)絡(luò)是一個 黑匣子 。因此可得到 yk=?jwkjf(j)。 x1 xi xI y1 yk yK 輸入層 隱含層 輸出層 u1 ui uI v1 vj vJ wji wkj 神經(jīng)網(wǎng)絡(luò) ? 隱含層的接受與投射 (以隱含層第 j個神經(jīng)元為例 )： ? 接受：第 j個神經(jīng)元的值來自于前一層網(wǎng)絡(luò) (本例是輸入層 )輸出值的加權(quán)和，即 j=?iwjiui。 1) ： y(t)= f(?iwij(t)xi(t)?j(t)) ? 計算期望輸出與實際輸出的誤差： e(t)=yjy(t) ? 若 e=0，則說明當(dāng)前樣本輸出正確，不必更新權(quán)值，否則更新權(quán)值和閾值 wij(t+1)= wij(t)+?yjxi(t)； ?j(t+1)=?j(t)+?yj t=t+1(?為學(xué)習(xí)率 ) (3)返回 (2)，重復(fù)所有的訓(xùn)練樣本直到所有的樣本輸出正確。 閾值型函數(shù)： sigmoid函數(shù)： ????????????????xxxxxf ||)(???????????xxxf11)(xxx eexforexf ??? ????? 11)(11)(神經(jīng)網(wǎng)絡(luò) ? 感知機學(xué)習(xí)算法： (選取 f為閾值函數(shù)，學(xué)習(xí)權(quán)值向量 w) (1)初始化：將權(quán)值向量和閾值賦予隨機量， t=0 (2)連接權(quán)的修正：設(shè)訓(xùn)練樣本的輸入為 x1,..., xi,...,xn，期望輸出為 yj(=177。我們重點介紹前向型網(wǎng)絡(luò)及其學(xué)習(xí)算法。 決策樹：算例 A1 A0 1 0 1 +1 A2 +1 0 1 1 0 1 A0 A1 A2 A3 類 0 0 0 0 1 0 0 0 1 1 0 0 1 0 1 0 0 1 1 1 0 1 0 0 1 0 1 0 1 1 0 1 1 0 1 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 不確定性決策理論與方法 不確定性決策概述 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡(luò) 支持向量機 神經(jīng)網(wǎng)絡(luò) ? 神經(jīng)網(wǎng)絡(luò) (Artificial Neural Networks)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng) ()。 A3沒有改變?nèi)魏涡畔⒘?，無分類價值，可以刪除。 ? 生成的決策樹往往過大，不利于決策時的應(yīng)用，需要對其剪枝 (Pruning)，請參閱相關(guān)文獻。 ? ID3的問題：測試屬性的分支越多，信息增益值越大，但輸出分支多并不表示該測試屬性有更好的預(yù)測效果。 ? 信息增益 ：設(shè)決策樹根結(jié)點的樣本數(shù)據(jù)為 X={x1,x2,…,x n}，稱 X的兩個訓(xùn)練子集 PX(對應(yīng)類標(biāo)簽為 1)和 NX (對應(yīng)類標(biāo)簽為1)為 正例集 和 反例集 ，并記正例集和反例集的樣本數(shù)分別為 P和 N，則樣本空間的 信息熵 為 假設(shè)以隨機變量 A作為決策樹根的測試屬性， A具有 k個不同的離散值 v1,v2,…, vk，它將 X劃分為 k個子集，且假設(shè)第 j個子集中包含 Pj個正例， Nj個反例，則第 j個子集的信息熵為I(Pj,Nj)。 ? 產(chǎn)生根節(jié)點 T， T包含所有的訓(xùn)練樣本； ? 如果 T中的所有樣本都是正例，則產(chǎn)生一個標(biāo)有“ 1”的節(jié)點作為 T的子節(jié)點，并結(jié)束； ? 如果 T中的所有樣本都是反例，則產(chǎn)生一個標(biāo)有“ 1”的節(jié)點作為 T的子節(jié)點，并結(jié)束； ? 選擇一個屬性 A(如何選 ?)，根據(jù)該屬性的不同取值 v1,v2,…, vn將T中的訓(xùn)練集劃分為 n個子集，并根據(jù)這 n個子集建立 T的 n個子節(jié)點 T1,T2,…,T n，并分別以 A=vi作為從 T到 Ti的分支符號； ? 以每個子節(jié)點 Ti為根建立新的子樹。 ? 當(dāng)經(jīng)過一批訓(xùn)練實例集的訓(xùn)練產(chǎn)生一顆決策樹，那么該決策樹就可以根據(jù)屬性的取值對一個未知實例集進行分類。 ? 決策樹學(xué)習(xí)采用自頂向下的遞歸方式，在決策樹的內(nèi)部結(jié)點進行屬性值比較并根據(jù)不同的屬性值判斷從該結(jié)點向下的分支，在葉結(jié)點得到結(jié)論。 粗糙集：值約簡 1. IF (T1, No) AND (T3, Normal) THEN (E, Yes) 2. IF (T1, Yes) AND (T3, Normal) THEN (E, Yes) 3. IF (T3, High) THEN (E, Yes) 4. IF (T3, Low) THEN (E, No) 5. IF (T1, Yes) AND (T3, Normal) THEN (E, No) 6. IF (T3, High) THEN (E, Yes) 條件屬性子集 {T1} {T2} {T3} {T1,T2} {T1,T3} {T2,T3} {T1,T2,T3} 依賴度 k 0 0 1/2 1/6 2/3 2/3 2/3 T1 T3 E p1 N Normal Y p2 Y Normal Y p3 High Y p4 Low N p5 Y Normal N p6 High Y )()(1)()()()(),( DDDDDBCBCCBCCDC ?????? ?? ????粗糙集：約簡示例 1. IF (T2, Yes) AND (T3, Normal) THEN (E, Yes) 2. IF (T2, No) AND (T3