【正文】 150Kg時(shí)，我們幾乎肯定他是個(gè)胖子，這時(shí)身高、性別已不重要，也就是說身高、性別的屬性值是冗余的。 ? 決策樹學(xué)習(xí)采用自頂向下的遞歸方式，在決策樹的內(nèi)部結(jié)點(diǎn)進(jìn)行屬性值比較并根據(jù)不同的屬性值判斷從該結(jié)點(diǎn)向下的分支，在葉結(jié)點(diǎn)得到結(jié)論。 ? 產(chǎn)生根節(jié)點(diǎn) T， T包含所有的訓(xùn)練樣本； ? 如果 T中的所有樣本都是正例，則產(chǎn)生一個(gè)標(biāo)有“ 1”的節(jié)點(diǎn)作為 T的子節(jié)點(diǎn)，并結(jié)束； ? 如果 T中的所有樣本都是反例，則產(chǎn)生一個(gè)標(biāo)有“ 1”的節(jié)點(diǎn)作為 T的子節(jié)點(diǎn)，并結(jié)束； ? 選擇一個(gè)屬性 A(如何選 ?)，根據(jù)該屬性的不同取值 v1,v2,…, vn將T中的訓(xùn)練集劃分為 n個(gè)子集，并根據(jù)這 n個(gè)子集建立 T的 n個(gè)子節(jié)點(diǎn) T1,T2,…,T n，并分別以 A=vi作為從 T到 Ti的分支符號(hào)； ? 以每個(gè)子節(jié)點(diǎn) Ti為根建立新的子樹。 ? ID3的問題：測試屬性的分支越多，信息增益值越大，但輸出分支多并不表示該測試屬性有更好的預(yù)測效果。 A3沒有改變?nèi)魏涡畔⒘?，無分類價(jià)值，可以刪除。我們重點(diǎn)介紹前向型網(wǎng)絡(luò)及其學(xué)習(xí)算法。 1) ： y(t)= f(?iwij(t)xi(t)?j(t)) ? 計(jì)算期望輸出與實(shí)際輸出的誤差： e(t)=yjy(t) ? 若 e=0，則說明當(dāng)前樣本輸出正確，不必更新權(quán)值，否則更新權(quán)值和閾值 wij(t+1)= wij(t)+?yjxi(t)； ?j(t+1)=?j(t)+?yj t=t+1(?為學(xué)習(xí)率 ) (3)返回 (2)，重復(fù)所有的訓(xùn)練樣本直到所有的樣本輸出正確。因此可得到 yk=?jwkjf(j)。 神經(jīng)網(wǎng)絡(luò) ? newcf—— cascadeforward backpropagation work. ? newelm—— Elman backpropagation work. ? newff—— feedforward backpropagation work. ? newfftd—— feedforward inputdelay backprop work. ? newpnn—— probabilistic neural work. ? newrb—— radial basis work. ? newrbe—— exact radial basis work. ? newsom—— selfanizing map ? newhop—— Hopfield recurrent work. ? newgrnn—— generalized regression neural work. ? newlvq—— learning vector quantization work 神經(jīng)網(wǎng)絡(luò) ? MatLab工具箱之多層前向 BP網(wǎng)絡(luò)示例 ? P = [0 1 2 3 4 5 6 7 8 9 10]。 ? Y = sim(,P)。 ? = train(,P,T)。) 神經(jīng)網(wǎng)絡(luò) 0 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 1 2 3 4 5 6 7 8 9 10 0 . 500 . 511 . 522 . 533 . 540 5 10 15 20 25 30 35 40 45 501031021011001011025 0 E p o c h sTrainingBlueP e r f o r m a n c e i s 0 . 0 0 2 2 5 4 8 8 , G o a l i s 0不確定性決策理論與方法 不確定性決策概述 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡(luò) 支持向量機(jī) 支持向量機(jī) ? 20世紀(jì) 90年代 Vapnik提出了支持向量機(jī) (Support Vector Machines,SVM)，它被看作是高維空間函數(shù)表達(dá)的一般方法。記p(x,y)表示對(duì)象 x為 y類的概率分布。 dxdyyxpyxffR ? ?? ),()()(11( ) ( )le m p i iiR f f x yl???? )()(lim fRfRem pl ???支持向量機(jī) ? 如果 成立，則稱經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則（ Empirical Risk Minimization, ERM）具有一致性。 (在無法求得期望風(fēng)險(xiǎn)的情形下找到了它的一個(gè)上界 ) ? 不等式右邊與樣本的具體分布無關(guān)，即 Vapnik的統(tǒng)計(jì)學(xué)習(xí)理論 無需假設(shè)樣本分布 ， 克服了高維分布對(duì)樣本點(diǎn)需求隨維數(shù)而指數(shù)增長的問題 。 VC維在其中起重要作用，實(shí)際上置信范圍是 h的增函數(shù)。 支持向量機(jī) ? 支持向量分類模型 ? 基本分類思想 ：支持向量機(jī)的 核心思想 是將 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 引入到分類問題中 。 xi為輸入向量，對(duì)應(yīng)的類標(biāo)簽為 yi(+1或 1)。 1，則稱此向量 xi為 支持向量 ，此時(shí)， d+=d=1/|w|， margin=2/|w|。 ? 機(jī)器學(xué)習(xí)類 ：建模，抽樣，訓(xùn)練，檢驗(yàn)。 大數(shù)據(jù)分析方法發(fā)展動(dòng)態(tài) ? 動(dòng)態(tài)之二 ：揭示數(shù)據(jù)對(duì)象間的結(jié)構(gòu)關(guān)系 ? 典型代表是多尺度無監(jiān)督結(jié)構(gòu)學(xué)習(xí)（ multiscale unsupervised structure learning， 2023年， Joshua T. Vogelstein， 《 Science》 ）。 MIC可以捕獲廣泛的關(guān)聯(lián)關(guān)系，包括函數(shù)關(guān)系和非函數(shù)關(guān)系，屬于基于最大信息的非參數(shù)探究（ Maximal informationbased nonparametric exploration, MINE）統(tǒng)計(jì)學(xué)范疇。 演講完畢，謝謝觀看！ 。 大數(shù)據(jù)分析方法發(fā)展動(dòng)態(tài) ? 動(dòng)態(tài)之四 ：快速算法設(shè)計(jì) ? 典型代表是密度峰值的快速搜索與發(fā)現(xiàn)方法（ fast search and find of density peaks， 2023年， Alex Rodriguez and Alessandro Laio， 《 Science》 ），用于聚類分析，其思想是聚類中心被比其密度低的鄰近結(jié)點(diǎn)包圍，而這些鄰近結(jié)點(diǎn)到其他高密度結(jié)點(diǎn)的距離較遠(yuǎn)。從高維觀測數(shù)據(jù)中發(fā)現(xiàn)潛在的低維結(jié)構(gòu)，并構(gòu)造高維空間到低維空間嵌入的非線性映射。 ? 算法類 ：面向問題迭代計(jì)算完成，如 kmeans， PageRank。因此分類問題轉(zhuǎn)為二次凸規(guī)劃問題： 1)(..21min???bwxytswwiiT支持向量機(jī) ? 圖中 H為最優(yōu)分類超平面； H+1和 H1為最大間隔超平面； H+1和 H1上的點(diǎn)為支持向量。統(tǒng)一 (1),(2)得： yi(wxi+b) ?1 對(duì)于樣本集的任一向量 (點(diǎn) )xi，其到超平面 H的距離為： wwbwxwbwxdTiii ????? ||||支持向量機(jī) 那么， margin的大小可按下式計(jì)算： margin=d++d d+=min{di|i?{1,2,...,l},yi=+1}。 在數(shù)學(xué)上歸結(jié)為一個(gè)求解不等式約束條件的 二次規(guī)劃問題 。 結(jié)論：要想使實(shí)際風(fēng)險(xiǎn)最小不僅要 使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小 ， 還同時(shí)需要 使分類器函數(shù) f的 VC維 h盡可能最小 ，這就是 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 。 2( l n( 1 ) l n )4( ) ( )e m plhhR f R fl?????VC維置信度 支持向量機(jī) ? 討論 ： (1)如果 l/h較大，則期望風(fēng)險(xiǎn) (實(shí)際風(fēng)險(xiǎn) )主要由經(jīng)驗(yàn)風(fēng)險(xiǎn)來決定，因此對(duì)于大樣本集經(jīng)驗(yàn)風(fēng)險(xiǎn)經(jīng)常能給出較好結(jié)果。因此提出了 結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 (Structural Risk Minimization, SRM)， 為小樣本統(tǒng)計(jì)理論奠定了基礎(chǔ)。 f的期望風(fēng)險(xiǎn)為： 在有限樣本的情況下， p(x,y)是未知的，因此期望風(fēng)險(xiǎn)無法計(jì)算。 支持向量機(jī) ? 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 ? 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則 考慮分類問題。 ? plot(P,T,P,Y,39。o39。期望輸出 ? =newcf([0 10],[5 1],{‘tansig’ ‘purelin’})。 ? 因此，神經(jīng)網(wǎng)絡(luò)是一個(gè) 黑匣子 。 x1 xi xI y1 yk yK 輸入層 隱含層 輸出層 u1 ui uI v1 vj vJ wji wkj 神經(jīng)網(wǎng)絡(luò) ? 隱含層的接受與投射 (以隱含層第 j個(gè)神經(jīng)元為例 )： ? 接受：第 j個(gè)神經(jīng)元的值來自于前一層網(wǎng)絡(luò) (本例是輸入層 )輸出值的加權(quán)和，即 j=?iwjiui。 閾值型函數(shù)： sigmoid函數(shù)： ????????????????xxxxxf ||)(???????????xxxf11)(xxx eexforexf ??? ????? 11)(11)(神經(jīng)網(wǎng)絡(luò) ? 感知機(jī)學(xué)習(xí)算法： (選取 f為閾值函數(shù)，學(xué)習(xí)權(quán)值向量 w) (1)初始化：將權(quán)值向量和閾值賦予隨機(jī)量， t=0 (2)連接權(quán)的修正：設(shè)訓(xùn)練樣本的輸入為 x1,..., xi,...,xn，期望輸出為 yj(=177。 決策樹：算例 A1 A0 1 0 1 +1 A2 +1 0 1 1 0 1 A0 A1 A2 A3 類 0 0 0 0 1 0 0 0 1 1 0 0 1 0 1 0 0 1 1 1 0 1 0 0 1 0 1 0 1 1 0 1 1 0 1 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 不確定性決策理論與方法 不確定性決策概述 關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 聚類分析 連接分析 粗糙集分析 決策樹 神經(jīng)網(wǎng)絡(luò) 支持向量機(jī) 神經(jīng)網(wǎng)絡(luò) ? 神經(jīng)網(wǎng)絡(luò) (Artificial Neural Networks)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng) ()。 ? 生成的決策樹往往過大，不利于決策時(shí)的應(yīng)用，需要對(duì)其剪枝 (Pruning)，請(qǐng)參閱相關(guān)文獻(xiàn)。 ? 信息增益 ：設(shè)決策樹根結(jié)點(diǎn)的樣本數(shù)據(jù)為 X={x1,x2,…,x n}，稱 X的兩個(gè)訓(xùn)練子集 PX(對(duì)應(yīng)類標(biāo)簽為 1)和 NX (對(duì)應(yīng)類標(biāo)簽為1)為 正例集 和 反例集 ，并記正例集和反例集的樣本數(shù)分別為 P和 N，則樣本空間的 信息熵 為 假設(shè)以隨機(jī)變量 A作為決策樹根的測試屬性， A具有 k個(gè)不同的離散值 v1,v2,…, vk，它將 X劃分為 k個(gè)子集，且假設(shè)第 j個(gè)子集中包含 Pj個(gè)正例， Nj個(gè)反例，則第 j個(gè)子集的信息熵為I(Pj,Nj)。 ? 當(dāng)經(jīng)過一批訓(xùn)練實(shí)例集的訓(xùn)練產(chǎn)生一顆決策樹，那么該決策樹就可以根據(jù)屬性的取值對(duì)一個(gè)未知實(shí)例集進(jìn)行分類。 粗糙集：值約簡 1. IF (T1, No) AND (T3, Normal) THEN (E, Yes) 2. IF (T1, Yes) AND (T3, Normal) THEN (E, Yes) 3. IF (T3, High) THEN (E, Yes) 4. IF (T3, Low) THEN (E, No) 5. IF (T1, Yes) AND (T3, Normal) THEN (E, No) 6. IF (T3, High) THEN (E, Yes) 條件屬性子集 {T1} {T2} {T3} {T1,T2} {T1,T3} {T2,T3} {T1,T2,T3} 依賴度 k 0 0 1/2 1/6 2/3 2/3 2/3 T1 T3 E p1 N Normal Y p2 Y Normal Y p3 High Y p4 Low N p5 Y Normal N p6 High Y )()(1)()()()(),( DDDDDBCBCCBCCDC ?????? ?? ????粗糙集：約簡示例 1. IF (T2, Yes) AND (T