【正文】 d Techniques 43 ? 梯度方向前進(jìn) , Wijk=Wijk+(l)*梯度 其中 l是學(xué)習(xí)率 ,l太小學(xué)習(xí)將進(jìn)行得很慢 ,l太大可能出現(xiàn)在不適當(dāng)?shù)闹抵g擺動(dòng) .通常令l=1/t,t是循環(huán)的次數(shù) ? 將 Wijk歸一化 . ? 每次迭代中 ,修改 Wijk,并最終收斂到一個(gè)最優(yōu)解 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 44 神經(jīng)網(wǎng)絡(luò) （向后傳播分類(lèi)）帶回饋的分類(lèi) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 45 計(jì)算方法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 46 ? 由前一層的輸出作為輸入 i,與對(duì)應(yīng)的權(quán) w相乘形成加權(quán)和 ,再加上偏置 ? 對(duì)上面結(jié)果用一個(gè)非線性函數(shù) f作用形成本層的輸出 .將較大的值映射到 01之間 ? ??ijiijj OwI ?jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 47 算法步驟 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij ? ?? i jiijj OwI ?jIj eO ??? 1 1))(1( jjjjj OTOOE r r ???ijijij OE r rlww )(??jjj E r rl )(?? ??jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 48 計(jì)算實(shí)例 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 49 ? 一個(gè)訓(xùn)練樣本 X={1,0,1},輸出為 1 ? X1=1,x2=0,x3=1,w14=,w15=,w24=,w25=,w34=,w35=,w46=,w56=, ? 偏置值 :節(jié)點(diǎn) 4:,節(jié)點(diǎn) 5:,節(jié)點(diǎn) 6: ? 學(xué)習(xí)率設(shè)為 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 50 ? 節(jié)點(diǎn) 4: 輸入值 :w14*x1+w24*x2+w34*x3+節(jié)點(diǎn) 4的偏置 =1*+**= 輸出值 :用公式 可得 ? 同理 :節(jié)點(diǎn) 5輸入值 ,輸出值 ? 節(jié)點(diǎn) 6: 輸入值 :w46*o4+w56*o5+節(jié)點(diǎn) 6的偏置 =**+= 輸出值 : jIj eO ??? 1 12020年 9月 16日星期三 Data Mining: Concepts and Techniques 51 誤差計(jì)算 ? 節(jié)點(diǎn) 6: *()*()= ? 節(jié)點(diǎn) 5: *()**()= ? 同理節(jié)點(diǎn) 4誤差為 : ))(1( jjjjj OTOOE r r ???jkk kjjj wE r rOOE r r ??? )1(2020年 9月 16日星期三 Data Mining: Concepts and Techniques 52 更新權(quán)值和偏置值 ? W46: +()()()= ? 其他 Wij同理 ? 節(jié)點(diǎn) 6的偏置 : +()*()= ? 其他偏置同理 ijijij OE r rlww )(??jjj E r rl )(?? ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 53 終止條件 ? 對(duì)所有樣本作一次掃描稱(chēng)為一個(gè)周期 ? 終止條件 :對(duì)前一周期所有 Wij的修改值都小于某個(gè)指定的閾值 。4/5P(n) = 2/5P(high|n)P(n) = P(rain|n)6/92/9P(false|p)P(hot|p)P(xk|C) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 37 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 38 ? 樣本 X = rain, hot, high, false ? P(X|p)如果不同字段的值大于預(yù)定值，使用貪心算法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 30 Sliq分類(lèi)算法 ? 樹(shù)的修剪： 采用了 MDL策略 ? Cost(M,D)=cost(D|M)+cost(M) ? 整個(gè)算法包括兩個(gè)部分： ? 編碼方法 ? 不同子樹(shù)的比較方法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 31 基于數(shù)據(jù)立方體的決策樹(shù) ? Integration of generalization with decisiontree induction (Kamber et al’97). ? 在最低概念層上進(jìn)行分類(lèi) – 例如 , precise temperature, humidity, outlook, etc. – 低的層次，分散的類(lèi)別，過(guò)多的葉子節(jié)點(diǎn) – 模型解釋的問(wèn)題 . ? 基于 Cube的多層分類(lèi) – 在多個(gè)層次上進(jìn)行相關(guān)性分析 . – 在多個(gè)層次上進(jìn)行 Information Gain的計(jì)算 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 32 結(jié)果顯示 (一 ) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 33 結(jié) 果 顯 示 (二 ) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 34 ? 后驗(yàn)概率 (posteriori probabilities):P(H|X)表示條件 X下 H的概率 . ? 貝葉斯定理 : P(H|X)=P(X|H)P(H)/P(X) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 35 樸素貝葉斯分類(lèi) ? 假定有 m個(gè)類(lèi) C1,…Cm,對(duì)于數(shù)據(jù)樣本 X,分類(lèi)法將預(yù)測(cè) X屬于類(lèi) Ci,當(dāng)且僅當(dāng) P(Ci|X) P(Cj|X),1=j=m,j!=i ? 根據(jù)貝葉斯定理 , P(Ci|X)=P(X|Ci)P(Ci)/P(X) 由于 P(X)對(duì)于所有類(lèi)都是常數(shù) ,只需最大化 P(X|Ci) P(Ci) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 36 ? 計(jì)算 P(X|Ci),樸素貝葉斯分類(lèi)假設(shè)類(lèi)條件獨(dú)立 .即給定樣本屬性值相互條件獨(dú)立 . P(x1,…,xk|C) = P(x1|C) 種類(lèi)字段：屬性值、類(lèi)標(biāo)簽、頻率 ? 對(duì)數(shù)值字段進(jìn)行分割計(jì)算： 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 28 Sliq分類(lèi)算法 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 29 Sliq分類(lèi)算法 ? 對(duì)種類(lèi)字段進(jìn)行分割： ? 通過(guò)對(duì)數(shù)據(jù)的掃描生成類(lèi)分布表 ? 尋找分割集合 187。 ? 引進(jìn)的數(shù)據(jù)結(jié)構(gòu)：類(lèi)分布表 187。 類(lèi)標(biāo)簽 187。 屬性值 187。 Shim) ? RainForest (VLDB’98 — Gehrke, Ramakrishnan amp。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 22 對(duì)基本決策樹(shù)的提高 ? 加入對(duì)連續(xù)字段的支持 – 采用 A=V的形式 ? 處理空值 – 用最常見(jiàn)的值代替 – 每個(gè)可能的值都給一個(gè)概率 ? 屬性構(gòu)造 – 在現(xiàn)有屬性上創(chuàng)建新的屬性 ,主要是針對(duì)一些稀疏屬性 – 從而降低 fragmentation, repetition, and replication 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 23 在大型數(shù)據(jù)庫(kù)中進(jìn)行分類(lèi) ? 分類(lèi) —在統(tǒng)計(jì)和機(jī)器學(xué)習(xí)中有廣泛的研究 ? 伸縮性 : 對(duì)幾百萬(wàn)記錄和幾百個(gè)屬性進(jìn)行訓(xùn)練的時(shí)候，能夠達(dá)到一定的速度。 那么這個(gè)分割的Gini就是 ? 提供最小 Ginisplit 就被選擇作為分割的標(biāo)準(zhǔn) (對(duì)于每個(gè)屬性都要遍歷所有可以的分割方法 ). ???? nj p jTgini 1 21)()()()( 2211 Tg i n iNNTg i n iNNTg i n i s p l i t ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 18 幾種經(jīng)典算法介紹 ? CART min(P(c1),P(c2)) 2P(c1)P(c2) [P(c1)logP(c1)]+[P(c2)logP(c2)] (ID3) ? (ID3) ? 對(duì)種類(lèi)字段處理時(shí)，缺省是對(duì)每個(gè)值作為一個(gè)分割 ? Gain和 Gain Ratio ? CHAID ? 在 Overfitting前停止樹(shù)的生成 ? 必須都是種類(lèi)字段 ? 選擇分割。 ? 規(guī)則好壞的評(píng)價(jià) – 決策樹(shù)的大小 – 分類(lèi)規(guī)則的簡(jiǎn)明性 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 9 （ 188頁(yè)） ? 決策樹(shù) – 一個(gè)類(lèi)似流程圖的樹(shù)狀結(jié)構(gòu) – 內(nèi)部節(jié)點(diǎn)上選用一個(gè)屬性進(jìn)行分割 – 每個(gè)分叉都是分割的一個(gè)部分 – 葉子節(jié)點(diǎn)表示一個(gè)分布 ? 決策樹(shù)生成算法分成兩個(gè)步驟 – 樹(shù)的生成 ? 開(kāi)始，數(shù)據(jù)都在根節(jié)點(diǎn) ? 遞歸的進(jìn)行數(shù)據(jù)分片 – 樹(shù)的修剪 ? 去掉一些可能是噪音或者異常的數(shù)據(jù) ? 決策樹(shù)使用 : 對(duì)未知數(shù)據(jù)進(jìn)行分割 – 按照決策樹(shù)上采用的分割屬性逐層往下，直到一個(gè)葉子節(jié)點(diǎn) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 10 訓(xùn)練集 a g e i n co me st u d e n t cre d i t