3第三章決策樹(文件)
【正文】 THEN購買 RV房車 =否 IF性別 =Male AND年齡 ≧ 35 THEN購買 RV房車 =是 ? 資料 ? Decision Tree 2023/2/13 （四） Decision Tree的建立過程 20 決策樹的停止 ? 決策樹是通過 遞歸分割 (recursive partitioning)建立而成，遞歸分割是一種把數(shù)據(jù)分割成不同小的部分 的迭代過程 。 2023/2/13 決策樹的剪枝 (pruning) 21 ? 決策樹學(xué)習(xí)可能遭遇 模型過度 擬合 （ over fitting）的問題，過度擬合是指模型過度訓(xùn)練，導(dǎo)致模型記住的不是訓(xùn)練集的一般性，反而是訓(xùn)練集的局部特性。一旦停止，節(jié)點(diǎn)成為樹葉。 2023/2/13 （ 2）后剪枝方法 23 ? 后剪枝方法是由“完全生長”的樹剪去分枝。反之，保留。著重解決當(dāng)訓(xùn)練集數(shù)據(jù)量巨大，無法全部放人內(nèi)存時，如何高速準(zhǔn)確地生成更快的，更小的決策樹。 ? CART與 ：其在每一個節(jié)點(diǎn)上都是采用二分法，也就是一次只能夠有兩個子節(jié)點(diǎn)， 可以產(chǎn)生不同數(shù)量的分枝。則此分割的Gini就是 ? 提供最小 Gini split就被選擇作為分割的標(biāo)準(zhǔn) (對于每個屬性都要經(jīng)過所有可以的分割方法 )。 2023/2/13 類別屬性的信息熵 Gini Index算法 37 ? ID3 and PRISM適用于類別屬性的分類方法。 ? 案例數(shù)修剪是在產(chǎn)生完全生長的樹后，根據(jù)最小案例數(shù)閥值，將案例數(shù)小于閥值的樹節(jié)點(diǎn)剪掉。如果在一個節(jié)點(diǎn)劃分樣本將導(dǎo)致低于預(yù)定義閥值的分裂，則給定子集的進(jìn)一步劃分將停止。 ? 樹的修剪有幾種解決的方法，主要為先剪枝和后剪枝方法。 ?該群數(shù)據(jù)已經(jīng)沒有辦法再找到新的屬性來進(jìn)行節(jié)點(diǎn)分割。 ? ID3算法的屬性選擇度量就是使用信息增益，選擇最高信息增益的屬性作為當(dāng)前節(jié)點(diǎn)的測試屬性。 ? 在其生成過程中，分割方法即屬性選擇度量是關(guān)鍵。 ?建模的速度、預(yù)測的速度 ? 強(qiáng)壯性：指給定噪聲數(shù)據(jù)或具有缺失值的數(shù)據(jù)，模型正確預(yù)測的能力。1 決策 樹 (Decision Tree) 2023/2/13
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1