數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7-資料下載頁
2025-03-09 12:39本頁面
【正文】 的采樣數(shù)據(jù)它是離散的， ?如果有 N條樣本，那么我們有 N1種離散化的方法： =vj的分到左子樹， vj的分到右子樹。計算這 N1種情況下最大的信息增益率。 天氣 溫度 濕度 有風 打高爾夫 sunny 85 85 FALSE no sunny 80 90 TRUE no overcast 83 86 FALSE yes rainy 70 96 FALSE yes rainy 68 80 FALSE yes rainy 65 70 TRUE no overcast 64 65 TRUE yes sunny 72 95 FALSE no sunny 69 70 FALSE yes rainy 75 80 FALSE yes sunny 75 70 TRUE yes overcast 72 90 TRUE yes overcast 81 75 FALSE yes rainy 71 91 TRUE no 連續(xù)屬性的處理 ?在 ，對連續(xù)屬性的處理如下： ?1. 對屬性的取值進行排序 ?2. 兩個屬性取值之間的中點作為可能的分裂點，將數(shù)據(jù)集分成兩部分，計算每個可能的分裂點的信息增益 ?3. 對每個分裂點的信息增益 (InforGain)進行修正：減去log2(N1)/|D| ?4. 選擇修正后信息增益 (InforGain)最大的，分裂點作為該屬性的最佳分裂點 ?5. 計算最佳分裂點的信息增益率（ Gain Ratio）作為屬性的 Gain Ratio ?6. 選擇 Gain Ratio最大的屬性作為分裂屬性 連續(xù)屬性的處理 ?在離散屬性上只需要計算 1次信息增益率，而在連續(xù)屬性上卻需要計算 N1次，計算量是相當大的。 ?有辦法可以減少計算量。 ?對于連續(xù)屬性先進行排序，只有在決策屬性發(fā)生改變的地方才需要切開。 決策樹剪枝 由于噪聲和隨機因素的影響，決策樹一般會很復(fù)雜。因此需要進行剪枝操作。 (1)什么時候剪枝？ 有兩種剪枝策略： （ 1）在樹生成過程中判斷是否還繼續(xù)擴展決策樹。若停止擴展，則相當于剪去該結(jié)點以下的分枝。 （ 2）對于生成好的樹剪去某些結(jié)點和分枝。 。 剪枝之后的決策樹的葉結(jié)點不再只包含一類實例。結(jié)點有一個類分布描述，即該葉結(jié)點屬于某類的概率。 (2)基于誤差的剪枝 決策樹的剪枝通常是用葉結(jié)點替代一個或者多個子樹，然后選擇出現(xiàn)概率最高的類作為該結(jié)點的類別。在 ，還允許用其中的樹枝來替代子樹。 如果使用葉結(jié)點或者樹枝代替原來的子樹之后，誤差率若能夠下降，則使用此葉結(jié)點或者樹枝代替原來的子樹。 從決策樹抽取規(guī)則 在 ，從決策樹抽取規(guī)則需要兩個步驟：獲得簡單規(guī)則、精簡規(guī)則屬性。 對于生成好的決策樹，我們可以直接從獲得規(guī)則。從根到葉的每一條路經(jīng)都可以是一條規(guī)則。例如，從下面的決策樹中我們可以得到規(guī)則： F=0 J = 0: Class0 J = 1 K = 0: Class0 K = 1: Class1 F = 1 G = 1: Class1 G = 0 J = 0: Class0 J = 1 K = 0: Class0 K = 1: Class1 決 策 樹： 規(guī)則： IF F=1, G=0, J=1, K=1 THEN class1 ?： ?產(chǎn)生的分類規(guī)則易于理解，準確率較高。 ?其缺點是： ?在構(gòu)造樹的過程中，需要對數(shù)據(jù)集進行多次的順序掃描和排序，因而導(dǎo)致算法的低效。 ?此外， 集，當訓(xùn)練集大得無法在內(nèi)存容納時程序無法運行。 天氣 溫度 濕度 有風 打高爾夫 sunny 85 85 FALSE no sunny 80 90 TRUE no overcast 83 86 FALSE yes rainy 70 96 FALSE yes rainy 68 80 FALSE yes rainy 65 70 TRUE no overcast 64 65 TRUE yes sunny 72 95 FALSE no sunny 69 70 FALSE yes rainy 75 80 FALSE yes sunny 75 70 TRUE yes overcast 72 90 TRUE yes overcast 81 75 FALSE yes rainy 71 91 TRUE no 作業(yè) 全紋靜、王洪佳、劉劍 —— 結(jié)合例子的 續(xù)屬性的離散化 王瑞新、陳光、王斐 —— 結(jié)合例子的 張彬、周南、郭俊平 —— 結(jié)合例子的 IBLE方法 李丹、劉曉帥、高立明 —— 結(jié)合例子的 IBLE方法 高軍、苑聰、佀稱稱 —— 結(jié)合例子的 IBLE方法 演講完畢，謝謝觀看！
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1