數(shù)據(jù)挖掘08分類和預(yù)測(文件)
【正文】 air yes senior low yes fair yes senior low yes excellent no middle_aged low yes excellent yes youth medium no fair no youth low yes fair yes senior medium yes fair yes youth medium yes excellent yes middle_aged medium no excellent yes middle_aged high yes fair yes senior medium no excellent no 判定歸納樹算法示例 (1) ? 對于上述數(shù)據(jù)，可以略過步驟 1， 2 ? 步驟 3，計算基于熵的度量 ——信息增益，作為樣本劃分的根據(jù) ? Gain(age)= ? Gain(ine)= ? Gain(student)= ? Gain(credit_rating)= ? 然后，對測試屬性每個已知的值，創(chuàng)建一個分支，并以此劃分樣本，得到第一次劃分 判定歸納樹算法示例 (2) 判定歸納樹算法示例 (3) age? overcast student? credit rating? no yes fair excellent youth senior no no yes yes yes Middle aged 防止分類中的過分適應(yīng) ? 產(chǎn)生的決策樹會出現(xiàn)過分適應(yīng)數(shù)據(jù)的問題 ? 由于數(shù)據(jù)中的噪聲和孤立點，許多分枝反應(yīng)的是訓(xùn)練數(shù)據(jù)中的異常 ? 對新樣本的判定很不精確 ? 防止過分適應(yīng)的兩種方法 ? 先剪枝：通過提前停止樹的構(gòu)造 ——如果在一個節(jié)點劃分樣本將導(dǎo)致低于預(yù)定義臨界值的分裂（ . 使用信息增益度量） ? 選擇一個合適的臨界值往往很困難 ? 后剪枝：由“完全生長”的樹剪去分枝 ——對于樹中的每個非樹葉節(jié)點，計算該節(jié)點上的子樹被剪枝可能出現(xiàn)的期望錯誤率 ? 使用一個獨(dú)立的測試集來評估每顆樹的準(zhǔn)確率，就能得到具有最小期望錯誤率的決策樹 由決策樹提取分類規(guī)則 ? 可以提取決策樹表示的知識，并以 IFTHEN形式的分類規(guī)則表示 ? 對從根到樹葉的每條路徑創(chuàng)建一個規(guī)則 ? 沿著給定路徑上的每個屬性 值對形成規(guī)則前件（ IF部分）的一個合取項 ? 葉節(jié)點包含類預(yù)測，形成規(guī)則后件（ THEN部分） ? IFTHEN規(guī)則易于理解，尤其樹很大時 ? 示例： ? IF age = “youth” AND student = “no” THEN buys_puter = “no” ? IF age = “youth” AND student = “yes” THEN buys_puter = “yes” ? IF age = “middle_aged” THEN buys_puter = “yes” ? IF age = “senior” AND credit_rating = “excellent” THEN buys_puter = “yes” ? IF age = “senior” AND credit_rating = “fair” THEN buys_puter = “no” 可伸縮性與決策歸納樹 ? 分類挖掘是一個在統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)的領(lǐng)域也被廣為研究的問題，并提出了很多算法，但是這些算法都是內(nèi)存駐留的 ? 可伸縮性問題： 要求以合理的速度對數(shù)以百萬計的樣本和數(shù)以百計的屬性的進(jìn)行分類挖掘 ? 由大型數(shù)據(jù)庫構(gòu)造決策樹 ? 首先將樣本劃分為子集，每個子集可以放在內(nèi)存中 ? 然后由每個自己構(gòu)造一顆決策樹 ? 輸出的分類法將每個子集的分類法組合在一起 ? （其他方
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1