數(shù)據(jù)挖掘08分類和預(yù)測(cè)-文庫(kù)吧資料
2025-05-17 03:06本頁(yè)面
【正文】 ??)(), .. .,()( 21 AEsssIAG a i n m ??age ine student credit_rating buys_puter youth high no fair no youth high no excellent no middle_aged high no fair yes senior medium no fair yes senior low yes fair yes senior low yes excellent no middle_aged low yes excellent yes youth medium no fair no youth low yes fair yes senior medium yes fair yes youth medium yes excellent yes middle_aged medium no excellent yes middle_aged high yes fair yes senior medium no excellent no 判定歸納樹(shù)算法示例 (1) ? 對(duì)于上述數(shù)據(jù)，可以略過(guò)步驟 1， 2 ? 步驟 3，計(jì)算基于熵的度量 ——信息增益，作為樣本劃分的根據(jù) ? Gain(age)= ? Gain(ine)= ? Gain(student)= ? Gain(credit_rating)= ? 然后，對(duì)測(cè)試屬性每個(gè)已知的值，創(chuàng)建一個(gè)分支，并以此劃分樣本，得到第一次劃分 判定歸納樹(shù)算法示例 (2) 判定歸納樹(shù)算法示例 (3) age? overcast student? credit rating? no yes fair excellent youth senior no no yes yes yes Middle aged 防止分類中的過(guò)分適應(yīng) ? 產(chǎn)生的決策樹(shù)會(huì)出現(xiàn)過(guò)分適應(yīng)數(shù)據(jù)的問(wèn)題 ? 由于數(shù)據(jù)中的噪聲和孤立點(diǎn)，許多分枝反應(yīng)的是訓(xùn)練數(shù)據(jù)中的異常 ? 對(duì)新樣本的判定很不精確 ? 防止過(guò)分適應(yīng)的兩種方法 ? 先剪枝：通過(guò)提前停止樹(shù)的構(gòu)造 ——如果在一個(gè)節(jié)點(diǎn)劃分樣本將導(dǎo)致低于預(yù)定義臨界值的分裂（ . 使用信息增益度量） ? 選擇一個(gè)合適的臨界值往往很困難 ? 后剪枝：由“完全生長(zhǎng)”的樹(shù)剪去分枝 ——對(duì)于樹(shù)中的每個(gè)非樹(shù)葉節(jié)點(diǎn)，計(jì)算該節(jié)點(diǎn)上的子樹(shù)被剪枝可能出現(xiàn)的期望錯(cuò)誤率 ? 使用一個(gè)獨(dú)立的測(cè)試集來(lái)評(píng)估每顆樹(shù)的準(zhǔn)確率，就能得到具有最小期望錯(cuò)誤率的決策樹(shù) 由決策樹(shù)提取分類規(guī)則 ? 可以提取決策樹(shù)表示的知識(shí)，并以 IFTHEN形式的分類規(guī)則表示 ? 對(duì)從根到樹(shù)葉的每條路徑創(chuàng)建一個(gè)規(guī)則 ? 沿著給定路徑上的每個(gè)屬性 值對(duì)形成規(guī)則前件（ IF部分）的一個(gè)合取項(xiàng) ? 葉節(jié)點(diǎn)包含類預(yù)測(cè)，形成規(guī)則后件（ THEN部分） ? IFTHEN規(guī)則易于理解，尤其樹(shù)很大時(shí) ? 示例： ? IF age = “youth” AND student = “no” THEN buys_puter = “no” ? IF age = “youth” AND student = “yes” THEN buys_puter = “yes” ? IF age = “middle_aged” THEN buys_puter = “yes” ? IF age = “senior” AND credit_rating = “excellent” THEN buys_puter = “yes” ? IF age = “senior” AND credit_rating = “fair” THEN buys_puter = “no” 可伸縮性與決策歸納樹(shù) ? 分類挖掘是一個(gè)在統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1