【正文】 0 h i g h no f a i r y e s 4 0 m e d i u m no f a i r y e s 4 0 l o w y e s f a i r y e s 4 0 l o w y e s e x c e l l e n t no3 1 …4 0 l o w y e s e x c e l l e n t y e s = 3 0 m e d i u m no f a i r no = 3 0 l o w y e s f a i r y e s 4 0 m e d i u m y e s f a i r y e s = 3 0 m e d i u m y e s e x c e l l e n t y e s3 1 …4 0 m e d i u m no e x c e l l e n t y e s3 1 …4 0 h i g h y e s f a i r y e s 4 0 m e d i u m no e x c e l l e n t no概念 “ buys_puter”的判定樹 age? overcast student? credit rating? no yes fair excellent =30 40 no no yes yes yes 30..40 判定歸納樹算法 ? 判定歸納樹算法（一個貪心算法） ? 自頂向下的分治方式構(gòu)造判定樹 ? 樹以代表訓(xùn)練樣本的單個根節(jié)點(diǎn)開始 ? 使用分類屬性（如果是量化屬性，則需先進(jìn)行離散化） ? 遞歸的通過選擇相應(yīng)的 測試屬性 ，來劃分樣本，一旦一個屬性出現(xiàn)在一個節(jié)點(diǎn)上，就不在該節(jié)點(diǎn)的任何后代上出現(xiàn) ? 測試屬性是根據(jù)某種 啟發(fā)信息 或者是 統(tǒng)計信息 來進(jìn)行選擇（如：信息增益） ? 遞歸劃分步驟停止的條件 ? 給定節(jié)點(diǎn)的所有樣本屬于同一類 ? 沒有剩余屬性可以用來進(jìn)一步劃分樣本 ——使用多數(shù)表決 ? 沒有剩余的樣本 屬性選擇度量 ? 信息增益 (ID3/) ? 所有的屬性值被假定為分類的 ? 修正后可以用在連續(xù)值屬性上 ? Gini index (IBM IntelligentMiner) ? 所有的屬性被假定為連續(xù)值 ? 假定對每個屬性存在一些可能的分裂 (split)值 ? 需要一些其他的工具 ,像聚類 ,來得到可能的分裂值 ? 修正后可以用在分類屬性上 屬性選擇度量 ? 信息增益 (ID3/) ? 在樹的每個節(jié)點(diǎn)上使用信息增益度量選擇測試屬性；選擇具有最高信息增益（或最大熵壓縮）的屬性作為當(dāng)前節(jié)點(diǎn)的測試屬性。（即根據(jù)當(dāng)前節(jié)點(diǎn)對應(yīng)的訓(xùn)練樣本，計算各屬性的信息增益，然后選用具有最高信息增益的屬性來做樣本劃分） 信息增益 (ID3/) ? 選擇具有 高信息增益 的屬性 ? 假定有兩個類 , P 和 N ? 假定樣本集 S包含類 P的 p個元素和類 N的 n個元素 ? 如果 S中任意的例子屬于 P或 N，則需要決定的信息數(shù)量 被定義為 判定樹歸納的信息增益 ? 假設(shè)用 屬性 A將 集合 S被劃分為 V個 子集 {S1, S2 , …, Sv} ? 如果 Si 包含 P中的 pi 個樣本和 N中的 ni 個樣本 , 則 熵 , 或所有用來 分類所有子樹 Si 中對象的 期望信息由以下式給出 ： ? 由 A上分支將獲得編碼信息 g g 用信息增益計算進(jìn)行屬性選擇 類 P: buys_puter = “yes” 類 N: buys_puter = “no” I(p, n) = I(9, 5) =9/14*log2(9/14 ) 5/4*log2(5/14 ) = age i n c o m e s t u d e n t c r e d i t _ r a t i n g c l a s s : b u y s _ c o m p u t e r = 3 0 h i g h no f a i r no = 3 0 h i g h no e x c e l l e n t no3 1 …4 0 h i g h no f a i r y e s 4 0 m e d i u m no f a i r y e s 4 0 l o w y e s f a i r y e s 4 0 l o w y e s e x c e l l e n t no3 1 …4 0 l o w y e s e x c e l l e n t y e s = 3 0 m e d i u m no f a i r no = 3 0 l o w y e s f a i r y e s 4 0 m e d i u m y e s f a i r y e s = 3 0 m e d i u m y e s e x c e l l e n t y e s3 1 …4 0 m e d i u m no e