決策樹基本概念教材-文庫吧資料
2025-01-18 19:42本頁面
【正文】 ????IIIDInfo a ge)_()()(???ratingcreditGainstudentGainineGain)()()( ??? DInfoDInfoageGain a gea g e i n co me st u d e n t cre d i t _ ra t i n g b u ys_ co mp u t e r=3 0 h i g h no f a i r no=3 0 h i g h no e x ce l l e n t no3 1 …4 0 h i g h no f a i r ye s4 0 me d i u m no f a i r ye s4 0 l o w ye s f a i r ye s4 0 l o w ye s e x ce l l e n t no3 1 …4 0 l o w ye s e x ce l l e n t ye s=3 0 me d i u m no f a i r no=3 0 l o w ye s f a i r ye s4 0 me d i u m ye s f a i r ye s=3 0 me d i u m ye s e x ce l l e n t ye s3 1 …4 0 me d i u m no e x ce l l e n t ye s3 1 …4 0 h i g h ye s f a i r ye s4 0 me d i u m no e x ce l l e n t no)3,2(145 I )145(log145)149(log149)5,9()( 22 ????? IDInfo16 計算連續(xù)值屬性的信息增益 ? 假設(shè) A是一個連續(xù)值屬性 ? 必須確定 A的 最佳分裂點 ? 首先將 A的值按遞增順序排序 ? 每對相鄰值的中點被看做可能的 分裂點 ? (ai+ai+1)/2 是 A的值 ai 和 ai+1 之間的中點 ? 對于 A的每個可能分裂點 , 計算 InfoA(D), 具有 最小期望信息需求 的點選做 A的分裂點 ? 分裂 : ? D1 是滿足 A ≤ splitpoint的元組集合 , 而 D2 是滿足 A splitpoint的元組集合 . 17 屬性選擇 : 增益率 () ? 信息增益度量傾向于選擇具有大量值的屬性 ? (ID3的后繼 ) 采用增益率來克服這個問題 (規(guī)范化信息增益 ) ? GainRatio(A) = Gain(A)/SplitInfo(A) ? Ex. ? gain_ratio(ine) = ? 具有最大增益率的屬性作為分裂屬性 18 基尼指數(shù) (CART) ? 如果一個數(shù)據(jù)集 D包含 n個類，則 D的基尼指數(shù)定義為 其中 pj 是 D中元組屬于類 j 的概率 , 并用 |Ci,D|/|D|估計 ? 如果數(shù)據(jù)集 D基于屬性 A 被劃分成兩個子集 D1 和 D2, 則基尼指數(shù)定義為 ? 不純度降低 : ? 對于 離散值屬性 , 選擇該屬性產(chǎn)生 最小基尼指數(shù)的子集作為它的分裂子集 ；對于 連續(xù)值屬性 ，選擇產(chǎn)生 最小基尼指數(shù)的點作為分裂點 ；產(chǎn)生 最小基尼指數(shù) （或最大不純度降低） 的屬性選為分裂屬性 ???? njp jDgini121)()(|| ||)(|| ||)( 2211 DginiDDDginiDDDgini A ??19 基尼指數(shù)的計算 ? 例如數(shù)據(jù)集 D 有 9 個 buys_puter = “yes”的元組和 5 個 “no”的元組 ? 假設(shè)按 ine屬性子集 {low, medium}將數(shù)據(jù)集劃分為 D1(10個元組 )和 D2(4個元組 ) Gini{low,high} 是 。假定類標(biāo)號屬性具有 m個不同值，定義 m個不同類。 (7) 用 splitting_criterion標(biāo)記結(jié)點 N。 (4) if attribute_list為空 then (5) 返回 N作為葉結(jié)點 , 標(biāo)記為 D中的多數(shù)類 。 輸出 : 一棵決策樹。 ? Attribute_selection_method, 一個確定“最好地”劃分?jǐn)?shù)據(jù)元組為個體類的分裂準(zhǔn)則的過程。由數(shù)據(jù)分區(qū) D中的訓(xùn)練元組產(chǎn)生決策樹。 分裂準(zhǔn)則指定分裂屬性，并且也指出分裂點或分裂子集 ? 對分裂準(zhǔn)則的每個輸出，由結(jié)點 N生長一個分枝。參數(shù)Attribute_selection_method用來選擇可以按類“最好地”區(qū)分給定元組的屬性 ，該過程使用一種屬性選擇度量（信息增益或基尼指數(shù)）。 10 決策樹歸納 : 一個例子 age? overcast student? credit rating? =30 40 no yes yes yes 31..40 fair excellent yes no a g e i n co me st u d e n t cre d i t _ ra t i n g b u ys_ co mp u t e r=3 0 h i g h no f a i r no=3 0 h i g h no e x ce l l e n t no3 1 …4 0 h i g h no f a i r ye s4 0 me d i u m no f a i r ye s4 0 l o w ye s f a i r ye s4 0 l o w ye s e x ce l l e n t no3 1 …4 0 l o w ye s e x ce l l e n t ye s=3 0 me d i u m no f a i r no=3 0 l o w ye s f a i r ye s4 0 me d i u m ye s f a i r ye s=3 0 me d i u m ye s e x ce l l e n t ye s3 1 …4 0 me d i u m no e x ce l l e n t ye s3 1 …4 0 h i g h ye s f a i r ye s4 0 me d i u m no e x ce l l e n t no ? 訓(xùn)練數(shù)據(jù)集 : Buys_puter ? 決策樹 : 11 決策樹歸納算法 ? 基礎(chǔ)算法 (貪心算法 ) ? 決策樹以 自頂向下遞歸的分治方式 構(gòu)造 ? 從訓(xùn)練元組集和它們相關(guān)聯(lián)的類標(biāo)號開始構(gòu)造決策樹 ? 所有屬性是具有類別的 (如果是連續(xù)數(shù)值型的，則它們需要事先離散
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1