決策樹分類器培訓課件(已改無錯字)
2023-02-02 19:41:46 本頁面
【正文】 ? Gini Index: ? Classification Error: 2023/1/31 Guilin 42 屬 性 Gender按三種 方法計算的信息增益 ? 采用三種方法計算出屬性 Gender的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: 2023/1/31 Guilin 43 屬性 Car Ownership按三種方法計算的信息增益 ? 采用三種方法計算出屬性 Car Ownership的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: 2023/1/31 Guilin 44 屬 性 Ine Level按三種 方法計算的信息增益 ? 采用三種方法計算出屬性 Ine Level的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: 2023/1/31 Guilin 45 分裂屬性選擇的標準 ? 在決策樹構(gòu)建中，哪個屬性是目前最好的？ ? 產(chǎn)生最小樹的屬性 ? 啟發(fā)式 : 選擇產(chǎn)生最純的屬性 ? 常用的度量： 信息增益 ? 策略： 選擇信息增益最大的屬性為分裂數(shù)據(jù)集合的屬性 2023/1/31 Guilin 46 選擇第一個分裂屬性 ? 有了所有屬性的信息增益后，我們就可以找出信息增益最大的那個屬性： ? i* = argmax {information gain of attribute i} ? 在我們的例子中，屬性 Travel Cost產(chǎn)生的信息增益最大 ? 該屬性作為決策樹的當前節(jié)點 ? 因為它是第一個節(jié)點，它就是決策樹的根節(jié)點 ? 一棵決策樹可以只有一個節(jié)點 2023/1/31 Guilin 47 用屬性 Travel Cost分裂訓練數(shù)據(jù)集 ? 一個分裂屬性選定后，我們可以根據(jù)該屬性將當前的數(shù)據(jù)集合分裂成多個子集合 ? 在我們的例子中，我們根據(jù) Travel Cost的取值分列 D ? 訓練數(shù)據(jù)集合 D被分裂成三個子集合 2023/1/31 Guilin 48 用屬性 Travel Cost分裂訓練數(shù)據(jù)集的結(jié)果 ? 數(shù)據(jù)被分裂后，我們有 ? Travel Cost = Expensive只有一個類 Car ? Travel Cost = Standard只有一個類 Train ? Travel Cost = Cheap需要進一步分裂 ? 產(chǎn)生純類（只含一個類）的屬性值總是作為決策樹的葉節(jié)點 ? 這樣就完成了決策樹構(gòu)造的第一個循環(huán) 2023/1/31 Guilin 49 訓練數(shù)據(jù)集的三個子集合 2023/1/31 Guilin 50 用屬性 Travel Cost產(chǎn)生的樹 2023/1/31 Guilin 51 第二次循環(huán) ? 屬性值 Expensive和 Standard是純類，不再需要分裂 ? 當 Travel Cost = Cheap，它有多個類，需要繼續(xù)分裂 ? 將相應的表中的數(shù)據(jù)作為待分裂的數(shù)據(jù)，開始第二次循環(huán) 2023/1/31 Guilin 52 為第二次循環(huán)產(chǎn)生數(shù)據(jù)集合 2023/1/31 Guilin 53 Cheap連接的節(jié)點的數(shù)據(jù)集合的不純度 ? 現(xiàn)在只有三個屬性 Gender、 car ownership、 Ine level ? Cheap連接的節(jié)點的數(shù)據(jù)集合的不純度如下 2023/1/31 Guilin 54 屬 性 Gender按三種 方法計算的信息增益 ? 采用三種方法計算出屬性 Gender的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: 2023/1/31 Guilin 55 其它屬性按三種方法計算的信息增益 ? 采用三種方法計算出屬性 Car Ownership的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: ? 采用三種方法計算出屬性 Ine Level的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: 2023/1/31 Guilin 56 為第二次循環(huán)選擇分裂屬性 ? 通過比較屬性 Gender的信息增益最大 ? 當前的數(shù)據(jù)集合將按照屬性 Gender的取值分裂 ? 在我們的例子中，屬性值 Male 只有一個類 Bus，屬性值 Female有多個類，需要繼續(xù)分裂 2023/1/31 Guilin 57 第二次循環(huán)的數(shù)據(jù)集合分裂 2023/1/31 Guilin 58 第二次循環(huán)產(chǎn)生的樹 2023/1/31 Guilin 59 用屬性 Gender分裂子數(shù)據(jù)集的結(jié)果
規(guī)章制度相關推薦
鄂ICP備17016276號-1