分類決策樹_id3算法-展示頁
2025-02-01 11:58本頁面
【正文】 64 青 高 否 優(yōu) 不買 128 青 中 否 良 不買 64 青 低 是 良 買 64 青 中 是 優(yōu) 買 如果選擇收入作為節(jié)點 分高、中、低 平均信息期望（加權(quán)總和）： E(收入） = * 0 + * + * 0 = Gain(收入 ) = I(128, 256) E(收入 )= – = I(0,128)=0 比例 : 128/384= I(64,128)= 比例 : 192/384= I(64,0)=0 比例 : 64/384= 注意 決策樹算法 計數(shù) 年齡 收入 學(xué)生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 年齡 青年 中年 老年 學(xué)生 買 信譽 葉子 否 是 優(yōu) 良 買 不買 買 / 不買 買 葉子 葉子 葉子 決策樹算法 ID3 決策樹建立算法 1 決定分類屬性； 2 對目前的數(shù)據(jù)表，建立一個節(jié)點 N 3 如果數(shù)據(jù)庫中的數(shù)據(jù)都屬于同一個類， N就是樹葉，在樹葉上 標出所屬的類 4 如果數(shù)據(jù)表中沒有其他屬性可以考慮，則 N也是樹葉，按照少 數(shù)服從多數(shù)的原則在樹葉上標出所屬類別 5 否則，根據(jù)平均信息期望值 E或 GAIN值選出一個最佳屬性作 為節(jié)點 N的測試屬性 6 節(jié)點屬性選定后，對于該屬性中的每個值： 從 N生成一個分支，并將數(shù)據(jù)表中與該分支有關(guān)的數(shù)據(jù)收集形 成分支節(jié)點的數(shù)據(jù)表，在表中刪除節(jié)點屬性那一欄 如果分支數(shù)據(jù)表非空，則運用以上算法從該節(jié)點建立子樹。分別是年齡、 收入、學(xué)生、信譽。 ID3 –信息量大小的度量 決策樹算法 Gain（ S， A）是屬性 A在集合 S上的信息增益 Gain（ S， A） = Entropy（ S） Entropy（ S， A） Gain（ S， A）越大，說明選擇測試屬性對分類提供的信息越多 計數(shù) 年齡 收入 學(xué)生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 決策樹算法 計數(shù) 年齡 收入 學(xué)生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 第 1步計算決策屬性的熵 決策屬性“買計算機？”。說明在獲得陰天這個信息后，明天是否下雨的信息不確定性減少了，是很多的，所以信息增益大。 例如 ： 假設(shè) X(明天下雨 )的信息熵為 2（不確定明天是否下雨 ）， Y(如果是陰天則下雨）的條件熵為 （因為如果是陰天就下雨的概率很大，信息就少了 ） 信息增益 ==。 信息 增益：熵 條件熵。 理解信息增益 熵 ：表示隨機變量的不確定性。一個系統(tǒng)越是有序，信息熵就越低；反之，一個系統(tǒng)越是混亂，信息熵就越高 。 熵是整個系統(tǒng)的平均消息量。信息熵也可以說是系統(tǒng)有序化程度的一個度量 。信息的熵越大，信息就越不容易搞清楚（雜亂） 。 信息熵是隨機變量的期望。 通常取 2，并規(guī)定當(dāng) p(ai)=0時 =0 )(1log)()(2iii apapaI ?信息增益 用來衡量給定的屬性區(qū)分訓(xùn)練樣例的能力， 中間（間接）表示屬性 ID3算法在生成 樹的每一步使用 信息增益 從候選屬性中選擇屬性 用熵度量樣例的均一性 決策樹算法 信息增益 用熵度量樣例的均一性 熵刻畫了任意樣例集合 S 的純度 給定包含關(guān)于某個目標概念的正反樣例的樣例集 S，那么 S 相對這個布爾型分類（函數(shù)）的熵為 信息論中對熵的一種解釋： 熵 確定了 要編碼集合 S中任意成員的分類所需要的最少二進制位數(shù)；熵值越大，需要的位數(shù)越多 。事件 ai的信息量 I（ ai ）可 如下度量： 其中 p(ai)表示事件 ai發(fā)生的概率。 如果某件事情是“百年一見”則肯定比“習(xí)以為常”的事件包含 的信息量 大。 當(dāng)獲取信息時，將不確定的內(nèi)容轉(zhuǎn)為確定的內(nèi)容，因此信 息伴著不確定性。是決策樹學(xué)習(xí)方法中最 具影響和最為典型的算法。對每個結(jié)點上問題的不同測試輸出導(dǎo)致不同的分枝，最后 會達到一個葉子結(jié)點。 每個決策結(jié)點代表一個問題或者決策 . 通常對應(yīng)待分類對象的屬性。 是整個決策樹的開始。 CLS, ID3， ， CART 決策樹算法 計數(shù) 年齡 收入 學(xué)生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 假定公司收集了左表數(shù)據(jù)，那么對于任意給定的客人（測試樣例），你能幫助公司將這位客人歸類嗎？ 即：你能預(yù)測這位客人是屬于“買”計算機的那一類，還是屬于“不買”計算機的那一類？ 又：你需要多少有關(guān)這位客人的信息才能回答這個問題？ 決策樹的用途 計數(shù) 年齡 收入 學(xué)生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1