3決策樹(shù)學(xué)習(xí)_機(jī)器學(xué)習(xí)-文庫(kù)吧資料
2025-01-19 01:18本頁(yè)面
【正文】 者：陶曉鵬 基本的決策樹(shù)學(xué)習(xí)算法 ? 大多數(shù)決策樹(shù)學(xué)習(xí)算法是一種核心算法的變體 ? 采用自頂向下的貪婪搜索遍歷可能的決策樹(shù)空間 ? ID3是這種算法的代表 6 機(jī)器學(xué)習(xí) 決策樹(shù)學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 基本的決策樹(shù)學(xué)習(xí)算法（ 2） ? ID3的思想 – 自頂向下構(gòu)造決策樹(shù) – 從“哪一個(gè)屬性將在樹(shù)的根節(jié)點(diǎn)被測(cè)試”開(kāi)始 – 使用統(tǒng)計(jì)測(cè)試來(lái)確定每一個(gè)實(shí)例屬性單獨(dú)分類訓(xùn)練樣例的能力 ? ID3的過(guò)程 – 分類能力最好的屬性被選作樹(shù)的根節(jié)點(diǎn) – 根節(jié)點(diǎn)的每個(gè)可能值產(chǎn)生一個(gè)分支 – 訓(xùn)練樣例排列到適當(dāng)?shù)姆种? – 重復(fù)上面的過(guò)程 7 機(jī)器學(xué)習(xí) 決策樹(shù)學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 表 31 用于學(xué)習(xí)布爾函數(shù)的 ID3算法概要 ? ID3(Examples, Target_attribute, Attributes) ? 創(chuàng)建樹(shù)的 root節(jié)點(diǎn) ? 如果 Examples都為正 ,返回 label=+的單節(jié)點(diǎn)樹(shù) root ? 如果 Examples都為反 ,返回 label=的單節(jié)點(diǎn)樹(shù) root ? 如果 Attributes為空，那么返回單節(jié)點(diǎn) root， label=Examples中最普遍的 Target_attribute值 ? 否則開(kāi)始 – A?Attributes中分類 examples能力最好的屬性 – root的決策屬性 ?A – 對(duì)于 A的每個(gè)可能值 vi ? 在 root下加一個(gè)新的分支對(duì)應(yīng)測(cè)試 A=vi ? 令 Examplesvi為 Examples中滿足 A屬性值為 vi的子集 ? 如果 Examplesvi為空 – 在這個(gè)新分支下加一個(gè)葉子節(jié)點(diǎn)，節(jié)點(diǎn)的 label=Examples中最普遍的Target_attribute值 – 否則在新分支下加一個(gè)子樹(shù) ID3（ Examplesvi,Target_attribute,Attributes{A}） ? 結(jié)束 ? 返回 root 8 機(jī)器學(xué)習(xí) 決策樹(shù)學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 最佳分類屬性 ? 信息增益 – 用來(lái)衡量給定的屬性區(qū)分訓(xùn)練樣例的能力 – ID3算法在增長(zhǎng)樹(shù)的每一步使用信息增益從候選屬性中選擇屬性 ? 用熵度量樣例的均一性 – 熵刻畫了任意樣例集的純度 – 給定包含關(guān)于某個(gè)目標(biāo)概念的正反樣例的樣例集 S，那么 S相對(duì)這個(gè)布爾型分類的熵為 Entropy(S)=p+log2p+ plog2p – 信息論中對(duì)熵的一種解釋，熵確定了要編碼集合 S中任意成員的分類所需要的最少二進(jìn)制位數(shù) – 更一般地，如果目標(biāo)屬性具有 c個(gè)不同的值，那么 S相對(duì)于 c個(gè)狀態(tài)的分類的熵定義為 Entropy(S)= ?? ?ci ii pp1 2log 9 機(jī)器學(xué)習(xí) 決策樹(shù)學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 最佳分類屬性（ 2） ? 用信息增益度量期望的熵降低 – 屬性的信息增益，由于使用這個(gè)屬性分割樣例而導(dǎo)致的期望熵降低 – Gain(S,A)是在知道屬性 A的值后可以節(jié)省的二進(jìn)制位數(shù) – 例子 ???? )( )(||)(),( AValu esv vv SEntr opySSSEntr opyASGain 10 機(jī)器學(xué)習(xí) 決策樹(shù)學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 ID3算法舉例 ? 表 32 – … – 繼續(xù)這個(gè)過(guò)程，直到滿足以下兩個(gè)條件中的一個(gè) ? 所有的屬性已經(jīng)被這條路經(jīng)包括 ? 與這個(gè)節(jié)點(diǎn)關(guān)聯(lián)的所有訓(xùn)練樣例都具有相同的目標(biāo)屬性值 11 機(jī)器學(xué)習(xí) 決策樹(shù)學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 決策樹(shù)學(xué)習(xí)中的假設(shè)空間搜索 ? 觀察 ID3的搜索空間和搜索策略，認(rèn)識(shí)到這個(gè)算法的優(yōu)勢(shì)和不足 – 假設(shè)空間包含所有的決策樹(shù)，它是關(guān)于現(xiàn)有屬性的有限離散值函數(shù)的一個(gè)完整空間 – 維護(hù)單一的當(dāng)前假設(shè)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1