3決策樹學(xué)習(xí)_機(jī)器學(xué)習(xí)-閱讀頁(yè)
2025-01-25 01:18本頁(yè)面
【正文】 ? 例子， Temperature應(yīng)該定義什么樣的基于閾值的布爾屬性 – 選擇產(chǎn)生最大信息增益的閾值 – 按照連續(xù)屬性排列樣例，確定目標(biāo)分類不同的相鄰實(shí)例 – 產(chǎn)生一組候選閾值，它們的值是相應(yīng)的 A值之間的中間值 – 可以證明產(chǎn)生最大信息增益的 c值位于這樣的邊界中（ Fayyad1991） – 通過計(jì)算與每個(gè)候選閾值關(guān)聯(lián)的信息增益評(píng)估這些候選值 ? 方法的擴(kuò)展 – 連續(xù)的屬性分割成多個(gè)區(qū)間，而不是單一閾值的兩個(gè)空間 30 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 屬性選擇的其他度量標(biāo)準(zhǔn) ? 信息增益度量存在一個(gè)內(nèi)在偏置，偏向具有較多值的屬性 ? 避免方法，其他度量，比如增益比率 ? 增益比率通過加入一個(gè)被稱作分裂信息的項(xiàng)來懲罰多值屬性，分裂信息用來衡量屬性分裂數(shù)據(jù)的廣度和均勻性 SplitInformation(S,A)= GainRatio(S,A)= ? 分裂信息項(xiàng)阻礙選擇值為均勻分布的屬性 ? 問題，當(dāng)某個(gè) Si?S。假定 x,c(x)是 S中的一個(gè)訓(xùn)練樣例，并且其屬性 A的值 A(x)未知 33 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 缺少屬性值的訓(xùn)練樣例（ 2） ? 處理缺少屬性值的 – 一種策略是賦給它節(jié)點(diǎn) n的訓(xùn)練樣例中該屬性的最常見值 – 另一種策略是賦給它節(jié)點(diǎn) n的被分類為 c(x)的訓(xùn)練樣例中該屬性的最常見值 – 更復(fù)雜的策略，為 A的每個(gè)可能值賦予一個(gè)概率，而不是簡(jiǎn)單地將最常見的值賦給 A(x) 34 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 處理不同代價(jià)的屬性 ? 實(shí)例的屬性可能與代價(jià)相關(guān) ? 優(yōu)先選擇盡可能使用低代價(jià)屬性的決策樹，僅當(dāng)需要產(chǎn)生可靠的分類時(shí)才依賴高代價(jià)屬性 ? 通過引入一個(gè)代價(jià)項(xiàng)到屬性選擇度量中，可以使 ID3算法考慮屬性代價(jià) ? Tan和 Schlimmer的例子 35 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 小結(jié)和補(bǔ)充讀物 ? 決策樹學(xué)習(xí)為概念學(xué)習(xí)和學(xué)習(xí)其他離散值的函數(shù)提供了一個(gè)實(shí)用的方法 ? ID3算法 – 貪婪算法 – 從根向下推斷決策樹 – 搜索完整的假設(shè)空間 – 歸納偏置，較小的樹 ? 過度擬合問題 ? ID3算法的擴(kuò)展 36 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 小結(jié)和補(bǔ)充讀物（ 2） ? Hunt ? Quinlan ? Mingers 37 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 附錄 ? is a software extension of the basic ID3 algorithm designed by Quinlan to address the following issues not dealt with by ID3: – Avoiding overfitting the data – Determining how deeply to grow a decision tree. – Reduced error pruning. – Rule postpruning. – Handling continuous attributes. – ., temperature – Choosing an appropriate attribute selection measure. – Handling training data with missing attribute values. – Handling attributes with differing costs. – Improving putational efficiency. 38 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 演講完畢，謝謝觀看！
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1