3決策樹學習_機器學習-資料下載頁
2025-01-15 01:18本頁面
【正文】 均值的屬性應用增益比率測試 ??? ci ii SSSS1 2 || ||log|| || ),(),( ASmati onSplitIn for AGain 31 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 屬性選擇的其他度量標準（ 2） ? 基于距離的度量 – 定義了數據劃分間的一種距離尺度 – 計算每個屬性產生的劃分與理想劃分間的距離 – 選擇最接近完美劃分的屬性 – Lopez de Mantaras定義了這個距離度量，證明了它不偏向有大量值的屬性 ? 此外 ? Mingers實驗，不同的屬性選擇度量對最終精度的影響小于后修剪得程度和方法的影響 32 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 缺少屬性值的訓練樣例 ? 例子，醫(yī)學領域 ? 經常需要根據此屬性值已知的實例來估計這個缺少的屬性值 ? 為了評估屬性 A是否是決策節(jié)點 n的最佳測試屬性，要計算決策樹在該節(jié)點的信息增益Gain(S,A)。假定 x,c(x)是 S中的一個訓練樣例，并且其屬性 A的值 A(x)未知 33 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 缺少屬性值的訓練樣例（ 2） ? 處理缺少屬性值的 – 一種策略是賦給它節(jié)點 n的訓練樣例中該屬性的最常見值 – 另一種策略是賦給它節(jié)點 n的被分類為 c(x)的訓練樣例中該屬性的最常見值 – 更復雜的策略，為 A的每個可能值賦予一個概率，而不是簡單地將最常見的值賦給 A(x) 34 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 處理不同代價的屬性 ? 實例的屬性可能與代價相關 ? 優(yōu)先選擇盡可能使用低代價屬性的決策樹，僅當需要產生可靠的分類時才依賴高代價屬性 ? 通過引入一個代價項到屬性選擇度量中，可以使 ID3算法考慮屬性代價 ? Tan和 Schlimmer的例子 35 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 小結和補充讀物 ? 決策樹學習為概念學習和學習其他離散值的函數提供了一個實用的方法 ? ID3算法 – 貪婪算法 – 從根向下推斷決策樹 – 搜索完整的假設空間 – 歸納偏置，較小的樹 ? 過度擬合問題 ? ID3算法的擴展 36 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 小結和補充讀物（ 2） ? Hunt ? Quinlan ? Mingers 37 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 附錄 ? is a software extension of the basic ID3 algorithm designed by Quinlan to address the following issues not dealt with by ID3: – Avoiding overfitting the data – Determining how deeply to grow a decision tree. – Reduced error pruning. – Rule postpruning. – Handling continuous attributes. – ., temperature – Choosing an appropriate attribute selection measure. – Handling training data with missing attribute values. – Handling attributes with differing costs. – Improving putational efficiency. 38 機器學習 決策樹學習 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 演講完畢，謝謝觀看！
環(huán)評公示相關推薦
鄂ICP備17016276號-1