決策樹模型概述-wenkub.com
2025-01-11 19:46 本頁面
【正文】 最終分類器的分類精度取 k次測試分類精度的平均值。使用訓(xùn)練數(shù)據(jù)導(dǎo)出分類模型，它在測試數(shù)據(jù)上的 分類精度作為最終的分類精度。 ③ 使用分類模型對測試 集 進行檢測，如果符合測試要求（如分類精度），則進行 ④ ；否則，返回 ② 。 召回 率 r(Recall)和 精 準率 p(Precision) 為了定義這兩個指標，引入 分類 中常用的兩個基本概念， Relevant和 Retrieved。 可用數(shù)據(jù)分成兩個樣例集合： 訓(xùn)練集合，形成學(xué)習(xí)到的假設(shè) 驗證集合，評估這個假設(shè)在后續(xù)數(shù)據(jù)上的精度 方法的動機：即使學(xué)習(xí)器可能會被訓(xùn)練集合誤導(dǎo)，但驗證集合不大可能表現(xiàn)出同樣的隨機波動 驗證集合應(yīng)該足夠大，以便它本身可提供具有統(tǒng)計意義的實例樣本。 33 避免過度擬合數(shù)據(jù)（ 3） 避免過度擬合的方法 及早停止樹增長 后修剪法 兩種方法的特點 第一種方法更直觀 第一種方法中，精確地估計何時停止樹增長很困難 第二種方法被證明在實踐中更成功 34 避免過度擬合數(shù)據(jù)（ 4） 避免過度擬合的關(guān)鍵 使用什么樣的準則來確定最終正確樹的規(guī)模 解決方法 使用與訓(xùn)練樣例截然不同的一套分離的樣例，來評估通過后修剪方法從樹上修建節(jié)點的效用。濕度 ) = H(活動 ) H(活動 |濕度 ) = = I(活動 。其熵分別為： H(活動 |戶外 =晴 ) = (2/5)*log2(2/5) (3/5)*log2(3/5) = H(活動 |戶外 =陰 ) = (4/4)*log2(4/4) = 0 H(活動 |戶外 =雨 ) = (3/5)*log2(3/5) (2/5)*log2(2/5) = 進行 取消 晴 陰 雨 已知 戶外 時 活動 的 條件 熵 H(活動 |戶外 )=5/14*H(活動 |戶外 =晴 )+4/14*H(活動 |戶外 =陰 ) +5/14* H(活動 |戶外 =雨 ) = (5/14)* + (4/14)*0 +(5/14)* = 晴 陰 雨 平均互信息 I(活動 。 信息量的定義 根據(jù)客觀事實和人們的習(xí)慣概念，函數(shù) f(p)應(yīng)滿足以下條件： 1. f(p)應(yīng)是概率 p的嚴格單調(diào)遞減函數(shù)，即當(dāng) p1p2， f(p1)f(p2)； 2. 當(dāng) p=1時， f(p)=0； 3. 當(dāng) p=0時， f(p)=∞； 4. 兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。決策樹模型 排名 挖掘主題 算法 得票數(shù) 發(fā)表時間 作者 陳述 人 1 分類 61 1993 Quinlan, Hiroshi Motoda 2 聚類 kMeans 60 1967 MacQueen, Joydeep Ghosh 3 統(tǒng)計學(xué)習(xí) SVM 58 1995 Vapnik, QiangYang 4 關(guān)聯(lián)分析 Apriori 52 1994 Rakesh Agrawal Christos Faloutsos 5 統(tǒng)計學(xué)習(xí) EM 48 2023 McLachlan, G Joydeep Ghosh 6 鏈接挖掘 PageRank 46 1998 Brin, S. Christos Faloutsos 7 集裝與推進 AdaBoost 45 1997 Freund, Y. ZhiHua Zhou 8 分類 kNN 45 1996 Hastie, T Vipin Kumar 9 分類 Na239。 對信息量的 認識理解 信息量的定義 若一個消息 x出現(xiàn) 的概率 為 p， 則這一消息所含的信息量 為 其中，對數(shù)的底大于 1 信息量 單位 以 2為底時，單位為 bit（ binary unit，比特 ） 以 e為底時，單位為 nat（ natural unit，奈特 ） 以 10為底時，單位為 hart（ Hartley，哈特） pI log??拋一枚均勻硬幣，出現(xiàn)正面與反面的信息量是多少？ 解 ：出現(xiàn)正面與反面的概率均為 0. 5，它們 的信息量 是 I(正 )= lbp(正 )= =1b I(反 )= lbp(反 )= =1b 拋一枚畸形硬幣，出現(xiàn)正面與反面的概率分別是 1/4， 3/4， 出現(xiàn)正面與反面時的信息量是多少？ 解 ：出現(xiàn)正面與反面的概率分別是 1/4， 3/4，它們 的信息量 是 I(正 )= lbp(正 )= lb1/4=2b I(反 )= lbp(反 )= lb3/4= 信源含有的信息量是信源發(fā)出的所有可能消息的平均不確定性，香農(nóng)把信源所含有的信息量稱為信息 熵 ，是指每個符號所含信息量的統(tǒng)計平均值。戶外 ) = H(活動 ) H(活動 |戶外 ) = = 是否適合打壘球 的決策表 天氣 溫度 濕度 風(fēng)速 活動 晴 炎 熱 高 弱 取消 晴 炎 熱 高 強 取消 陰 炎 熱 高 弱 進行 雨 適中 高 弱 進行 雨 寒冷 正常
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1