決策樹算法分析(參考版)
2025-06-29 10:13本頁(yè)面
【正文】 2010?！稊?shù)據(jù)挖掘可視化技術(shù)的研究與實(shí)現(xiàn)》[D]。中國(guó)新信。2011[14]李明江,唐穎,周力軍?！秷D書館數(shù)據(jù)挖掘技術(shù)研究現(xiàn)狀述評(píng)》 [J]。貴州民族學(xué)院學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)。2004[12]張儒良,王翰虎?！稕Q策樹分類技術(shù)研究》[J]。電化教育研究。2014[10]王全旺,趙兵川?！稕Q策樹分類算法在選課系統(tǒng)中應(yīng)用研究》[J]。吉林建筑工程學(xué)院學(xué)報(bào)。2010[8]郭秀娟?！痘谛@一卡通的學(xué)生體育鍛煉數(shù)據(jù)挖掘的研究》[J]。高玨。吉林建筑工程學(xué)院學(xué)報(bào)。2014[6]杜麗英?！痘诖髷?shù)據(jù)的數(shù)據(jù)挖掘研究》 [J]。西安航空學(xué)院學(xué)報(bào)。2010[4]薛紅強(qiáng)?！稊?shù)據(jù)挖掘技術(shù)及其在電子商務(wù)中的應(yīng)用》 [A]。華東理工大學(xué)。2009[2]王浩?！栋选皵?shù)據(jù)挖掘”作用發(fā)揮出來(lái)》 [N]。如果能把這些特征選擇出來(lái)，選擇在每個(gè)子集上能夠有效分類的特征，就能有效地減少樹的層數(shù)，對(duì)于分類結(jié)果會(huì)有很大的提高。對(duì)于相當(dāng)大的范圍內(nèi)的應(yīng)用來(lái)說(shuō)，決策樹分類比其他分類技術(shù)能生成更精確的分類結(jié)果，但是對(duì)決策樹分類性能的度量和評(píng)價(jià)會(huì)困難些。規(guī)模過(guò)于龐大，出現(xiàn)了根據(jù)GINI系數(shù)來(lái)選擇測(cè)試屬性的決策樹算法，比如CART。最早提出的CLS算法只是給出了生成決策樹系統(tǒng)的框架，卻沒(méi)有具體說(shuō)明算法的內(nèi)容；ID3算法采用信息熵的增益進(jìn)行屬性選擇，但只能處理具有離散型屬性和屬性值齊全的元組，生成形如多叉樹的決策樹。 決策樹算法比較分析基于決策樹算法自提出至今種類不下幾十種。它在允許決策樹得到最充分生長(zhǎng)的基礎(chǔ)上，再根據(jù)一定的規(guī)則，剪去決策樹中的那些不具有一般代表性的葉結(jié)點(diǎn)或分枝。事后剪枝是由完全生長(zhǎng)的樹剪去分枝。剪枝按其實(shí)施的時(shí)間分為兩種方法：事前修剪法和事后修剪法。 樹剪枝剪枝方法的主要目的是去掉那些噪聲或異常數(shù)據(jù)，使決策樹具有更泛化能力。(2) 兩個(gè)屬性取值之間的中點(diǎn)作為可能的分裂點(diǎn)，將該結(jié)點(diǎn)上的數(shù)據(jù)集分成兩部分，計(jì)算每個(gè)可能的分裂點(diǎn)的信息增益。 處理連續(xù)屬性值，也可以處理連續(xù)性描述屬性。 用信息增益率選擇屬性信息增益率等于信息增益與分裂信息的比值，定義如下：，上式中SplitInfo(A)表示屬性A的分裂信息，分裂信息用來(lái)衡量屬性分裂數(shù)據(jù)的廣度和均勻，其定義如下： 。預(yù)測(cè)消費(fèi)者是否會(huì)購(gòu)買電腦的決策樹分類構(gòu)建完成，：年齡學(xué)生信譽(yù)買買不買不買買中青老否是優(yōu)良 誰(shuí)在買計(jì)算機(jī) ，它繼承了ID3算法的優(yōu)點(diǎn)并對(duì)ID3算法進(jìn)行了改進(jìn)和補(bǔ)充。分別計(jì)算不同屬性的信息增益。 誰(shuí)在買計(jì)算機(jī)計(jì)數(shù)年齡收入學(xué)生信譽(yù)歸類：買計(jì)算機(jī)？64青高否良不買64青高否優(yōu)不買128中高否良買60老中否良買64老低是良買64老低是優(yōu)不買64中低是優(yōu)買128青中否良不買64青低是良買132老中是良買64青中是優(yōu)買32中中否優(yōu)買32中高是良買63老中否優(yōu)不買1老中否優(yōu)買(1) 計(jì)算決策屬性的熵決策屬性“買計(jì)算機(jī)？”，該屬性分為兩類：買、不買。ID3算法就是將每個(gè)節(jié)點(diǎn)選擇信息增益Gain(S，A)最大的屬性作為測(cè)試屬性。選擇A導(dǎo)致的期望熵定義為每個(gè)子集Sv的熵的加權(quán)和，權(quán)值為屬于Sv的樣本占原始樣本S的比例,即期望熵為：,屬性A相對(duì)樣本集合S的信息增益Gain(S，A)定義為：，其中Gain(S，A)是指因知道屬性A的值后導(dǎo)致的熵
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1