決策樹算法分析(完整版)
【正文】 網(wǎng)絡和信息的社會化，數(shù)據(jù)挖掘的對象已不單是關系數(shù)據(jù)庫模型，而是分布、異構的多類型數(shù)據(jù)庫，數(shù)據(jù)的非結構化程度、噪聲等現(xiàn)象越來越突出，這也是決策樹技術面臨的困難問題。例1：、頭發(fā)顏色與所屬人種之間的關系：人員眼睛顏色頭發(fā)顏色所屬人種1黑色黑色黃種人2藍色金色白種人3灰色金色白種人4藍色紅色白種人5灰色紅色白種人6黑色金色混血7灰色黑色混血8藍色黑色混血，選擇“眼睛顏色”為測試屬性。選擇A導致的期望熵定義為每個子集Sv的熵的加權和，權值為屬于Sv的樣本占原始樣本S的比例,即期望熵為：,屬性A相對樣本集合S的信息增益Gain(S，A)定義為：，其中Gain(S，A)是指因知道屬性A的值后導致的熵的期望壓縮。預測消費者是否會購買電腦的決策樹分類構建完成，：年齡學生信譽買買不買不買買中青老否是優(yōu)良 誰在買計算機 ，它繼承了ID3算法的優(yōu)點并對ID3算法進行了改進和補充。 樹剪枝剪枝方法的主要目的是去掉那些噪聲或異常數(shù)據(jù)，使決策樹具有更泛化能力。 決策樹算法比較分析基于決策樹算法自提出至今種類不下幾十種。如果能把這些特征選擇出來，選擇在每個子集上能夠有效分類的特征，就能有效地減少樹的層數(shù)，對于分類結果會有很大的提高。《數(shù)據(jù)挖掘技術及其在電子商務中的應用》 [A]。2014[6]杜麗英。2010[8]郭秀娟。電化教育研究?！秷D書館數(shù)據(jù)挖掘技術研究現(xiàn)狀述評》 [J]。2010。2011[14]李明江,唐穎,周力軍。《決策樹分類技術研究》[J]。吉林建筑工程學院學報。吉林建筑工程學院學報。2010[4]薛紅強?！栋选皵?shù)據(jù)挖掘”作用發(fā)揮出來》 [N]。最早提出的CLS算法只是給出了生成決策樹系統(tǒng)的框架，卻沒有具體說明算法的內(nèi)容；ID3算法采用信息熵的增益進行屬性選擇，但只能處理具有離散型屬性和屬性值齊全的元組，生成形如多叉樹的決策樹。剪枝按其實施的時間分為兩種方法：事前修剪法和事后修剪法。 用信息增益率選擇屬性信息增益率等于信息增益與分裂信息的比值，定義如下：，上式中SplitInfo(A)表示屬性A的分裂信息，分裂信息用來衡量屬性分裂數(shù)據(jù)的廣度和均勻，其定義如下： 。ID3算法就是將每個節(jié)點選擇信息增益Gain(S，A)最大的屬性作為測試屬性。眼睛顏色頭發(fā)顏色頭發(fā)顏色頭發(fā)顏色黑色藍色灰色白種人[4]白種人[2]混血[7]白種人[6]黃種人[1]混血[8]白種人[5]白種人[3]黑色金色金色紅色黑色金色紅色黑色 決策樹 ID3算法ID3算法是決策樹學習算法中最具有影響和最為典型的算法，它的基本思想是，利用信息熵原理，選擇信息增益最大的屬性作為分類屬性。數(shù)據(jù)挖掘出來的知識，只是相對于某一時間的某些數(shù)據(jù)，新的數(shù)據(jù)可能使發(fā)現(xiàn)的新知識與原來的知識沖突。例如公司需要預測某位客人是否要買計算機，,從中可以看到?jīng)Q策樹的基本組成部分：根結點、分支和葉結點。決策樹是判定給定樣本與某種屬性相關聯(lián)的決策過程的一種表示方法，從數(shù)據(jù)中生成分類器的一個特別有效的方法是生成一棵決策樹，該方法廣泛應用與數(shù)據(jù)挖掘和機器學習等領域，用來解釋用分類相關的問題，決策樹表示法是應用最廣泛的邏輯方法之一。進而利用分析結果引導教學的開展，從而有利于提高教學質(zhì)量。數(shù)據(jù)挖掘技術可以增強企業(yè)的競爭優(yōu)勢，縮短銷售周期，降低生產(chǎn)成本，有助制定市場計劃和銷售策略，并已經(jīng)成為電子商務中的關鍵技術。 decision tree；Compare
電大資料相關推薦
鄂ICP備17016276號-1