決策樹分類算法的應(yīng)用、進展和發(fā)展前景(已修改)
2025-05-26 07:22 本頁面
【正文】 機器學(xué)習(xí) 第 3章 決策樹學(xué)習(xí) ? 決策樹分類算法的進展 ? 決策樹分類算法的發(fā)展前景 主要決策樹算法 ? 最早的決策樹算法是由 Hunt等人于 1966年提出的 CLS 。當(dāng)前最有影響的決策樹算法是 Quinlan于 1986年提出的 ID3和 1993年提出的 。 ? 其它早期算法主 CART、 FACT、 CHAID算法 。 后期的算法主要有 SLIQ、SPRINT 、 PUBLIC等。 決策樹分類算法的進展 ? 傳統(tǒng)的決策樹分類算法主要是針對小數(shù)據(jù)集的，大都要求訓(xùn)練集常駐內(nèi)存，這使得在處理數(shù)據(jù)挖掘任務(wù)時，傳統(tǒng)決策樹算法在可伸縮性、精度和效率方面受到了很大的限制。而在實際的數(shù)據(jù)挖掘應(yīng)用中我們面臨的數(shù)據(jù)集往往是容量巨大的數(shù)據(jù)庫或者數(shù)據(jù)倉庫，在構(gòu)造決策樹時需要將龐大的數(shù)據(jù)在主存和緩存中不停的導(dǎo)入導(dǎo)出使得運算效率大大降低。針對以上問題許多學(xué)者提出了處理大型數(shù)據(jù)集的決策樹算法。下面我們分三個方面對一些算法的改進進行討論。 數(shù)據(jù)預(yù)處理 ? 數(shù)據(jù)挖掘處理的是海量數(shù)據(jù)集不僅樣本容量大、含有的屬性集大而且數(shù)據(jù)中往往含有一些與挖掘任務(wù)不相關(guān)和無意義的部分。在這樣的數(shù)據(jù)集上進行分析會花費很長時間使得挖掘任務(wù)不可行。此外決策者有時需要在數(shù)據(jù)的多個抽象層上進行分析以獲得有價值的信息。在這種情況下我們需要先用過濾、概化和歸約等方法對數(shù)據(jù)進行預(yù)處理然后再對預(yù)處理后的數(shù)據(jù)集進行挖掘。 數(shù)據(jù)預(yù)處理 ? 數(shù)據(jù)概化是指將數(shù)據(jù)集從較低的概念層抽象到較高的概念層。面向?qū)傩缘臍w納（ AOI）是一種有用的概化方法它考查數(shù)據(jù)集中每個屬性的不同取值，通過屬性刪除或者屬性概化等操作在給定的概念分層上概化數(shù)據(jù)庫，由此抽取有意義的知識。使用 AOI方法可能出現(xiàn)的問題是 :如果屬性概化得太高可能導(dǎo)致過分概化 ,產(chǎn)生的規(guī)則可能沒有多少信息 。而如果屬性概化不到足夠高的層次 ,則可能概化不足 ,得到的規(guī)則可能也不含多少信息。因此面向?qū)傩缘母呕瘧?yīng)當(dāng)把握好尺度。 數(shù)據(jù)預(yù)處理 ? 針對這個問題 ,有專家提出了一種新的基于信息增益比的數(shù)據(jù)概化方法 ITA。其基本思想是給定一組候選的提取分層 ,ITA選擇一個最優(yōu)的提取并對原始數(shù)據(jù)庫進行概化。其操作步驟可以概括為從原始數(shù)據(jù)庫中選定某一屬性 ,計算屬性的信息增益比 ,假設(shè)其值為 I1。對于候選提取分層中的每一種提取 ,計算其針對選定屬性的信息增益比 ,選擇信息增益比最大的提取 ,假設(shè)該提取的信息增益比為 I2。
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1