決策樹(shù)分類算法的應(yīng)用、進(jìn)展和發(fā)展前景(編輯修改稿)
2025-06-15 07:22 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 人為的因素比較多。 抽樣方法 Khaled Alsabti等人提出了一種新的決策樹(shù)分類器CLOUDS,提供了兩種確定數(shù)值型屬性最優(yōu)分裂點(diǎn)的新方法 SS和 SS采用分位技術(shù)將每一個(gè)數(shù)值型屬性的取值范圍分為若干個(gè)區(qū)間 (每一個(gè)區(qū)間包含的數(shù)據(jù)點(diǎn)基本相等 ),計(jì)算每個(gè)區(qū)間兩個(gè)端點(diǎn)的基尼指數(shù)并將基尼指數(shù)最小的點(diǎn)作為最優(yōu)分裂點(diǎn)進(jìn)行下一步的分枝。SSE是 SS的改進(jìn)算法 ,它利用求出最小基尼指數(shù)并估計(jì)出每一個(gè)區(qū)間上基尼指數(shù)的下限。若區(qū)間的基尼指數(shù)下限小于最小基尼指數(shù) ,則將區(qū)間保留 。否則刪除 ,然后對(duì)于那些被保留區(qū)間中的每一個(gè)點(diǎn) ,計(jì)算其基尼指數(shù) ,取基尼指數(shù)最小的點(diǎn)為最優(yōu)分裂點(diǎn)。 SSE的精度要高于SS,但是計(jì)算量也大。 CLOUDS通過(guò)一個(gè) 估計(jì)步 對(duì)數(shù)值型屬性的所有取值進(jìn)行抽樣 ,由此可以縮小尋找最優(yōu)分裂點(diǎn)的搜索空間。與傳統(tǒng)的決策樹(shù)算法相比 ,明顯地降低了運(yùn)算的復(fù)雜度而且產(chǎn)生的決策樹(shù)在精度和規(guī)模上也保持了較高的質(zhì)量。 ? 前面提到的數(shù)據(jù)概化、歸約和抽樣方法都可以簡(jiǎn)化數(shù)據(jù)集 ,提高決策樹(shù)算法的效率。然而這樣也可能漏掉數(shù)據(jù)中有價(jià)值的信息。所以有必要研究能夠直接對(duì)大型數(shù)據(jù)集進(jìn)行處理而運(yùn)行時(shí)間不會(huì)太長(zhǎng)的決策樹(shù)算法。Manish Mehta等人提出的 SLIQ和 Shafer .等人提出的 SPRINT是能對(duì)大型數(shù)據(jù)集進(jìn)行處理的決策樹(shù)算法 ,它們都能處理連續(xù)值屬性和離散值屬性。這兩種算法都使用了預(yù)排序技術(shù) ,并對(duì)原始數(shù)據(jù)集的結(jié)構(gòu)進(jìn)行了重新構(gòu)造。 ? SLIQ使用若干駐留磁盤的屬性表和單個(gè)駐留內(nèi)存的類表。每一個(gè)屬性具有一個(gè)屬性表 ,由記錄標(biāo)志符 (RID)建立索引。每個(gè)元組由屬性表中鏈接到類表的一個(gè)表目鏈接表示 ,而類表的表目則鏈接到它在決策樹(shù)中對(duì)應(yīng)的葉節(jié)點(diǎn)。 SLIQ的特點(diǎn)是將類表駐留在主存 ,在決策樹(shù)的學(xué)習(xí)過(guò)程中經(jīng)常訪問(wèn)它 ,因此算法的效率會(huì)提高。 SLIQ使用基尼指數(shù)作為選擇測(cè)試屬性的標(biāo)準(zhǔn) ,選擇基尼指數(shù)最小的屬性作為最優(yōu)分裂點(diǎn) ,具體到每個(gè)節(jié)點(diǎn)的分割又包括矩形類圖 的更新和類表的更新。 SLIQ采用了 MDL的方法來(lái)修剪樹(shù)。這一算法的缺點(diǎn)是類表的大小隨訓(xùn)練集中樣本數(shù)目增長(zhǎng) ,當(dāng)類表太大而不能放在主存時(shí) ,它的性能會(huì)隨著下降。 ? SPRINT使用不同的屬性表數(shù)據(jù)結(jié)構(gòu)存放類和 RID信息。當(dāng)節(jié)點(diǎn)分裂時(shí) ,屬性表被相應(yīng)劃分 ，并在子節(jié)點(diǎn)中分布。在對(duì)表進(jìn)行劃分時(shí) ，維持表中記錄的次序不變。因此 ，劃分表時(shí)不需要重新排序。當(dāng) SLIQ和 SPRINT
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號(hào)-1