決策樹及隨機效應(yīng)模型(編輯修改稿)
2025-01-31 19:35 本頁面
【文章內(nèi)容簡介】 機器學(xué)習(xí)， 決策樹 是一個預(yù)測模型；他代表的是對象屬性與對象值之間的一種映射關(guān)系。樹中每個節(jié)點表示某個對象，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結(jié)點則對應(yīng)從根節(jié)點到該葉節(jié)點所經(jīng)歷的路徑所表示的對象的值。決策樹僅有單一輸出，若欲有復(fù)數(shù)輸出，可以建立獨立的決策樹以處理不同輸出。數(shù)據(jù)挖掘中決策樹是一種經(jīng)常要用到的技術(shù)，可以用于分析數(shù)據(jù)，同樣也可以用來作預(yù)測。 從數(shù)據(jù)產(chǎn)生決策樹的機器學(xué)習(xí)技術(shù)叫做 決策樹學(xué) 習(xí) , 通俗說就是 決策樹 。 一個決策樹包含三種類型的節(jié)點： 決策節(jié)點：通常用矩形框來表式 機會節(jié)點：通常用圓圈來表式 終結(jié)點：通常用三角形來表示 決策樹學(xué)習(xí)也是資料探勘中一個普通的方法。在這里，每個決策樹都表述了一種樹型結(jié)構(gòu)，它由它的分支來對該類型的對象依靠屬性進行分類。 每個決策樹可以依靠對源數(shù)據(jù)庫的分割進行數(shù)據(jù)測試。 這個過程可以遞歸式的對樹進行修剪。 當(dāng)不能再進行分割或一個單獨的類可以被應(yīng)用于某一分支時，遞歸過程就完成了。另外，隨機森林分類器將許多決策樹結(jié)合起來以提升分類的正確率。 決策樹同時也可以依靠計算條件概率來構(gòu)造 。 決策樹如果依靠數(shù)學(xué)的計算方法可以取得更加理想的效果。 數(shù)據(jù)庫已如下所示： (x, y) = (x1, x2, x3…, xk, y) 相關(guān)的變量 Y 表示我們嘗試去理解，分類或者更一般化的結(jié)果。 其他的變量 x1, x2, x3 等則是幫助我們達到目的的變量。 決策樹的剪枝 剪枝是決策樹停止分支的方法之一，剪枝有分 預(yù)先剪枝 和 后剪枝兩種。 預(yù)先剪枝 是在樹的生長過程中設(shè)定一個指標(biāo)，當(dāng)達到該指標(biāo)時就停止生長，這樣做容易產(chǎn)生“視界局限”，就是一旦停止分支，使得節(jié)點 N成為葉節(jié)點，就斷絕了其后繼節(jié)點進行“好”的分支操作的任何可能性。 不嚴(yán)格的說這些已停止的分支會誤導(dǎo)學(xué)習(xí)算法，導(dǎo)致產(chǎn)生的樹不純度降差最大的地方過分靠近根節(jié)點。 決策樹的剪枝 后剪枝 中樹首先要充分生長，直到葉節(jié)點都有最小的不純度值為止，因而可以克服“視界局限”。然后對所有相鄰的成對葉節(jié)點考慮是否消去它們，如果消去能引起令人滿意的不純度增長，那么執(zhí)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1