決策樹算法及應(yīng)用拓展(參考版)
2025-01-16 19:43本頁面
【正文】 決策樹算法及應(yīng)用拓展 ? 內(nèi)容簡介： ? 概述 ? 預(yù)備知識 ?決策樹生成 (Building Decision Tree) ?決策樹剪枝 (Pruning Decision Tree) ? 捕捉變化數(shù)據(jù)的挖掘方法 ? 小結(jié) 概述 (一 ) ? 傳統(tǒng)挖掘方法的局限性 ? 只重視從數(shù)據(jù)庫中提取規(guī)則，忽視了庫中數(shù)據(jù)的變化 ? 挖掘所用的數(shù)據(jù)來自穩(wěn)定的環(huán)境，人為干預(yù)較少 概述 (二 ) ? 捕捉新舊數(shù)據(jù)變化的目的： ? 挖掘出變化的趨勢 ?例：啤酒 ——尿布 ? 阻止 /延緩不利變化的發(fā)生 ?例：金融危機 ——銀行的信貸策略 ? 差異挖掘算法的主要思想： ? 合理 比較新 /舊數(shù)據(jù)的挖掘結(jié)果，并清晰的描述其變化部分 預(yù)備知識一 (Building Tree) ? 基本思想： ? 用途：提取分類規(guī)則，進行分類預(yù)測 判定樹分類算法 output 訓(xùn)練集 決策樹 input 使用決策樹進行分類 ? 決策樹 ? 一個樹性的結(jié)構(gòu) ? 內(nèi)部節(jié)點上選用一個屬性進行分割 ? 每個分叉都是分割的一個部分 ? 葉子節(jié)點表示一個分布 ? 決策樹生成算法分成兩個步驟 ? 樹的生成 ? 開始，數(shù)據(jù)都在根節(jié)點 ? 遞歸的進行數(shù)據(jù)分片 ? 樹的修剪 ? 去掉一些可能是噪音或者異常的數(shù)據(jù) ? 決策樹使用 : 對未知數(shù)據(jù)進行分割 ? 按照決策樹上采用的分割屬性逐層往下，直到一個葉子節(jié)點 決策樹算法 ? 基本算法（貪心算法） ? 自上而下分而治之的方法 ? 開始時，所有的數(shù)據(jù)都在根節(jié)點 ? 屬性都是種類字段 (如果是連續(xù)的，將其離散化 ) ? 所有記錄用所選屬性遞歸的進行分割 ? 屬性的選擇是基于一個啟發(fā)式規(guī)則或者一個統(tǒng)計的度量 (如 , information gain) ? 停止分割的條件 ? 一個節(jié)點上的數(shù)據(jù)都是屬于同一個類別 ? 沒有屬性可以再用于對數(shù)據(jù)進行分割 偽代碼 (Building Tree) Procedure BuildTree(S) 用數(shù)據(jù)集 S初始化根節(jié)點 R 用根結(jié)點 R初始化隊列 Q While Q is not Empty do { 取出隊列 Q中的第一個節(jié)點 N if N 不純 (Pure) { for 每一個屬性 A 估計該節(jié)點在 A上的信息增益 選出最佳的屬性 ， 將 N分裂為 N N2 } } 屬性選擇的統(tǒng)計度量 ? 信息增益 ——Information gain (ID3/) ? 所有屬性假設(shè)都是種類字段 ? 經(jīng)過修改之后可以適用于數(shù)值字段 ? 基尼指數(shù) ——Gini index (IBM IntelligentMiner) ? 能夠適用于種類和數(shù)值字段 信息增益度度量 (ID3/) ? 任意樣本分類的期望信息： ? I(s1,s2,……,s m)=－ ∑Pi log2(pi) (i=1..m) ?其中，數(shù)據(jù)集為 S， m為 S的分類數(shù)目， Pi ? Ci為某分類標(biāo)號， Pi為任意樣本屬于 Ci的概率， si為分類 Ci上的樣本數(shù) ? 由 A劃分為子集的熵： ?E(A)= ∑(s1j+ ……+ smj)/s * I(s1j+ ……+ smj) ? A為屬性，具有 V個不同的取值 ?信息增益： Gain(A)= I(s1,s2,……,sm) － E(A) ||||SSi? 訓(xùn)練集 (舉例 ) a g e i n co me st u d e n t cre d i t _ ra t i n g b u ys_ co mp u t e r=3 0 h i g h no f a i r no=3 0 h i g h no e x ce
試題試卷相關(guān)推薦
鄂ICP備17016276號-1