決策樹課件-wenkub.com
2025-01-10 21:58 本頁面
【正文】 T1為最大樹， Tk只包含根節(jié)點n ?初始為 0，無枝可剪n 增大 ?找到 小于 ?的所有子樹中最小值對應(yīng)的子樹，剪掉，計算剪枝后樹的代價復(fù)雜度值n 在當(dāng)前 ?值下判斷是否仍有小于 ?的子樹，有則依從小到大順序剪掉，并計算代價復(fù)雜度；否則，繼續(xù)增大 ?，直到得到 Tkn 隨著 ?值增大，得到 子樹序列。年齡段 =A(1/3)，年齡段 =C(3/3)。如果有則回到第一步。信息熵的數(shù)學(xué)定義：n 信息熵等于 0， 表示只存在唯一的信息發(fā)送可能 ，P(ui)=1， 沒有發(fā)送的不確定性 ；n 如果信源的 k個信號有相同的發(fā)送概率 ， P(ui)=1/k，則信息發(fā)送的不確定性最大，信息熵達(dá)到最大n P(ui)差別小，信息熵大，平均不確定性大；反之17：信息增益n 已知信號 U的概率分布 P(U)且收到信號 V=vj， 發(fā)出信號的概率分布為 P(U|vj)， 信源的平均不確定性：n 稱為后驗熵。策略：n 事先指定決策樹生長的最大深度n 事先指定樹節(jié)點樣本量的最小值n 后修剪（ postpruning）：待決策樹充分生長完畢后再進(jìn)行剪枝9決策樹算法概述：樹剪枝n 后修剪：待決策樹生長完畢，根據(jù)一定規(guī)則，剪去不具一般代表性的子樹。策略：n 事先指定允許的最大誤差值n 通常依據(jù)測試樣本集剪枝10n ID3(J R Quinlan,1979)基礎(chǔ)上發(fā)展起來。后驗熵的期望 (條件熵或信道疑義度 )：n 信息增益n 信息消除隨機(jī)不確定性的程度18：生長算法n 如何從眾多輸入變量中選擇一個最佳分組變量：n 。否則結(jié)束。推理規(guī)則修正為：IF 性別 =0 AND 年齡段 =C THEN 是否購買 =yesYes為期望類別29：損失矩陣n 不同錯誤類型所造成的實際損失可能不同，置信度會影響決策，錯判損失同樣會影響決策n 損失矩陣n 使用損失矩陣的策略：n 數(shù)據(jù)建模型階段使用損失矩陣n 樣本預(yù)測時使用損失矩陣30：損失矩陣n n 剪枝時采用 “ 減少－損失 ” 法，判斷待剪子樹中葉節(jié)點的加權(quán)損失是否大于父層節(jié)點的損失，如果大于則可以剪掉31：損失矩陣n 損失矩陣對預(yù)測的影響：n c(i|j)是損失矩陣中將 j類錯判為 i類的損失 ， p(j|t)是被節(jié)點 t判為 j類的歸一化概率，定義為：n 例如： 預(yù)測值1 2 3實際值 1 c(2|1) c(3|1)2 c(1|2) c(3|2)3 c(1|3) c(2|3) 32： N折交叉驗證n 偏差和方差：預(yù)測的差異性來自兩個方面，定義輸出變量 Y的均方誤差（ Mean Squared Error）為：n 模型復(fù)雜度是導(dǎo)致偏差大小的重要因素：n 常數(shù)預(yù)測和復(fù)雜模型的預(yù)測n 方差較大的預(yù)測仍是無法令人滿意的n 方差測度了模型對訓(xùn)練樣本的敏感程度n 偏差總是未知的，方差的測度顯得較為重要n N折交叉驗證：估計模型參數(shù)的方差，估計預(yù)測精度的方差 33n 偏差和方差的存在，使建立在一組訓(xùn)練樣本集上的一個模型，所給出的預(yù)測往往缺乏穩(wěn)健性n 數(shù)據(jù)挖掘中的策略n Boosting技術(shù)n 均包括建模和投票兩個階段34： Boosting技術(shù)?建立 k個模型； k個模型投票35： Boosting技術(shù)?建模過程（輸入：訓(xùn)練樣本集 T，訓(xùn)練次數(shù) k；輸出：多個決策樹模型
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1