決策樹培訓(xùn)課件(編輯修改稿)
2025-01-30 21:57 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 輸出變量的某個(gè)類別為期望類別n 在當(dāng)前樣本范圍內(nèi)，尋找能最大限度 “ 覆蓋 ” 期望類別樣本的推理規(guī)則n 在 M個(gè)樣本范圍內(nèi)，按照正確覆蓋率最大原則確定附加條件，得到一個(gè)再小些的樣本范圍，直到推理規(guī)則不再 “覆蓋 ” 屬于期望類別外的樣本n 從當(dāng)前樣本集合中剔除已經(jīng)被正確 “ 覆蓋 ” 的樣本，檢查剩余樣本中是否還有屬于期望類別的樣本。如果有則回到第一步。否則結(jié)束。 28年齡段 =A(2/5)，年齡段 =B(4/4)，年齡段 =C(3/5)，性別=0(6/8)，性別 =1(3/6)，推理規(guī)則為： IF 年齡段 =B THEN 是否購(gòu)買 =yes。剔除已被正確覆蓋的 4個(gè)樣本年齡段 =A(2/5)，年齡段 =C(3/5)，性別 =0(4/6)，性別=1(1/4)，推理規(guī)則為： IF 性別 =0 THEN 是否購(gòu)買 =yes需附加邏輯與條件，樣本范圍為表中灰色部分。年齡段 =A(1/3)，年齡段 =C(3/3)。推理規(guī)則修正為：IF 性別 =0 AND 年齡段 =C THEN 是否購(gòu)買 =yesYes為期望類別29：損失矩陣n 不同錯(cuò)誤類型所造成的實(shí)際損失可能不同，置信度會(huì)影響決策，錯(cuò)判損失同樣會(huì)影響決策n 損失矩陣n 使用損失矩陣的策略：n 數(shù)據(jù)建模型階段使用損失矩陣n 樣本預(yù)測(cè)時(shí)使用損失矩陣30：損失矩陣n n 剪枝時(shí)采用 “ 減少－損失 ” 法，判斷待剪子樹中葉節(jié)點(diǎn)的加權(quán)損失是否大于父層節(jié)點(diǎn)的損失，如果大于則可以剪掉31：損失矩陣n 損失矩陣對(duì)預(yù)測(cè)的影響：n c(i|j)是損失矩陣中將 j類錯(cuò)判為 i類的損失 ， p(j|t)是被節(jié)點(diǎn) t判為 j類的歸一化概率，定義為：n 例如： 預(yù)測(cè)值1 2 3實(shí)際值 1 c(2|1) c(3|1)2 c(1|2) c(3|2)3 c(1|3) c(2|3) 32： N折交叉驗(yàn)證n 偏差和方差：預(yù)測(cè)的差異性來自兩個(gè)方面，定義輸出變量 Y的均方誤差（ Mean Squared Error）為：n 模型復(fù)雜度是導(dǎo)致偏差大小的重要因素：n 常數(shù)預(yù)測(cè)和復(fù)雜模型的預(yù)測(cè)n 方差較大的預(yù)測(cè)仍是無法令人滿意的n 方差測(cè)度了模型對(duì)訓(xùn)練樣本的敏感程度n 偏差總是未知的，方差的測(cè)度顯得較為重要n N折交叉驗(yàn)證：估計(jì)模型參數(shù)的方差，估計(jì)預(yù)測(cè)精度的方差 33n 偏差和方差的存在，使建立在一組訓(xùn)練樣本集上的一個(gè)模型，所給出的預(yù)測(cè)往往缺乏穩(wěn)健性n 數(shù)據(jù)挖掘中的策略n Boosting技術(shù)n 均包括建模和投票兩個(gè)階段34： Boosting技術(shù)?建立 k個(gè)模型； k個(gè)模型投票35： Boosting技術(shù)?建模過程（輸入：訓(xùn)練樣本集 T，訓(xùn)練次數(shù) k；輸出：多個(gè)決策樹模型 C1,C2,…Ck)?初始化樣本權(quán)數(shù)： wj(1)=1/n?對(duì)每次迭代：?根據(jù)樣本權(quán)數(shù) wj(i)，從 T中有放回地抽取 n個(gè)樣本形成訓(xùn)練樣本集 Ti；?根據(jù)訓(xùn)練集 Ti得到模型 Ci；?計(jì)算模型的誤差 e(i) ?如果 e(i) 或者 e(i)=0，則終止建模過程；36： Boosting技術(shù)?建模過程?對(duì)每次迭代：?根據(jù)誤差更新每個(gè)樣本的權(quán)數(shù)：?正確分類的樣本權(quán)數(shù)：wj(i+1)= wj(i)*223。(i)， 223。(i)＝ e(i)/(1 e(i))?錯(cuò)誤分類的樣本權(quán)數(shù)保持不變wj(i+1)= wj(i)?調(diào)整 wj(i+1)使得各樣本的權(quán)
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1