決策樹課件-展示頁
2025-01-18 21:58本頁面
【正文】 =yes需附加邏輯與條件，樣本范圍為表中灰色部分。否則結(jié)束。置信度用于控制剪枝的程度，決定了所允許的誤差上限24：剪枝算法n 剪枝標(biāo)準(zhǔn)： “ 減少－誤差（ reduce error） ” 法n k為待剪子樹中葉節(jié)點的個數(shù) ， pi為第 i個葉節(jié)點所含樣本占子樹所含樣本的比例 ， ei為第 i個葉節(jié)點的估計誤差 ， e為父節(jié)點的估計誤差25：剪枝算法n 例：能否剪掉 C節(jié)點下的 3個葉節(jié)點（ E、 F、 G）?估計 3個節(jié)點的誤差： 、 ?加權(quán)求和：?計算 C節(jié)點的誤差估計： ?可剪掉葉節(jié)點 E、 F、 G第一個數(shù)字是本節(jié)點所含樣本量 N， 第二個數(shù)為錯判樣本數(shù) E 26n 決策樹對邏輯關(guān)系的表述并非是最簡潔的IF a AND b THEN yesELSE IF c AND d THEN yesOTHERWISE no27推理規(guī)則集的生成算法n PRISM（ Patient Rule Induction Space Method，Cendrowska， 1987）， “ 覆蓋 ” 算法，規(guī)則在訓(xùn)練樣本集上 100％正確n 基本思路：確定輸出變量的某個類別為期望類別n 在當(dāng)前樣本范圍內(nèi)，尋找能最大限度 “ 覆蓋 ” 期望類別樣本的推理規(guī)則n 在 M個樣本范圍內(nèi)，按照正確覆蓋率最大原則確定附加條件，得到一個再小些的樣本范圍，直到推理規(guī)則不再 “覆蓋 ” 屬于期望類別外的樣本n 從當(dāng)前樣本集合中剔除已經(jīng)被正確 “ 覆蓋 ” 的樣本，檢查剩余樣本中是否還有屬于期望類別的樣本。后驗熵的期望 (條件熵或信道疑義度 )：n 信息增益n 信息消除隨機不確定性的程度18：生長算法n 如何從眾多輸入變量中選擇一個最佳分組變量：n 。信息論主要用于解決信息傳遞過程中的問題，也稱統(tǒng)計通信理論n 信息論的基本出發(fā)點認為：n 信息傳遞通過由信源、信道和信宿組成的傳遞系統(tǒng)實現(xiàn)信道信源 (發(fā)送端 ) 信宿 (接收端 )12：熵n 信息論的基本出發(fā)點認為：n 傳遞系統(tǒng)存在于一個隨機干擾環(huán)境之中n 將發(fā)送的信息記為 U，接收的信息記為 V，那么信道可看作為信道模型，記為 P(U|V)信道信源 (發(fā)送端 )Uu1,u2,..ur信宿 (接收端 )Vv1,v2,..vqP(U|V)13：熵n 信道模型是一個條件概率矩陣 P(U|V)，稱為信道傳輸概率矩陣n P(ui|vj)是信宿收到 vj而信源發(fā)出 ui的概率 ，且n 信源也同樣被看做是某種隨機過程，有：14：熵n 例如：二元信道模型15：熵n 先驗不確定性：通信發(fā)生前，信宿對信源的狀態(tài)具有不確定性n 后驗不確定性：通信發(fā)生后，信宿收到發(fā)自信源的信息，先驗不確定性部分被消除，信宿對信源仍有一定程度的不確定性n 后驗不確定性等于先驗不確定性，表示信宿沒有收到信息；n 后驗不確定性等于零，表示信宿收到了全部信息n 信息是用來消除隨機不確定性的，信息量的大小可由所消除的不確定性大小來計量16：熵n 信息量的數(shù)學(xué)定義：n 信息熵是信息量的數(shù)學(xué)期望，是信源發(fā)出信息前的平均不確定性，也稱先驗熵。策略：n 事先指定允許的最大誤差值n 通常依據(jù)測試樣本集剪枝10n ID3(J R Quinlan,1979)基礎(chǔ)上發(fā)展起來。Clementine的決策樹1主要內(nèi)容n決策樹算
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1