4分類和預(yù)測(1)決策樹-閱讀頁
2025-02-27 12:56本頁面
【正文】 ：許多分枝反映的是訓(xùn)練數(shù)據(jù)集中的噪聲和離群點(diǎn)，剪枝試圖識(shí)別并剪去這種分枝，以提高對(duì)未知數(shù)據(jù)分類的準(zhǔn)確性。 ? ID3算法只能處理屬性值為 離散型 的數(shù)據(jù)集的劃分。 ? xi (i=1, 2, ..., total)用 d維特征向量 xi = (xi1, xi2, ..., xid)來表示， xi1, xi2, ..., xid分別對(duì)應(yīng) d個(gè)屬性 A1, A2, ..., Ad的具體取值； ? yi (i=1, 2, ..., total)表示樣本 xi的類標(biāo)號(hào)，假設(shè)要研究的分類問題有 m個(gè)類別，則 yi∈ {c1, c2, ..., cm}。的數(shù)據(jù)樣本所占的比例中類別為表示在子集且，j121 / )(log), .. .,(CXnnpppnnIn fossjsjsmjjsjsmss ?????33 ID3算法 ? 計(jì)算屬性 Af劃分?jǐn)?shù)據(jù)集時(shí)的 信息增益 ： ? 屬性的信息增益值越大，表示它的區(qū)分度就越高，使用該屬性進(jìn)行分類的效果就越好。 ? 再對(duì)各分枝中的數(shù)據(jù)子集進(jìn)行 遞歸劃分 ，直至形成葉結(jié)點(diǎn)或者某分枝上的所有數(shù)據(jù)不屬于同一類別，但又沒有剩余的屬性可以進(jìn)一步劃分為止。由于屬性 age有三個(gè)不同取值（ youth， middle_aged， senior），因此可將數(shù)據(jù)集劃分成三個(gè)子集： X1, X2和 X3。由于屬性 age有三個(gè)不同取值（ youth， middle_aged， senior），因此可將數(shù)據(jù)集劃分成三個(gè)子集： X1, X2和 X3。由于屬性 age有三個(gè)不同取值（ youth， middle_aged， senior），因此可將數(shù)據(jù)集劃分成三個(gè)子集： X1, X2和 X3。由于屬性 age有三個(gè)不同取值（ youth， middle_aged， senior），因此可將數(shù)據(jù)集劃分成三個(gè)子集： X1, X2和 X3。 41 ID3算法 —— 示例（ buy_puter） 42 ID3算法 ? ID3算法的 優(yōu)點(diǎn) ： ? ID3算法通常只需要測試一部分屬性就可完成對(duì)訓(xùn)練數(shù)據(jù)集的分類。 43 ID3算法 ? ID3算法的 缺點(diǎn) ： ? ID3算法在選擇根節(jié)點(diǎn)和內(nèi)部結(jié)點(diǎn)的屬性時(shí)，使用信息增益作為評(píng)價(jià)標(biāo)準(zhǔn)。 ? ID3算法只能對(duì)屬性值為離散型的數(shù)據(jù)集進(jìn)行劃分（構(gòu)建決策樹），不能處理屬性值為連續(xù)型的數(shù)據(jù)集。 ? 屬性 Af的 信息增益比 的定義為： ? 其中： d,... ,2,1f,)A(spli t )A(Gain)A(ratio_Gainfff ?? d,... ,2,1f,)tota ln(logtota ln)A(split q1ss2sf ???? ??當(dāng) q的值較大時(shí)，就會(huì)降低 信息增益比 。 ? 當(dāng)處理離散型屬性時(shí) ， ID3算法相同； ? 當(dāng)處理連續(xù)型屬性時(shí) ， 性轉(zhuǎn)換成離散型屬性 。 ? 當(dāng)處理離散型屬性時(shí) ， ID3算法相同； ? 當(dāng)處理連續(xù)型屬性時(shí) ， 性轉(zhuǎn)換成離散型屬性 。 ? 當(dāng)處理離散型屬性時(shí) ， ID3算法相同； ? 當(dāng)處理連續(xù)型屬性時(shí) ， 性轉(zhuǎn)換成離散型屬性 。 48 ? ， 也可以處理連續(xù)型描述屬性 。 ? 對(duì)于連續(xù)值屬性 Ac， 假設(shè)在某個(gè)結(jié)點(diǎn)上的樣本數(shù)量為 total， 則 ： ? (3) 從 total1個(gè)分割點(diǎn)中選擇最佳分割點(diǎn) 。 49 —— 離散化示例 ? 將 ―buy_puter‖中的屬性 age的取值由 {youth, middle_aged, senior}改為具體年齡 {32, 25, 46, 56, 60, 52, 42, 36, 23, 51, 38, 43, 41, 65}， 法離散化的具體過程。 ? 例如：第一個(gè)分割點(diǎn)為 (23+25)/2=24，它可將數(shù)據(jù)集劃分為年齡在區(qū)間 [23, 24]的樣本和在區(qū)間 (24, 65]的樣本。 ? (3) 選擇最佳分割點(diǎn)。 ? 依此方式，計(jì)算其他分割點(diǎn)的 信息增益比 ，并從中選出具有 最大信息增益比 的分割點(diǎn)。 ? (4) 根據(jù)最佳分割點(diǎn)，離散化屬性的連續(xù)值。 ? 說明：在有些情況下，可能需要確定多個(gè)最佳分割點(diǎn)。 52 第四章 分類和預(yù)測 ? 分類和預(yù)測的定義 ? 數(shù)據(jù)分類方法 ? 決策樹 ? 神經(jīng)網(wǎng)絡(luò) ? SVM ? 貝葉斯網(wǎng)絡(luò) ? 數(shù)據(jù)預(yù)測方法 ? 線性回歸 ? 非線性回歸 演講完畢，謝謝觀看！
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1