決策樹培訓(xùn)講義(ppt49頁)-在線瀏覽
2025-02-15 19:42本頁面
【正文】 8,9,10 } attribute_list = {Refund, MarSt, TaxInc } 假設(shè)選擇 Refund為最優(yōu)分割屬性： 2. samples = { 1,4,7 } attribute_list = { MarSt, TaxInc } 3. samples = {2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc } 例子：算法過程 Ti d Refun d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es10Refund Yes No samples中所有樣本屬于同一個(gè)類 Cheat=No 2. samples = {1,4,7 } attribute_list = { MarSt, TaxInc } NO 例子：算法過程 Ti d Refun d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es10Refund Yes No 假設(shè)選擇 MarSt為最優(yōu)分割屬性： 3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc } NO MarSt Single Married Divorced 4. samples = { 3,8,10 }, attribute_list = {TaxInc} 5. samples = { 5,7 }, attribute_list = {TaxInc} 6. samples = { 2,9 }, attribute_list = {TaxInc} 例子：算法過程 Ti d Refun d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es10Refund Yes No 選擇 TaxInc為最優(yōu)分割屬性： 4. samples = { 3,8,10 } attribute_list = { TaxInc } NO MarSt Single Married Divorced TaxInc 80K = 80K YES NO ? 問題 1：分類從 哪個(gè) 屬性開始？ ——選擇 分裂變量的標(biāo)準(zhǔn) ? 問題 2：為什么 工資 以 80為界限？ ——找到被選擇的變量的 分裂點(diǎn)的標(biāo)準(zhǔn) （連續(xù)變量情況） 分類劃分的優(yōu)劣用 不純性度量 來分析。對(duì)于節(jié)點(diǎn) m，令 為到達(dá)節(jié)點(diǎn) m的訓(xùn)練實(shí)例數(shù)， 個(gè)實(shí)例中 個(gè)屬于 類，而 。當(dāng)?shù)竭_(dá)節(jié)點(diǎn) m的所有實(shí)例都不屬于 類時(shí)， 為 0，當(dāng)?shù)竭_(dá)節(jié)點(diǎn) m的所有實(shí)例都屬于 類時(shí)， 為 1。 mNiNiC miim NN ??mimimiNNpmxCp ??),|(?imp ? Father of information theory ?證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系 ? 系統(tǒng)科學(xué)領(lǐng)域三大論之一 ? 信息熵 ? 熵 (entropy) ? 描述物質(zhì)系統(tǒng)狀態(tài) :該狀態(tài)可能出現(xiàn)的程度。 ? 構(gòu)造決策樹，熵定義為無序性度量 。 ? 如果一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)類值在可能的類值上均勻分布，則稱節(jié)點(diǎn)的熵（無序性）最大。 ? 通過分裂，得到盡可能純的節(jié)點(diǎn)。 例子 ? 氣象數(shù)據(jù)集，都是標(biāo)稱屬性 什么因素影響是否去 打網(wǎng)球？ 溫度 的劃分 濕度 的劃分 有風(fēng)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1