決策樹-免費(fèi)閱讀
【正文】 對(duì)于決策樹，數(shù)據(jù)的準(zhǔn)備往往是簡(jiǎn)單或者是不必要的，而且能夠同時(shí)處理數(shù)據(jù)型和常規(guī)型屬性，在相對(duì)短的時(shí)間內(nèi)能夠?qū)Υ笮蛿?shù)據(jù)源做出可行且效果良好的結(jié)果 。 信息熵計(jì)算： 類別 ui出現(xiàn)概率： |S|表示例子集 S的總數(shù)， |ui|表示類別 ui的例子數(shù)。 決策樹算法 ID3基本思想 某天早晨氣候描述為：天氣－多云；氣溫－冷；濕度－正常；風(fēng)－無風(fēng)。遞歸函數(shù)的第二個(gè)停止條件是使用完了所有特征，仍然不能將數(shù)據(jù)集劃分成僅包含唯一類別的分組 (2)。每個(gè)鍵值都記錄了當(dāng)前類別出現(xiàn)的次數(shù)。決策樹 決策樹簡(jiǎn)介 決策樹算法 A1,A2兩方案投資分別為450萬和 240萬，經(jīng)營(yíng)年限為 5年，銷路好的概率為 ，銷路差的概率為 ， A1方案銷路好年、差年的損益值分別為 300萬和負(fù) 60萬， A2方案分別為 120萬和 30萬。最后，使用所有類標(biāo)簽的發(fā)生頻率計(jì)算類別出現(xiàn)的頻率（ 2）。 決策樹簡(jiǎn)介 遞歸構(gòu)建決策樹 第二步，開始創(chuàng)建樹，這里使用python語(yǔ)言的字典類型存儲(chǔ)樹的信息 (3)。 它屬于哪類氣候呢？ 要解決這個(gè)問題，需要用某個(gè)原則來判定，這個(gè)原則來自于大量的實(shí)際例子，從例子中總結(jié)出原則，有了原則就可以判定任何一天的氣候了。 對(duì) 9個(gè)正例 u1和 5個(gè)反例 u2有： i 2 iH U P u lo g P u?( ) = ( ) ( )iiuP(u )=S1 9P (u ) 14?2 5P (u ) 14?2295 1 4 1 4H( U) ( ) l o g ( ) ( ) l o g ( ) 0 . 9 4 b i t1 4 9 1 4 5? ? ?2． 條件熵計(jì)算 條件熵 ： 屬性 A1取值 vj時(shí)，類別 ui的條件概率： A1＝天氣的取值： v1＝晴， v2＝多云， v3＝雨 在 A1處取值“晴”的例子 5個(gè)，取值“多云”的例子 4個(gè)，取值“雨”的例子 5個(gè)，故： 決策樹算法 三 實(shí)例 iij2jjjiuuH ( U V ) P ( v ) P ( ) l og P ( )vv?? ??iij juuP ( )v v?3 5P( v ) 14?2 4P( v ) 14?1 5P ( v ) 14? 取值 為晴的 5個(gè)例子中有兩個(gè)正例、3個(gè)反例，故： 同理有 決策樹算法 三 實(shí)例 11u 2P ( )v5? 21u 3P ( )v5?12u 4P ( )v4?13u 2P ( )v5?22uP ( ) 0v ?23u 3P( )v5?2 2 2225 5 3 52 4 4 4H ( U V ) ( ) ( ) l o g ( ) + ( ) l o g ( ) ( ) ( ) l o g ( ) + 01 4 5 2 5 3 1 4 4 45 5 3 52( ) ( ) l o g ( ) + ( ) l o g
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號(hào)-1