決策樹(shù)學(xué)習(xí)資料-全文預(yù)覽
【正文】 green C。? 能有效處理大量數(shù)據(jù)? 可處理噪聲數(shù)據(jù)（分類噪聲，屬性噪聲）? 屬性值缺失，亦可處理2023年 6月 2日基本決策樹(shù)算法? 訓(xùn)練數(shù)據(jù)批處理，自頂向下遞歸構(gòu)造決策樹(shù)? DTree(examples, attributes)If 所有樣本屬于同一分類，返回標(biāo)號(hào)為該分類的葉結(jié)點(diǎn)Else if 屬性值為空，返回標(biāo)號(hào)為最普遍分類的葉結(jié)點(diǎn)Else 選取一個(gè)屬性， A， 作為根結(jié)點(diǎn) For A的每一個(gè)可能的值 vi 令 examplesi為具有 A=vi的樣本子集 從根結(jié)點(diǎn)出發(fā)增加分支（ A=vi) 如果 examplesi為空 則創(chuàng)建標(biāo)號(hào)為最普遍分類的葉結(jié)點(diǎn) 否則遞歸創(chuàng)建子樹(shù) —— 調(diào)用 DTree(examplesi,attributes{A})2023年 6月 2日根屬性的選取? 決策樹(shù)要盡可能小? 尋找一組數(shù)據(jù)對(duì)應(yīng)的最小決策樹(shù)是 NPhard的? 簡(jiǎn)單遞歸算法是貪婪啟發(fā)式搜索，無(wú)法保證最優(yōu)? 子集應(yīng)盡可能 “純 ”，從而易于成為葉結(jié)點(diǎn)? 最常用的啟發(fā)規(guī)則是基于信息增益 (Information Gain)2023年 6月 2日熵 (Entropy)? 一組樣本 S對(duì)于二元分類的熵 (混淆度 )為：其中 p+和 p為 S中的正例 、 反例所占比例? 若所有樣本屬于同一分類，則熵為 0(定義 0log0=0)? 若樣本平均分布 (p+=p=)， 則熵最大 (=1)? 可把熵視為對(duì)樣本集分類進(jìn)行編碼所需的平均二進(jìn)制位數(shù)，采用哈夫曼編碼壓縮，越普遍的分類編碼越短? 對(duì)于多分類問(wèn)題（假設(shè)有 c個(gè)分類），則熵的推廣定義：其中 pi為屬于分類 i的樣本在 S中所占比例2023年 6月 2日信息增益? 屬性的信息增益是按該屬性分割后熵的消減期望值：其中 Sv是 S中屬性 A值為 v的子集? 例子：big, red, circle : +small, red, circle : +small, red, square : big, blue, circle : 2023年 6月 2日決策樹(shù)歸納中的假設(shè)空間? 決策樹(shù)可以表示任何離散函數(shù)，歸納就是在此空間內(nèi)的搜索?
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1