決策樹算法總結(jié)(參考版)
2024-08-16 03:21本頁面
【正文】 builder = DepthFirstTreeBuilder （優(yōu)先深度）builder = BestFirstTreeBuilder （優(yōu)先最優(yōu)）武漢中原電子信息有限公司15。以Gini的計(jì)算為例同理，分裂的規(guī)則定義在splitter中，具體實(shí)現(xiàn)也是在Cpython中最后是構(gòu)造器，這也是面向?qū)ο笤O(shè)計(jì)模式中的一種設(shè)計(jì)模式，構(gòu)造器模式。.pxd:.pyx:.pyd:相當(dāng)于dll() 創(chuàng)建分類決策樹對象DecisionTreeClassifier繼承BaseDecisionTree(, ) 建樹DecisionTreeClassifier直接使用了父類BaseDecisionTree的方法super().fit( X, y, sample_weight=sample_weight, check_input=check_input, X_idx_sorted=X_idx_sorted)查看DecisionTreeClassifier的fit，學(xué)習(xí)建樹過程代碼前面是對參數(shù)的校驗(yàn)之類的工作criterion：表示選擇分裂節(jié)點(diǎn)的準(zhǔn)則，CLF表示分類使用gini系數(shù)、熵等，REG表示回歸使用均方差等。2. sklearn中的使用from import load_irisfrom sklearn import treeimport pydotplusimport graphviziris = load_iris()clf = ()(, )dot_data = (clf, out_file=None)graph = (dot_data)()3. sklearn中源碼分析 主要分析tree的相關(guān)函數(shù)代碼，使用pycharm下載sklearn包中tree文件，pxd相當(dāng)于頭文件，pyd是加密文件，無法查看。若多個(gè)非葉子節(jié)點(diǎn)的表面誤差率增益值相同，則選擇子節(jié)點(diǎn)最多的非葉子節(jié)點(diǎn)進(jìn)行裁剪。可以看到選擇分裂屬性這一步驟會(huì)比較麻煩，首先要遍歷所有特征，找到每一個(gè)特征的最優(yōu)分裂方法，然后在選擇最優(yōu)的分裂特征。又因?yàn)?，CART算法的建模是二叉樹，所以，針對職業(yè)來說，有以下組合，學(xué)生|非學(xué)生，老師|非老師，上班族|非上班族，到底怎么劃分，就要通過基尼系數(shù)來判斷了。使用二叉樹代替多叉樹建模，降低復(fù)雜度。spliteInfo = sub1 / total * log(sub1 / total) – sub2 / total * log(sub2 / total)index:特征序號(hào)value:特征值該方法表示將index對應(yīng)特征的值為value的集合返回，返回集合中不包含index對應(yīng)的特征def spliteDataSet(dataSet, index, value): newDataSet = [] for node in dataSet: if node[index] == value: [0,index)列的數(shù)據(jù) newData = node[:index] [
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1