決策樹(shù)算法總結(jié)-資料下載頁(yè)
2025-08-05 03:21本頁(yè)面
【正文】 作為我們的決策樹(shù)（交叉驗(yàn)證等）舉例：t1是根節(jié)點(diǎn)t2，t3，t4，t5是非葉子節(jié)點(diǎn)t6，t7，t8，t9，t10，t11是葉子節(jié)點(diǎn)首先我們計(jì)算所有非葉子節(jié)點(diǎn)誤差率增益值t4: (4/50 * 50/80 – 1/45 * 45/80 – 2/5 * 5/80) / (2 – 1) = t5: (4/10 * 10/80 – 0 0) / (2 1) = t2: (10/60 * 60/80 – 1/45 * 45/80 – 2/5 * 5/80 – 0 0) / (4 1) = t3: 因此得到第1顆子樹(shù)：T0 = t4（），t5（），t2（），t3（）比較發(fā)現(xiàn)可以將t4裁剪掉得到第2顆子樹(shù)t5: t3: t2: (10/60 * 60/80 – 4/50 * 50/80 – 0 0) / (3 1) = 此時(shí)t2與t3相同，那么裁剪葉子節(jié)點(diǎn)較多的，因此t2被裁剪得到第3顆樹(shù)然后對(duì)上面3顆子樹(shù)進(jìn)行驗(yàn)證，找到效果最后的作為剪枝之后的決策樹(shù)。2. sklearn中的使用from import load_irisfrom sklearn import treeimport pydotplusimport graphviziris = load_iris()clf = ()(, )dot_data = (clf, out_file=None)graph = (dot_data)()3. sklearn中源碼分析 主要分析tree的相關(guān)函數(shù)代碼，使用pycharm下載sklearn包中tree文件，pxd相當(dāng)于頭文件，pyd是加密文件，無(wú)法查看。，因此可以查看。.pxd:.pyx:.pyd:相當(dāng)于dll() 創(chuàng)建分類決策樹(shù)對(duì)象DecisionTreeClassifier繼承BaseDecisionTree(, ) 建樹(shù)DecisionTreeClassifier直接使用了父類BaseDecisionTree的方法super().fit( X, y, sample_weight=sample_weight, check_input=check_input, X_idx_sorted=X_idx_sorted)查看DecisionTreeClassifier的fit，學(xué)習(xí)建樹(shù)過(guò)程代碼前面是對(duì)參數(shù)的校驗(yàn)之類的工作criterion：表示選擇分裂節(jié)點(diǎn)的準(zhǔn)則，CLF表示分類使用gini系數(shù)、熵等，REG表示回歸使用均方差等。他們的定義在對(duì)于這些準(zhǔn)則的計(jì)算，使用Cpython實(shí)現(xiàn)的。以Gini的計(jì)算為例同理，分裂的規(guī)則定義在splitter中，具體實(shí)現(xiàn)也是在Cpython中最后是構(gòu)造器，這也是面向?qū)ο笤O(shè)計(jì)模式中的一種設(shè)計(jì)模式，構(gòu)造器模式。思想是，構(gòu)造器中根據(jù)加入的原料，產(chǎn)出不同的東西。builder = DepthFirstTreeBuilder （優(yōu)先深度）builder = BestFirstTreeBuilder （優(yōu)先最優(yōu)）武漢中原電子信息有限公司15
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1