基于決策樹規(guī)則分類算法的研究(12-15)(編輯修改稿)
2025-03-20 16:23 本頁面
【文章內(nèi)容簡介】 屬性作為結(jié)點(diǎn)，自頂向下生成決策樹。,對構(gòu)造C4.5決策樹的相關(guān)理論的描述如下: 1.首先計(jì)算給定的樣本所需的期望信息,設(shè)S為一個包含s個數(shù)據(jù)樣本的集合，對于類別屬性，可以取m個不同的值,對應(yīng)于m個不同的類別Ci ( i {1,2,.,m})。假設(shè)類別Ci中的樣本個數(shù)為si，期望信息為: 其中pi是任意樣本屬于Ci的概率，并用si/s估計(jì) 。 2.接著計(jì)算當(dāng)前樣本集合所需要的信息嫡，設(shè)一個屬性A具有v個不同的值{a1,a2,.,av},利用屬性A可以將集合S劃分為v個子集{S1,S2,.,Sv}，其中Sj包含了S集合中屬性A取aj值的數(shù)據(jù)樣本，如果屬性A被選為測試屬性(最好的分裂屬性)，設(shè)Sij為子集Sj中屬于Ci類別的樣本集，根據(jù)A劃分計(jì)算的熵為:,其中項(xiàng) 為第j個子集的權(quán)，也等于子集中樣本個數(shù)除以S中的樣本總數(shù)。熵值越小，子集劃分的純度越高。而對于子集sj有： 其中， 是子集sj中樣本屬于類別Ci的概率。然后利用屬性A對當(dāng)前分支結(jié)點(diǎn)進(jìn)行相應(yīng)樣本集合劃分計(jì)算信息增益:,3. 最后，求取信息增益率，其表達(dá)式為： 其中， 這個Gainratio(A)值越大，分枝包含的有用信息越多。,C4.5算法的工作流程圖：,開始,讀取、存儲類信息,讀取屬性信息,讀取數(shù)據(jù)庫,是連續(xù)屬性,劃分區(qū)域,存儲至屬性哈希表中,讀取訓(xùn)練樣本,有缺失數(shù)據(jù),忽略或用最多的 屬性值來替代,存儲樣本表,Ｋ次迭代交叉驗(yàn)證,將數(shù)據(jù)集劃分成K個子集,對生成的樹進(jìn)行測試后打印分類信息,取K1個子集用C4.5算法建構(gòu)樹,規(guī)則提取,結(jié)束,Y,Ｎ,Y,N,四、基于規(guī)則排序的決策樹分類 算法CABRR的研究,CABRR算法的產(chǎn)生 CABRR算法基本概念 CABRR算法的基本思想及規(guī)則排序算法 CABRR算法的實(shí)例分析,4.1 CABRR算法的產(chǎn)生,CABRR算法的產(chǎn)生：用規(guī)則構(gòu)造分類器時，對規(guī)則的排序分為兩種:基于規(guī)則的排序和基于類
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1