基于數(shù)據(jù)挖掘的知識(shí)推理(編輯修改稿)
2025-06-07 00:47 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 預(yù)測(cè)將來(lái)未知類別的記錄的類別。決策樹可以用來(lái)分析數(shù)據(jù)輔助決策，也可以用來(lái)預(yù)測(cè)，它是一種由節(jié)點(diǎn)跟有向邊組成的特殊的樹結(jié)構(gòu)。 遼寧省物流航運(yùn)管理系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室 基于決策樹的知識(shí)推理 ?根據(jù)層次的不同，節(jié)點(diǎn)分為根節(jié)點(diǎn)、內(nèi)部節(jié)點(diǎn)和葉節(jié)點(diǎn)三類。樹的根節(jié)點(diǎn)是整個(gè)決策樹的開始，對(duì)應(yīng)整個(gè)樣本集，也就是學(xué)習(xí)的事例集。樹的內(nèi)部節(jié)點(diǎn)代表屬性或?qū)傩缘募?，表示的是?duì)某個(gè)屬性的測(cè)試，在內(nèi)部節(jié)點(diǎn)進(jìn)行屬性值的比較，根據(jù)不同的屬性值判斷該節(jié)點(diǎn)向下的分支，分支就是分類的判定條件；樹的葉節(jié)點(diǎn)代表一個(gè)類標(biāo)號(hào)。因此從根到葉節(jié)點(diǎn)的一條路徑就對(duì)應(yīng)著一條合取規(guī)則 ,整棵決策樹對(duì)應(yīng)著一組析取表達(dá)式規(guī)則。 遼寧省物流航運(yùn)管理系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室 基于決策樹的知識(shí)推理 ?決策樹的算法：構(gòu)造決策樹算法有多種，較有代表性的有 Quinlan的 ID3算法（ Iterative Dichotomiser 3, 迭代二叉樹 3代）， Breiman等人的 CART算法， Loh和 Shih的QUEST算法 Magidson的 CHAID算法等。下面我們介紹一下最常用的 ID3算法。早期著名的決策樹算法是 1986年由 Quinlan提出的 ID3算法。 ID3算法用信息增益（ Information Gain）作為屬性選擇度量。信息增益值越大，不確定性越小。因此， ID3總是選擇具有最高信息增益的屬性作為當(dāng)前節(jié)點(diǎn)的測(cè)試屬性。信息增益越大，信息的不確定性下降的速度也就越快。 遼寧省物流航運(yùn)管理系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室 基于決策樹的知識(shí)推理 ?信息熵定義：假設(shè)訓(xùn)練樣本集 T包含 n個(gè)樣本，這些樣本分別屬于 m個(gè)類，其中第 i個(gè)類在 T中出現(xiàn)的比例為 pi，那么 T的信息熵為： （ ） ? ? imii ppTI 21log????遼寧省物流航運(yùn)管理系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室 基于決策樹的知識(shí)推理 ?信息熵（簡(jiǎn)稱為熵 Entropy）表示信源的不確定性，熵越大，把它搞清楚所需要的信息量也就越大。從信息熵的計(jì)算公式可以看出，訓(xùn)練集在樣本類別方面越模糊越雜亂無(wú)序，它的熵值就越高；反之，則熵值越低。熵的單位可以相應(yīng)地是比特（二進(jìn)制）、鐵特（三進(jìn)制）、笛特（十進(jìn)制）或奈特（自然單位），其中比特為最常用的表示方法。 遼寧省物流航運(yùn)管理系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室 基于決策樹的知識(shí)推理 ?假設(shè)屬性 A把集合 T劃分成個(gè) V子集 ，其中Ti所包含的樣本數(shù)為 ni，如果 A作為測(cè)試屬性，那么劃分后的熵就是： （ ） ? ?vTTT ,..., 21? ? ? ?ivii TInnAE ???1遼寧省物流航運(yùn)管理系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室 基于決策樹的知識(shí)推理 ?ni/n充當(dāng)?shù)?
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1