模式識(shí)別——決策樹算法-wenkub.com
2025-01-05 09:24 本頁(yè)面
【正文】 它是個(gè)模糊的概念，通常指關(guān)于某一事務(wù)的先驗(yàn)知識(shí)，包括領(lǐng)域知識(shí)和專家建議，具體到?jīng)Q策樹學(xué)習(xí)中則是指在決策樹 訓(xùn)練過(guò)程中除了用于生成和修改決策樹的實(shí)例集之外的所有影響決策樹規(guī)則生成和選擇的因素。它可能收斂于局部最優(yōu)解而丟失全局最優(yōu)解，因?yàn)橐粋€(gè)一個(gè)地考慮訓(xùn)練例，不容易像剪除算法那樣使用新例步進(jìn)式地改進(jìn)決策樹。 對(duì)于非增量式學(xué)習(xí)任務(wù)， ID3算法常常是建立決策樹的很好的選擇。 } } } 四 ID3 算法性能分析 1 優(yōu)勢(shì) 搜索空間是完全的假設(shè)空間，目標(biāo)函數(shù)必在搜索空間中，不存在無(wú)解的危險(xiǎn) ；全盤使用訓(xùn)練數(shù)據(jù)，而不是像候選剪除算法一個(gè)一個(gè)地考慮訓(xùn)練例。 // 美化格式 XMLWriter output = new XMLWriter(fw, format)。 } } // 把 xml寫入文件 public void writeXML(String filename) { try { File file = new File(filename)。 for (int i = 0。 (new Integer(minIndex))。 double entropy = calNodeEntropy(subset, (i))。 double minEntropy = 。 if ((value).equals(value)) break。 } // 構(gòu)建決策樹 public void buildDT(String name, String value, ArrayListInteger subset, LinkedListInteger selatt) { Element ele = null。 } for (int i = 0。 count[nodeind]++。 i sum。 i 。 } // 給定原始數(shù)據(jù)的子集 (subset中存儲(chǔ)行號(hào) ),當(dāng)以第 index個(gè)屬性為節(jié)點(diǎn)時(shí)計(jì)算它的信息熵 public double calNodeEntropy(ArrayListInteger subset, int index) { int sum = ()。 i ()。 entropy /= sum。 i 。 setDec(n)。 )。 } } else { continue。 } 模式識(shí)別 —— 決策樹算法 第 9 頁(yè) 共 14 頁(yè) (al)。 if (()) { ((1).trim())。 BufferedReader br = new BufferedReader(fr)。 } (DecisionTree, null, al, ll)。 } ArrayListInteger al = new ArrayListInteger()。 LinkedListInteger ll = new LinkedListInteger()。 (DecisionTree).addAttribute(value, null)。 Document xmldoc。 // 存儲(chǔ)屬性的名稱 private ArrayListArrayListString attributevalue = new ArrayListArrayListString()。事實(shí)上，在這個(gè)簡(jiǎn)單的例子里，這時(shí)各個(gè)節(jié)點(diǎn)上已經(jīng)都是純的樣本了，因此這一級(jí)節(jié)點(diǎn)就是葉節(jié)點(diǎn)。 下面需要構(gòu)建決策樹的下一層節(jié)點(diǎn)。于是，相關(guān)人員逐一考查各個(gè)特征，分別計(jì)算如果采用年齡、性別或月收入為特征把樣本劃分，劃分后的熵不純度是否會(huì)減少，比較哪個(gè)特征能夠使不純度減少幅度最大。接下來(lái)的事情就是如何根據(jù)這樣的樣本數(shù)據(jù)構(gòu)造決策樹。這可以看作一個(gè)兩類的分類問(wèn)題。選擇具有最高信息增益的屬性作為節(jié)點(diǎn) N的分裂屬性。 ()AInfo D 是基于按 A劃分對(duì) D的元組分類所需要的期望信息?？梢杂脤傩?A將 D劃分為 v個(gè)子集 {D1D2,… ,Dv }，其中 Dj包含 D中的元組，它們?cè)?A上具有值 Aj。 Info(D)是識(shí)別 D中的元組的類標(biāo)號(hào)所需的平均信息量。該屬性使結(jié)果劃分中的元組分類所需的信息量最小，并反映這些劃分中的最小隨機(jī)性或“不純性”。本文主要介紹一種流行的屬性選擇度量 —— 信息增益。該過(guò)程使用一種屬性選擇度量，如 信息增益和 Gini指標(biāo) 。 輸入： D 是訓(xùn)練元組和對(duì)應(yīng)類標(biāo)號(hào)的集合 ，候選屬性的集合 ，一個(gè)確定 “ 最好 ” 地劃分?jǐn)?shù)據(jù)元組為個(gè)體類的分裂準(zhǔn)則的過(guò)程。 (示例算法選擇了第一種方法 )。 大多數(shù)決策樹歸納算法都沿用 這種自頂向下的方法，從訓(xùn)練元組集和它們的相關(guān)聯(lián)的類標(biāo)號(hào)開(kāi)始構(gòu)造決策樹。 二 ID3 算法描述 ID3算法是由 Quinlan 首先提出的。 決策樹構(gòu)造可以分兩步進(jìn)行。 決策樹是由一系列節(jié)點(diǎn)組成的，每一個(gè)節(jié)點(diǎn)代表一個(gè)特征和相應(yīng)的決策規(guī)則。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。 數(shù)學(xué)與計(jì)算機(jī)學(xué)院 課程名稱 : 模式識(shí)別 題 目 : 決策樹 任課老師 : 王 類 年級(jí)專業(yè) : 2022 級(jí)應(yīng)用數(shù)學(xué) 姓 名 : 閆輝 時(shí) 間 : 2022 年 12 月 10 日 模式識(shí)別 —— 決策樹算法 第 1 頁(yè) 共 14 頁(yè) 目 錄 一 決策樹算法 介紹 ......................................................................................................................... 2 二 ID3 算法描述 .......................................................................................................................
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1