模式識(shí)別——決策樹算法(已修改)
2025-01-20 09:24 本頁面
【正文】 數(shù)學(xué)與計(jì)算機(jī)學(xué)院 課程名稱 : 模式識(shí)別 題 目 : 決策樹 任課老師 : 王 類 年級(jí)專業(yè) : 2022 級(jí)應(yīng)用數(shù)學(xué) 姓 名 : 閆輝 時(shí) 間 : 2022 年 12 月 10 日 模式識(shí)別 —— 決策樹算法 第 1 頁 共 14 頁 目 錄 一 決策樹算法 介紹 ......................................................................................................................... 2 二 ID3 算法描述 ............................................................................................................................. 2 三 ID3 算法 java 實(shí)現(xiàn) ..................................................................................................................... 4 1 實(shí)例 ....................................................................................................................................... 4 2 算法的 JAVA 實(shí)現(xiàn) ............................................................................................................... 7 四 ID3 算法性能分析 ................................................................................................................... 13 1 優(yōu)勢(shì) ..................................................................................................................................... 13 2 弊端 ..................................................................................................................................... 13 五 ID3 算法改進(jìn) ........................................................................................................................... 13 六、 附錄 —— 核心算法的主要源代碼 ....................................................................................... 14 ........................................................................................................................................................ 15 ........................................................................................................................................................ 15 ........................................................................................................................................................ 16 參考文獻(xiàn) ......................................................................................................................................... 17 模式識(shí)別 —— 決策樹算法 第 2 頁 共 14 頁 決策樹算法 一 決策樹算法 介紹 決策樹是數(shù)據(jù)挖掘分類算法的一個(gè)重要方法。在各種分類算法中，決策樹是最直觀的一種。決策樹 (Decision Tree）是在已知各種情況發(fā)生概率的 基礎(chǔ) 上，通過構(gòu)成決策樹來求取凈現(xiàn)值的 期望 值大于等于零的概率，評(píng)價(jià)項(xiàng)目風(fēng)險(xiǎn)，判斷其可行性的決策分析方法，是直觀運(yùn)用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。在機(jī)器學(xué)習(xí)中，決策樹是一個(gè)預(yù)測模型，他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。Entropy = 系統(tǒng)的凌亂程度，使用算法 ID3, 和 生成樹算法使用熵。這一度量是基于信息學(xué)理論中熵的概念。 決策樹是由一系列節(jié)點(diǎn)組成的，每一個(gè)節(jié)點(diǎn)代表一個(gè)特征和相應(yīng)的決策規(guī)則。最上部的節(jié)點(diǎn)是根節(jié)點(diǎn) (這里的“樹”通常是倒置過來畫的，即根 在頂端 )，此時(shí)所有的樣本都在一起，經(jīng)過該節(jié)點(diǎn)后被劃分到各個(gè)子節(jié)點(diǎn)中。每個(gè)子節(jié)點(diǎn)再用新的特征來進(jìn)一步?jīng)Q策，直到最后的葉節(jié)點(diǎn)。在葉節(jié)點(diǎn)上，每一個(gè)節(jié)點(diǎn)只包含純一類的樣本，不需要再劃分。 決策樹構(gòu)造可以分兩步進(jìn)行。第一步，決策樹的生成：由訓(xùn)練樣本集生成決策樹的過程。
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1