決策樹和決策規(guī)則概述(已修改)
2025-01-20 21:56 本頁面
【正文】 第七章 決策樹和決策規(guī)則 本章目標(biāo) ? 分析解決分類問題的基于邏輯的方法的特性 . ? 描述決策樹和決策規(guī)則在最終分類模型中的表述之間的區(qū)別 . ? 介紹 . ? 了解采用修剪方法降低決策樹和決策規(guī)則的復(fù)雜度 . ? 決策樹和決策規(guī)則是解決實(shí)際應(yīng)用中分類問題的數(shù)據(jù)挖掘方法。 ? 一般來說，分類是把數(shù)據(jù)項(xiàng)映射到其中一個(gè)事先定義的類中的這樣一個(gè)學(xué)習(xí)函數(shù)的過程。由一組輸入的屬性值向量 (也叫屬性向量 )和相應(yīng)的類，用基于歸納學(xué)習(xí)算法得出分類。 ? 學(xué)習(xí)的目標(biāo)是構(gòu)建一個(gè)分類模型，通常也叫分類器。它可以根據(jù)有效的屬性輸入值預(yù)測一些實(shí)體 (所給樣本 )的類。是一個(gè)在樣本其他屬性已知的情況下預(yù)測另外一個(gè)屬性 (樣本的類 )的模型 (分類的結(jié)果 )。 決策樹 ? 從數(shù)據(jù)中生成分類器的一個(gè)特別有效的方法是生成一個(gè)決策樹。它是一種基于邏輯的方法，通過一組輸入 輸出樣本構(gòu)建決策樹的有指導(dǎo)學(xué)習(xí)方法。 ? 決策樹包含屬性已被檢驗(yàn)的節(jié)點(diǎn)，一個(gè)節(jié)點(diǎn)的輸出分枝和該節(jié)點(diǎn)的所有可能的檢驗(yàn)結(jié)果相對(duì)應(yīng)。 ? 圖 72是一個(gè)簡單的決策樹。該問題有兩個(gè)屬性 X,Y。 所有屬性值 X1和 YB的樣本屬于類 2。不論屬性 Y的值是多少，值 X 1的樣本都屬于類 1。 ? 對(duì)于樹中的非葉節(jié)點(diǎn)，可以沿著分枝繼續(xù)分區(qū)樣本，每一個(gè)節(jié)點(diǎn)得到它相應(yīng)的樣本子集。 ? 生成決策樹的一個(gè)著名的算法是Quinlan的 ID3算法， 。 ? ID3算法的基本思路： 1. 從樹的根節(jié)點(diǎn)處的所有訓(xùn)練樣本開始，選取一個(gè)屬性來劃分這些樣本。對(duì)屬性的每一個(gè)值產(chǎn)生一分枝。分枝屬性值的相應(yīng)樣本子集被移到新生成的子節(jié)點(diǎn)上。 2. 這個(gè)算法遞歸地應(yīng)用于每個(gè)子節(jié)點(diǎn)，直到一個(gè)節(jié)點(diǎn)上的所有樣本都分區(qū)到某個(gè)類中。 3. 到達(dá)決策樹的葉節(jié)點(diǎn)的每條路徑表示一個(gè)分類規(guī)則。 ? 該算法的關(guān)鍵性決策是對(duì)節(jié)點(diǎn)屬性值的選擇。 ID3和 于使節(jié)點(diǎn)所含的信息熵最小化。 ? 基于信息論的方法堅(jiān)持對(duì)數(shù)據(jù)庫中一個(gè)樣本進(jìn)行分類時(shí)所做檢驗(yàn)的數(shù)量最小。 ID3的屬性選擇是根據(jù)一個(gè)假設(shè)，即：決策樹的復(fù)雜度和所給屬性值表達(dá)的信息量是密切相關(guān)的?；谛畔⒌脑囂椒ㄟx擇的是可以給出最高信息的屬性，即這個(gè)屬性是使樣本分類的結(jié)果子樹所需的信息最小。 ：生成一個(gè)決策樹 ? 生成一個(gè)初始決策樹的過程。決策樹可以用來對(duì)一個(gè)新樣本進(jìn)行分類，這種分類從該樹的根節(jié)點(diǎn)開始，然后移動(dòng)樣本直至達(dá)葉節(jié)點(diǎn)。在每個(gè)非葉決策點(diǎn)處，確定該節(jié)點(diǎn)的屬性檢驗(yàn)結(jié)果，把注意力轉(zhuǎn)移到所選擇子樹的根節(jié)點(diǎn)上。 ? 例如，如圖 73a為決策樹
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1