ch6機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)人工智能課程安徽理工大學(xué)計(jì)(編輯修改稿)
2024-10-24 20:16 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 ,決策樹(shù)示意圖,例9.3 下圖所示是機(jī)場(chǎng)指揮臺(tái)關(guān)于飛機(jī)起飛的簡(jiǎn)單決策樹(shù)。,例9.4 下圖是一個(gè)描述“兔子”概念的決策樹(shù)。,2. 怎樣學(xué)習(xí)決策樹(shù) 決策樹(shù)學(xué)習(xí)的基本方法和步驟： 首先，選取一個(gè)屬性，按這個(gè)屬性的不同取值對(duì)實(shí)例集進(jìn)行分類(lèi)；并以該屬性作為根節(jié)點(diǎn)，以這個(gè)屬性的諸取值作為根節(jié)點(diǎn)的分枝，進(jìn)行畫(huà)樹(shù)。 然后，考察所得的每一個(gè)子類(lèi)，看其中的實(shí)例的結(jié)論是否完全相同。如果完全相同，則以這個(gè)相同的結(jié)論作為相應(yīng)分枝路徑末端的葉子節(jié)點(diǎn)；否則，選取一個(gè)非父節(jié)點(diǎn)的屬性，按這個(gè)屬性的不同取值對(duì)該子集進(jìn)行分類(lèi)，并以該屬性作為節(jié)點(diǎn)，以這個(gè)屬性的諸取值作為節(jié)點(diǎn)的分枝，繼續(xù)進(jìn)行畫(huà)樹(shù)。 如此繼續(xù)，直到所分的子集全都滿(mǎn)足：實(shí)例結(jié)論完全相同，而得到所有的葉子節(jié)點(diǎn)為止。,● 決策樹(shù)學(xué)習(xí)舉例 設(shè)表9.1 所示的是某保險(xiǎn)公司的汽車(chē)駕駛保險(xiǎn)類(lèi)別劃分的部分事例。我們將這張表作為一個(gè)實(shí)例集，用決策樹(shù)學(xué)習(xí)來(lái)歸納該保險(xiǎn)公司的汽車(chē)駕駛保險(xiǎn)類(lèi)別劃分規(guī)則。,表9.1 汽車(chē)駕駛保險(xiǎn)類(lèi)別劃分實(shí)例集,將實(shí)例集簡(jiǎn)記為 S={(1,C), (2,C), (3,C), (4,B), (5,A), (6,A), (7,C), (8,B), (9,A), (10,A), (11,B), (12,B)} 其中每個(gè)元組表示一個(gè)實(shí)例，前面的數(shù)字為實(shí)例序號(hào)，后面的字母為實(shí)例的決策項(xiàng)保險(xiǎn)類(lèi)別。 用 “小”、“中”、“大” 分別代表 “＜21”、“≥21且≤25”、“＞25” 這三個(gè)年齡段。,對(duì)于S，我們按屬性“性別”的不同取值將其分類(lèi)。由表9.1 可見(jiàn)，這時(shí)S應(yīng)被分類(lèi)為兩個(gè)子集： S1= {(3,C), (4,B), (7,C), (8,B), (11,B), (12,B)} S2={(1,C), (2,C), (5,A), (6,A), (9,A), (10,A)} 于是，我們得到以性別作為根節(jié)點(diǎn)的部分決策樹(shù)（見(jiàn)下圖）。,決策樹(shù)生成過(guò)程,決策樹(shù)生成過(guò)程,決策樹(shù)生成過(guò)程,最后生成的 決策樹(shù),由決策樹(shù)所得的規(guī)則集： ① 女性且年齡在25歲以上，則給予A類(lèi)保險(xiǎn)； ② 女性且年齡在21歲到25歲之間，則給予A類(lèi)保險(xiǎn)； ③ 女性且年齡在21歲以下，則給予C類(lèi)保險(xiǎn)； ④ 男性且年齡在25歲以上，則給予B類(lèi)保險(xiǎn)； ⑤ 男性且年齡在21歲到25歲之間且未婚，則給予C類(lèi)保險(xiǎn)； ⑥ 男性且年齡在21歲到25歲之間且已婚，則給予B類(lèi)保險(xiǎn)； ⑦ 男性且年齡在21歲以下且未婚，則給予C類(lèi)保險(xiǎn)； ⑧ 男性且年齡在21歲以下且已婚，則給予B類(lèi)保險(xiǎn)。,3. ID3算法 ID3算法是一個(gè)經(jīng)典的決策樹(shù)學(xué)習(xí)算法，由Quinlan于1979年提出。ID3算法的基本思想是，以信息熵為度量，用于決策樹(shù)節(jié)點(diǎn)的屬性選擇，每次優(yōu)先選取信息量最多的屬性，亦即能使熵值變成最小的屬性，以構(gòu)造一棵熵值下降最快的決策樹(shù)，到葉子節(jié)點(diǎn)處的熵值為0。此時(shí)，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中的實(shí)例屬于同一類(lèi)。,（1）信息熵和條件熵 設(shè)S是一個(gè)實(shí)例集(S也可以是子實(shí)例集),A為S
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1