人工智能之決策樹(ppt33頁)(文件)
【正文】 ff 在 ID4基礎(chǔ)上提出了 ID5學(xué)習(xí)算法 ? 1993年， Quinlan 進(jìn)一步發(fā)展了 ID3算法，改進(jìn)成 。 ? 相比 大多數(shù)分類算法，如 kNN 等 ，決策樹易于理解和實現(xiàn)，使用者無需了解很多背景知識。 ? 機(jī)器學(xué)習(xí)中的分類技術(shù)一般是用一種學(xué)習(xí)算法確定分類模型，該模型可以很好地擬合類標(biāo)號和屬性集之間的映射關(guān)系。從根到葉子的路徑表示分類規(guī)則。 定義 1. 決策樹基本概念 生活中的決策樹 2(Decision Tree) 屬性測試 屬性測試 決定 決定 分支 構(gòu)建決策樹的關(guān)鍵問題： 1. 以何種屬性進(jìn)行測試 2. 以何種順序進(jìn)行測試 3. 何時做出決定 1. 決策樹基本概念 ? 連接主義者認(rèn)為，機(jī)器學(xué)習(xí)分為監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。 ? 常用的分類算法包括：決策樹分類法、邏輯回歸分類法、神經(jīng)網(wǎng)絡(luò)、支持向量級、樸素貝葉斯分類方法等。 它能夠?qū)?shù)據(jù)集合進(jìn)行分析，挖掘其中蘊(yùn)含的知識信息 。 ? 另一類決策樹算法為 CART，與 ， CART的決策樹由二元邏輯問題生成，每個樹節(jié)點只有兩個分枝，分別包括學(xué)習(xí)實例的正例與反例 決策樹算法發(fā)展歷史 (2/2) 1. 決策樹基本概念 決策樹重要概念 1. 決策樹基本概念 ? 信息的大小可以度量么？ ? 信息量的大小與概率有關(guān)！ ? 概率越小，信息量越大。 信息論 2. 信息論基礎(chǔ) ? 消息 發(fā)生后所含有的信息量，反映了消息 發(fā)生前的不確定性： 信息量 ixix譬如袋子里有紅球和黑球，取紅球的概率為 ，取黑球的概率為 。愛爾伍德 取出紅球的信息量為 ，取出黑球的信息量 。 ) ( ) ( | )( , )= ( , ) l og( )( ) ( )mnijijji ijI X Y H X H X YP x yP x yP x P y??????? Y代表性別，取值為男和女； X代表穿著，取值為裙子和褲子。 ? ID3是一種貪心算法： 1）從根結(jié)點 (root node)開始，對結(jié)點計算所有可能的特征的信息增益，選擇信息增益最大的特征作為節(jié)點的特征。 3. 應(yīng)用實例及 ID3算法 信息熵計算公式 采用頻率替代概率。 ? 實現(xiàn)方式： 極小化決策樹整體的損失函數(shù)或代價函數(shù)來實現(xiàn) 決策樹剪枝 3. 應(yīng)用實例及 ID3算法 損失函數(shù)定義 (1/2) Ntk代表 t個葉子上的第 k種類型個數(shù) 3. 應(yīng)用實例及 ID3算法 損失函數(shù)定義 (2/2) 3. 應(yīng)用實例及 ID3算法 ? Ross Quinlan在 1993年在 ID3的基礎(chǔ)上改進(jìn)而提出的。除此之外， ID3中不能處理特征屬性值連續(xù)的問題。 ? ，又叫屬性選擇度量，把數(shù)據(jù)劃分成較小的分區(qū)。 ? 。 ? ，各個算法采用的選擇分裂準(zhǔn)則不同 : ? ID3算法使用信息增益準(zhǔn)則，選擇信息增益最大 (熵最小 )的特征作為分裂屬性。 ? 。 ? ：熵。 ? ，選擇信息增益比最大的特征作為分裂屬性。 ? 。熵越大，隨機(jī)變量的不確定性就越大，分類能力就越低 . 決策樹總結(jié) (2/2) 4. 決策樹總結(jié) ? 決策樹僅僅是一種分類算法，其實并不能體現(xiàn)決策過程。ID3算法的的實質(zhì)仍是選擇與類別相關(guān)性最大的屬性來進(jìn)行分裂。 一些思考 5. 一些思考 演講完畢，謝謝觀看！ 。 ? 決策樹算法并沒有考慮各屬性之間的相關(guān)性。 ? ID3算法使用了熵，熵是對概率倒數(shù)的對數(shù)求數(shù)學(xué)期望。但是，較淺的樹趨向
電大資料相關(guān)推薦
鄂ICP備17016276號-1