人工智能之決策樹(shù)(ppt33頁(yè))(文件)
【正文】 ff 在 ID4基礎(chǔ)上提出了 ID5學(xué)習(xí)算法 ? 1993年， Quinlan 進(jìn)一步發(fā)展了 ID3算法，改進(jìn)成 。 ? 相比 大多數(shù)分類(lèi)算法，如 kNN 等 ，決策樹(shù)易于理解和實(shí)現(xiàn)，使用者無(wú)需了解很多背景知識(shí)。 ? 機(jī)器學(xué)習(xí)中的分類(lèi)技術(shù)一般是用一種學(xué)習(xí)算法確定分類(lèi)模型，該模型可以很好地?cái)M合類(lèi)標(biāo)號(hào)和屬性集之間的映射關(guān)系。從根到葉子的路徑表示分類(lèi)規(guī)則。 定義 1. 決策樹(shù)基本概念 生活中的決策樹(shù) 2(Decision Tree) 屬性測(cè)試 屬性測(cè)試 決定 決定 分支 構(gòu)建決策樹(shù)的關(guān)鍵問(wèn)題： 1. 以何種屬性進(jìn)行測(cè)試 2. 以何種順序進(jìn)行測(cè)試 3. 何時(shí)做出決定 1. 決策樹(shù)基本概念 ? 連接主義者認(rèn)為，機(jī)器學(xué)習(xí)分為監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。 ? 常用的分類(lèi)算法包括：決策樹(shù)分類(lèi)法、邏輯回歸分類(lèi)法、神經(jīng)網(wǎng)絡(luò)、支持向量級(jí)、樸素貝葉斯分類(lèi)方法等。 它能夠?qū)?shù)據(jù)集合進(jìn)行分析，挖掘其中蘊(yùn)含的知識(shí)信息 。 ? 另一類(lèi)決策樹(shù)算法為 CART，與 ， CART的決策樹(shù)由二元邏輯問(wèn)題生成，每個(gè)樹(shù)節(jié)點(diǎn)只有兩個(gè)分枝，分別包括學(xué)習(xí)實(shí)例的正例與反例 決策樹(shù)算法發(fā)展歷史 (2/2) 1. 決策樹(shù)基本概念 決策樹(shù)重要概念 1. 決策樹(shù)基本概念 ? 信息的大小可以度量么？ ? 信息量的大小與概率有關(guān)！ ? 概率越小，信息量越大。 信息論 2. 信息論基礎(chǔ) ? 消息 發(fā)生后所含有的信息量，反映了消息 發(fā)生前的不確定性： 信息量 ixix譬如袋子里有紅球和黑球，取紅球的概率為 ，取黑球的概率為 。愛(ài)爾伍德 取出紅球的信息量為 ，取出黑球的信息量 。 ) ( ) ( | )( , )= ( , ) l og( )( ) ( )mnijijji ijI X Y H X H X YP x yP x yP x P y??????? Y代表性別，取值為男和女； X代表穿著，取值為裙子和褲子。 ? ID3是一種貪心算法： 1）從根結(jié)點(diǎn) (root node)開(kāi)始，對(duì)結(jié)點(diǎn)計(jì)算所有可能的特征的信息增益，選擇信息增益最大的特征作為節(jié)點(diǎn)的特征。 3. 應(yīng)用實(shí)例及 ID3算法 信息熵計(jì)算公式 采用頻率替代概率。 ? 實(shí)現(xiàn)方式： 極小化決策樹(shù)整體的損失函數(shù)或代價(jià)函數(shù)來(lái)實(shí)現(xiàn) 決策樹(shù)剪枝 3. 應(yīng)用實(shí)例及 ID3算法 損失函數(shù)定義 (1/2) Ntk代表 t個(gè)葉子上的第 k種類(lèi)型個(gè)數(shù) 3. 應(yīng)用實(shí)例及 ID3算法 損失函數(shù)定義 (2/2) 3. 應(yīng)用實(shí)例及 ID3算法 ? Ross Quinlan在 1993年在 ID3的基礎(chǔ)上改進(jìn)而提出的。除此之外， ID3中不能處理特征屬性值連續(xù)的問(wèn)題。 ? ，又叫屬性選擇度量，把數(shù)據(jù)劃分成較小的分區(qū)。 ? 。 ? ，各個(gè)算法采用的選擇分裂準(zhǔn)則不同 : ? ID3算法使用信息增益準(zhǔn)則，選擇信息增益最大 (熵最小 )的特征作為分裂屬性。 ? 。 ? ：熵。 ? ，選擇信息增益比最大的特征作為分裂屬性。 ? 。熵越大，隨機(jī)變量的不確定性就越大，分類(lèi)能力就越低 . 決策樹(shù)總結(jié) (2/2) 4. 決策樹(shù)總結(jié) ? 決策樹(shù)僅僅是一種分類(lèi)算法，其實(shí)并不能體現(xiàn)決策過(guò)程。ID3算法的的實(shí)質(zhì)仍是選擇與類(lèi)別相關(guān)性最大的屬性來(lái)進(jìn)行分裂。 一些思考 5. 一些思考 演講完畢，謝謝觀看！ 。 ? 決策樹(shù)算法并沒(méi)有考慮各屬性之間的相關(guān)性。 ? ID3算法使用了熵，熵是對(duì)概率倒數(shù)的對(duì)數(shù)求數(shù)學(xué)期望。但是，較淺的樹(shù)趨向
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1