人工智能之決策樹(shù)(ppt33頁(yè))-展示頁(yè)
2025-02-28 14:43本頁(yè)面
【正文】 每個(gè)葉節(jié)點(diǎn)代表一個(gè)類標(biāo)簽（在計(jì)算所有屬性之后做出的決定）。從根到葉子的路徑表示分類規(guī)則。監(jiān)督學(xué)習(xí)就是訓(xùn)練樣本帶有屬性標(biāo)簽。 ? 機(jī)器學(xué)習(xí)中的分類技術(shù)一般是用一種學(xué)習(xí)算法確定分類模型，該模型可以很好地?cái)M合類標(biāo)號(hào)和屬性集之間的映射關(guān)系。 機(jī)器學(xué)習(xí)中的決策樹(shù)（ 1/2） 1. 決策樹(shù)基本概念 ? 在機(jī)器學(xué)習(xí)中，決策樹(shù)是一個(gè)帶有標(biāo)簽的監(jiān)督式學(xué)習(xí)預(yù)測(cè)模型，代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。 ? 相比 大多數(shù)分類算法，如 kNN 等 ，決策樹(shù)易于理解和實(shí)現(xiàn)，使用者無(wú)需了解很多背景知識(shí)。 機(jī)器學(xué)習(xí)中的決策樹(shù)（ 2/2） 1. 決策樹(shù)基本概念 ? 決策樹(shù)算法采用自上至下遞歸建樹(shù)的技術(shù)，該算法的產(chǎn)生源于 CLS系統(tǒng)，即概念學(xué)習(xí)系統(tǒng) 。 ? 1988年， Utgoff 在 ID4基礎(chǔ)上提出了 ID5學(xué)習(xí)算法 ? 1993年， Quinlan 進(jìn)一步發(fā)展了 ID3算法，改進(jìn)成 。出現(xiàn)概率為 0，信息量無(wú)窮大 ? 概率越大，信息量越小。 ? 香農(nóng)理論的重要特征是熵（ entropy）的概念，他證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系。取出紅球的信息量為 ，取出黑球的信息量 。 1948年，克勞德 香農(nóng)將熱力學(xué)中的熵引入信息論，所以也被稱為香農(nóng)熵 (Shannon entropy)，信息熵 (information entropy)。 ? 公式： 信息熵 )(log)(])(1[log)]([)(212 iniiii xpxpxpExIEXH ??????譬如袋子里有紅球和黑球，取紅球的概率為 ，取黑球的概率為 。取出 1個(gè)球的加權(quán)平均信息量為 *+*。H(X|Y)，其實(shí)質(zhì)是給定 Y情況下 X條件概率分布的熵，對(duì) Y的數(shù)學(xué)期望： 條件熵 2. 信息論基礎(chǔ) 21( | ) [ ( )| ] ( | )log ( | )nj j i j i jiHXY y EIX Y y Px y Px y?? ? ? ??1( | ) ( ) ( | )mjjjH X Y P y H X Y y????條件熵和互信息量 2. 信息論基礎(chǔ) 互信息量，又稱信息增益 11( 。 信息增益計(jì)算實(shí)例 男 女 裙子 褲子 注意： H（ Y/X）代表已知某人穿著，其性別的不確定性 2. 信息論基礎(chǔ) 求信息增益： I(X。其核心是根據(jù)“最大信息熵增益”原則選擇劃分當(dāng)前數(shù)據(jù)集的最好特征，減少數(shù)據(jù)的熵 (混亂度 )。 2）由該特征的不同取值建立子節(jié)點(diǎn)，再對(duì)子節(jié)點(diǎn)遞歸地調(diào)用以上方法，構(gòu)建決策樹(shù)；直到所有特征的信息增益均很小或沒(méi)有特征可以選擇為止； 3）最后得到一個(gè)決策樹(shù)。 ID3算法簡(jiǎn)介 3. 應(yīng)用實(shí)例及 ID3算法 ID3算法偽代碼 I D 3( Exam pl es , T ar get _at t r i b ut es , A t t r i but es ) Exam pl es ar e t he t r ai ni ng exam pl es . T ar get _at t r i but e is t he at t r i but e w h ose v al ue is to be pr edi ct ed by t he t r ee. A t t r i b ut es is a l i st of ot her at t r i but es t hat m a y be t es t
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1