第5講專家系統(tǒng)-預(yù)覽頁(yè)
【正文】 葉節(jié)點(diǎn)代表的類就是該樣本所屬的類。2022/8/17 1 第 5講 專家系統(tǒng) 2022/8/17 2 決策樹學(xué)習(xí)概述 ? 決策樹（ Decision Tree）學(xué)習(xí)是以樣本為基礎(chǔ)的歸納學(xué)習(xí)方法。 ? 經(jīng)由訓(xùn)練樣本集產(chǎn)生一棵決策樹后，為了對(duì)未知樣本集分類，需要在決策樹上測(cè)試未知樣本的屬性值。之后 Quinlan對(duì) ID3算法做了一系列的改進(jìn)，于 1993年形成了 算法。 2022/8/17 9 信息熵 ? ID3算法采用基于信息熵定義的信息增益度量來選擇內(nèi)節(jié)點(diǎn)的測(cè)試屬性。熵值越小，劃分的純度越高，對(duì)樣本分類的不確定性越低。選擇 A導(dǎo)致的期望熵定義為每個(gè)子集 Sv的熵的加權(quán)和，權(quán)值為屬于 Sv的樣本占原始樣本 S的比例 ， 即期望熵為： ? 其中， E(Sv)是將 S v中的樣本劃分到 c個(gè)類的信息熵。 2022/8/17 13 ID3算法的不足及改進(jìn) ? ID3算法存在 的主要不足 – 過度擬合問題 –處理連續(xù)屬性值問題 –處理缺少屬性值問題 –屬性選擇的度量標(biāo)準(zhǔn)問題 –處理不同代價(jià)的屬性問題 ? 針對(duì) ID3的 這些不足， ID3被擴(kuò)展成為
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1