第5講專家系統(tǒng)-資料下載頁
2025-07-20 12:19本頁面
【正文】 點的樣本集 Sv分類的熵為 E(Sv)。選擇 A導(dǎo)致的期望熵定義為每個子集 Sv的熵的加權(quán)和，權(quán)值為屬于 Sv的樣本占原始樣本 S的比例 ， 即期望熵為： ? 其中， E(Sv)是將 S v中的樣本劃分到 c個類的信息熵。 ? ? ? ?? ????AV a l u e svvv SESSASE ,2022/8/17 12 信息增益 ? 屬性 A相對樣本集合 S的信息增益 Gain(S, A)定義為： Gain(S, A)=E(S)–E(S, A) ? Gain(S, A)是指因知道屬性 A的值后導(dǎo)致的熵的期望壓縮。 Gain(S, A)越大，說明選擇測試屬性 A對分類提供的信息越多。 Quinlan的ID3算法就是在每個節(jié)點選擇信息增益Gain(S, A)最大的屬性作為測試屬性。 2022/8/17 13 ID3算法的不足及改進(jìn) ? ID3算法存在 的主要不足 – 過度擬合問題 –處理連續(xù)屬性值問題 –處理缺少屬性值問題 –屬性選擇的度量標(biāo)準(zhǔn)問題 –處理不同代價的屬性問題 ? 針對 ID3的 這些不足， ID3被擴(kuò)展成為
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1