決策樹、信息論、id3、c45算法-資料下載頁
2025-01-14 19:40本頁面
【正文】 P y P yI X YG X YH Y H Y????????對 于當(dāng) 某 一 個 時 ， 近 似 于 。會 很 大這 樣 也 不 科 學(xué)還有缺陷： 解決方法： 先計算所有的信息增益 I（ X|Y） 對于超過 I(X|Y)均值， 進(jìn)一步考量 H（ Y），選取 H（ Y）最大的 這樣保證 相對大 ( | ) H ( X ) H ( X |Y)( , )( ) ( )I X YG X YH Y H Y?? ( | )iI X Y? 均 值 iM A X( | )( , )() iI X YG X YHY? ( | )iI X Y所 有 排除 H(Yi)=0的可能 因為 H(Yi)=0時 Yi分布及其不均勻 則 I(X|Y)=0 排除 H(Yi)為身份證可能 此時 H(Yi)很大 G (X|Y)很小 ID3缺點 2：只能處理離散分割屬性 原因：對于連續(xù)屬性，和缺點 1類似。 如果把連續(xù)值看成離散值，則會產(chǎn)生分割屬性的偏向問題。 解決方法：引入“閾值”。將分割屬性化為 問題：對于連續(xù)取值的分割屬性，閾值 =？ 方法： ? 在表格中連續(xù)值分割屬性取值 ? 對每個 計算增益比例，找到最大值即可 ID3缺點 3：無法對未知分割屬性進(jìn)行處理 原因：某分割屬性 Y的一個取值 由于一些原因未被計入 解決方法：平均值代替 概率法代替 決策樹 IFTHEN 規(guī)則編程 IF 年齡 30 THEN 不見 IF 年齡 =30 AND 長相 =丑 THEN 不見 IF年齡 =30 AND 長相 =帥 or中等 AND 收入 =高 THEN 見 IF年齡 =30 AND 長相 =帥 or中等 AND 收入 =中等 AND 公務(wù)員 =是 THEN 見 IF年齡 =30 AND 長相 =帥 or中等 AND 收入 =中等 AND 公務(wù)員 =不是 THEN 不見 IF年齡 =30 AND 長相 =帥 or中等 AND 收入 =低 THEN 不見 ID3缺點 3： 無樹剪枝，易受噪聲和波動影響 解決方法： K階交叉驗證 數(shù)據(jù)集 (一組 表格 ) 子集 1 子集 2 子集 3 子集 4 子集 5 子集 6 子集 7 子集 8 決策樹 1 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 1 數(shù)據(jù)集 (一組 表格 ) 子集 2 子集 1 子集 3 子集 4 子集 5 子集 6 子集 7 子集 8 決策樹 2 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 2 數(shù)據(jù)集 (一組 表格 ) 子集 3 子集 1 子集 2 子集 4 子集 5 子集 6 子集 7 子集 8 決策樹 3 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 3 數(shù)據(jù)集 (一組 表格 ) 子集 4 子集 1 子集 2 子集 3 子集 5 子集 6 子集 7 子集 8 決策樹 4 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 4 數(shù)據(jù)集 (一組 表格 ) 子集 5 子集 1 子集 2 子集 3 子集 4 子集 6 子集 7 子集 8 決策樹 5 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 5 數(shù)據(jù)集 (一組 表格 ) 子集 6 子集 1 子集 2 子集 3 子集 4 子集 5 子集 7 子集 8 決策樹 6 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 6 數(shù)據(jù)集 (一組 表格 ) 子集 7 子集 1 子集 2 子集 3 子集 4 子集 5 子集 6 子集 8 決策樹 7 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 7 數(shù)據(jù)集 (一組 表格 ) 子集 8 子集 1 子集 2 子集 3 子集 4 子集 5 子集 6 子集 7 決策樹 8 用 于 生 成 樹 用于驗證 K=8的 8階交叉驗證 錯誤數(shù) 8 樹 1 錯 1 樹 2 錯 2 樹 3 錯 3 樹 4 錯 4 樹 5 錯 5 樹 6 錯 6 樹 7 錯 7 樹 8 錯 8 決 策 樹 最 終 版 僅用于小規(guī)模數(shù)據(jù) … （選擇掌握） C語言的實現(xiàn) 網(wǎng)絡(luò)鏈接： 本機(jī)文件： .doc 參考文獻(xiàn) ? ails/7188639 ? ? ? ? ? s/5278576 參考文獻(xiàn) 參考文獻(xiàn) ? 參考文獻(xiàn) ? 《數(shù)據(jù)挖掘原理與算法》科學(xué)出版社 邵峰晶等編著； ? 《數(shù)據(jù)挖掘算法與應(yīng)用》北京大學(xué)出版社 梁循編著 ? 《現(xiàn)代通信原理》清華大學(xué)出版社 曹志剛等編著
法律信息相關(guān)推薦
鄂ICP備17016276號-1