2機(jī)器學(xué)習(xí)-決策樹學(xué)習(xí)-資料下載頁
2025-01-20 23:50本頁面
【正文】 使用當(dāng)前的所有特征從訓(xùn)練集構(gòu)造決策樹 從邊緣末端 (正例 )兩個(gè)特征的聯(lián)合來創(chuàng)建新特征 將這些新特征加入現(xiàn)有特征集中，同時(shí)擴(kuò)展每個(gè)樣本 的描述以包含所有新特征2023年 6月 2日邊緣示例2023年 6月 2日多重模型? 學(xué)習(xí)概念的多重候選定義? 最終決策是基于多個(gè)學(xué)習(xí)模型的 (加權(quán) )投票2023年 6月 2日裝袋 (Bagging)? 用訓(xùn)練集的不同樣本來訓(xùn)練同一個(gè)學(xué)習(xí)者，來創(chuàng)建多重模型 (Breiman,1996)? 給定訓(xùn)練集大小為 n，通過從原始數(shù)據(jù)取樣 (用替換方法 )，創(chuàng)建 m個(gè)不同的訓(xùn)練集 (大小為 n)? 用簡單的投票方法來合并這 m個(gè)模型? 可用于任何學(xué)習(xí)方法? 減少了不穩(wěn)定學(xué)習(xí)算法的一般化錯(cuò)誤，即當(dāng)訓(xùn)練數(shù)據(jù)輕微改動時(shí)會導(dǎo)致決策結(jié)果劇烈變動的那些學(xué)習(xí)方法2023年 6月 2日引導(dǎo) (Boosting)? 另一個(gè)生成多重模型的方法 —— 重復(fù)更改同一個(gè)學(xué)習(xí)算法的數(shù)據(jù)? 對弱學(xué)習(xí)算法 (假設(shè)的精度只要超過 1/2即可 )能保證性能的改進(jìn)? 對樣本加權(quán)，每次疊代產(chǎn)生一個(gè)新的假設(shè)，對那些導(dǎo)致最終假設(shè)精度變差的樣本重新加權(quán)? 基本算法給所有樣本賦予一個(gè)初始權(quán)重For i from 1 to T do 從加權(quán)的樣本中學(xué)習(xí)一個(gè)假設(shè) hi 減小那些與 hi一致的樣本的權(quán)重? 在測試時(shí)，每個(gè)假設(shè)會得到一個(gè)加權(quán)的投票 (與訓(xùn)練數(shù)據(jù)上的精度成比例 )2023年 6月 2日引導(dǎo)算法For D中的每個(gè)樣本，令其權(quán)重 wi=1/|D|For t from 1 to T do 從加權(quán)樣本中學(xué)習(xí)一個(gè)假設(shè) ht 計(jì)算 ht的誤差 ?t， 作為被錯(cuò)誤分類樣本的總權(quán)重 If ?t then 終止， else 繼續(xù) 令 ?t= ?t/(1 ?t) 將 ht正確分類出的樣本的權(quán)重乘以 ?t 權(quán)重歸一化以保證總和為 1在測試時(shí)，每個(gè)假設(shè) ht獲得投票的權(quán)重為 log(1/ ?t)， 票數(shù)最多的假設(shè)作為最終決策2023年 6月 2日多重模型的實(shí)驗(yàn)結(jié)果? 多決策樹模型應(yīng)用范圍更廣也更準(zhǔn)確? 引導(dǎo)算法性能比裝袋算法好? 引導(dǎo)算法偶爾也會降低性能2023年 6月 2日演講完畢，謝謝觀看！
公司管理相關(guān)推薦
鄂ICP備17016276號-1