決策樹學(xué)習(xí)資料-文庫吧資料
2025-01-18 19:42本頁面
【正文】 ng)? 另一個(gè)生成多重模型的方法 —— 重復(fù)更改同一個(gè)學(xué)習(xí)算法的數(shù)據(jù)? 對弱學(xué)習(xí)算法 (假設(shè)的精度只要超過 1/2即可 )能保證性能的改進(jìn)? 對樣本加權(quán)，每次疊代產(chǎn)生一個(gè)新的假設(shè)，對那些導(dǎo)致最終假設(shè)精度變差的樣本重新加權(quán)? 基本算法給所有樣本賦予一個(gè)初始權(quán)重For i from 1 to T do 從加權(quán)的樣本中學(xué)習(xí)一個(gè)假設(shè) hi 減小那些與 hi一致的樣本的權(quán)重? 在測試時(shí)，每個(gè)假設(shè)會(huì)得到一個(gè)加權(quán)的投票 (與訓(xùn)練數(shù)據(jù)上的精度成比例 )2023年 6月 2日引導(dǎo)算法For D中的每個(gè)樣本，令其權(quán)重 wi=1/|D|For t from 1 to T do 從加權(quán)樣本中學(xué)習(xí)一個(gè)假設(shè) ht 計(jì)算 ht的誤差 ?t， 作為被錯(cuò)誤分類樣本的總權(quán)重 If ?t then 終止， else 繼續(xù) 令 ?t= ?t/(1 ?t) 將 ht正確分類出的樣本的權(quán)重乘以 ?t 權(quán)重歸一化以保證總和為 1在測試時(shí)，每個(gè)假設(shè) ht獲得投票的權(quán)重為 log(1/ ?t)， 票數(shù)最多的假設(shè)作為最終決策2023年 6月 2日多重模型的實(shí)驗(yàn)結(jié)果? 多決策樹模型應(yīng)用范圍更廣也更準(zhǔn)確? 引導(dǎo)算法性能比裝袋算法好? 引導(dǎo)算法偶爾也會(huì)降低性能2023年 6月 2日。某屬性按值分割樣本越平均，則 SplitInfo越大? 增益比率利用 SplitInfo來避免選擇這些屬性2023年 6月 2日增益比率細(xì)述 ? 然而，當(dāng) |Si|=|S|時(shí) SplitInfo可能很小甚至為 0，從而導(dǎo)致信息比率過大甚至溢出? ，它計(jì)算每個(gè)特征的信息增益，對于超過平均增益的特征，再進(jìn)一步根據(jù)增益比率來選取特征2023年 6月 2日缺失的屬性值? 屬性值可能未完全給出? 一種解決方法是根據(jù)已有樣本屬性值的先驗(yàn)概率來對樣本計(jì)算屬性值分布百分比? 在訓(xùn)練時(shí)，缺失的屬性會(huì)按照其分布百分比逐個(gè)計(jì)算。但貪婪搜索可能無法找到最小樹，頂層結(jié)點(diǎn)可能不是高區(qū)分度的2023年 6月 2日計(jì)算復(fù)雜度? 最壞情況是構(gòu)造出一棵完全樹，每條路徑都測試了所有特征? 各層 i要對剩下的 |A|i個(gè)屬性計(jì)算最佳分割? 一般來說，性能與屬性個(gè)數(shù)成線性關(guān)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1